关于爬虫

经过了一周的时间,对爬虫有了一点了解.爬取一个网站只要能够得到他的html页面代码,就可以将它爬取下来.laravel中有模拟客户端去向目标网站发起请求,然后将得到数据分析,爬取.如果目标网站的数据是通过异步加载的,那么只需要请求api,就可以得到完整的json数据.如果不是,那么只能通过对页面分析.利用正则表达式进行筛选出自己想要的数据.如何去模拟客户端请求数据,https://haxibiao.com/blog/145这个博客说的很清楚.有时候,利用get 方法请求不了页面,可以用curl的方式去模拟浏览器请求目标网站,得到目标页面,利用use Symfony\Component\DomCrawler\Crawler;类创建一个crawler对象,将页面添加进去.除了curl之外,也可以使用@filegetcontents($url)方法,这里的@表示如果$url不存在.不会中断程序运行.有了crawler对象,就可以利用里面的方法对里面大部分数据进行处理了.特别的一些数据,需要正则表达式来处理.

1.正则表达式基本语法

两个特殊的符号'^'和'$'。他们的作用是分别指出一个字符串的开始和结束。例子如下:

"^The":表示所有以"The"开始的字符串("There","The cat"等);

"of despair$":表示所以以"of despair"结尾的字符串;

"^abc$":表示开始和结尾都是"abc"的字符串——呵呵,只有"abc"自己了;

"notice":表示任何包含"notice"的字符串。

象最后那个例子,如果你不使用两个特殊字符,你就在表示要查找的串在被查找串的任意部分——你并

不把它定位在某一个顶端。

其它还有'','+'和'?'这三个符号,表示一个或一序列字符重复出现的次数。它们分别表示“没有或

更多”,“一次或更多”还有“没有或一次”。下面是几个例子:

"ab":表示一个字符串有一个a后面跟着零个或若干个b。("a", "ab", "abbb",……);

"ab+":表示一个字符串有一个a后面跟着至少一个b或者更多;

"ab?":表示一个字符串有一个a后面跟着零个或者一个b;

"a?b+$":表示在字符串的末尾有零个或一个a跟着一个或几个b。

你也可以使用范围,用大括号括起,用以表示重复次数的范围。

"ab{2}":表示一个字符串有一个a跟着2个b("abb");

"ab{2,}":表示一个字符串有一个a跟着至少2个b;

"ab{3,5}":表示一个字符串有一个a跟着3到5个b。

请注意,你必须指定范围的下限(如:"{0,2}"而不是"{,2}")。还有,你可能注意到了,'','+'和

'?'相当于"{0,}","{1,}"和"{0,1}"。

还有一个'¦',表示“或”操作:

"hi¦hello":表示一个字符串里有"hi"或者"hello";

"(b¦cd)ef":表示"bef"或"cdef";

"(a¦b)c":表示一串"a""b"混合的字符串后面跟一个"c";

'.'可以替代任何字符:

"a.[0-9]":表示一个字符串有一个"a"后面跟着一个任意字符和一个数字;

"^.{3}$":表示有任意三个字符的字符串(长度为3个字符);

方括号表示某些字符允许在一个字符串中的某一特定位置出现:

"[ab]":表示一个字符串有一个"a"或"b"(相当于"a¦b");

"[a-d]":表示一个字符串包含小写的'a'到'd'中的一个(相当于"a¦b¦c¦d"或者"[abcd]");

"^[a-zA-Z]":表示一个以字母开头的字符串;

"[0-9]%":表示一个百分号前有一位的数字;

",[a-zA-Z0-9]$":表示一个字符串以一个逗号后面跟着一个字母或数字结束。

你也可以在方括号里用'^'表示不希望出现的字符,'^'应在方括号里的第一位。(如:"%[^a-zA-Z]%"表

示两个百分号中不应该出现字母)。

为了逐字表达,你必须在"^.$()¦*+?{\"这些字符前加上转移字符'\'。

请注意在方括号中,不需要转义字符。

 3.正则表达式的应用实例通俗说明

//校验是否全由数字组成

/^[0-9]{1,20}$/

^ 表示打头的字符要匹配紧跟^后面的规则

$ 表示打头的字符要匹配紧靠$前面的规则

[ ] 中的内容是可选字符集

[0-9] 表示要求字符范围在0-9之间

{1,20}表示数字字符串长度合法为1到20,即为[0-9]中的字符出现次数的范围是1到20次。

/^ 和 $/成对使用应该是表示要求整个字符串完全匹配定义的规则,而不是只匹配字符串中的一个子串。

//校验登录名:只能输入5-20个以字母开头、可带数字、“_”、“.”的字串

/^[a-zA-Z]{1}([a-zA-Z0-9]|[._]){4,19}$/

^[a-zA-Z]{1} 表示第一个字符要求是字母。

([a-zA-Z0-9]|[._]){4,19} 表示从第二位开始(因为它紧跟在上个表达式后面)的一个长度为4到9位的字符串,它要求是由大小写字母、数字或者特殊字符集[._]组成。



 

 

 

 

日记本

如果觉得我的文章对您有用,请随意赞赏。您的支持将鼓励我继续创作!

赞赏支持
被以下专题收入,发现更多相似内容