【爬虫-反爬虫】系列一:基础之概述(1)

基础之概述

在了解爬虫前,应该先知道一些最本质的原则,这也是经常被人忽视的。 大家都知道,通过爬虫可以很方便的在开放网络中获取数据,如果你具备不错的数据挖掘功底,那么就可以提供一些有价值的服务。 像百度,谷歌,搜狐这些大公司,它们的搜索引擎就是一个永不停歇的数据挖掘机,会不停的收录那些新增的网络数据,只有这样才能在你查询的时候提供最新最全面的信息。 所以从这个角度上来讲,爬虫还是很正派的一个功能,比如我有一个网站,那么我会编写亲爬虫式的代码,这样就能更好的被搜索引擎发现~

爬虫 vs 传统的数据处理

跟传统的数据处理程序相比,爬虫程序只是多了一个获取网络数据的接口而已。 举个例子,我经常用perl来编写数据处理脚本,处理的数据都是本地文件,那么这就是一个传统的数据处理程序。 但如果这个数据是来自于网络的话,那就是一个爬虫行为了。 所以,爬虫最核心的问题是解决了怎么从网络中获取数据,如果你本身就有比较优秀的数据处理底子,那么只需要几分钟就能学会最简单的爬虫了。(将网址传入一个函数,这个函数返回网页内容)

爬虫与网页

很多人潜意识中有一个误解,认为爬虫就是获取网页数据,其实这个理解有点片面,从宏观上讲,爬虫针对的是网络上的一切数据,既可以来自于网站,也能来自于app。但从狭义上讲,绝大部分爬虫只专心解决某一类请求数据,那就是来自于http/https协议的请求。 只是说网页都是使用的http/https协议,所以爬虫库能轻松应对,那么换个角度,如果app也是使用http协议进行数据请求的话,你就应该知道,获取这些app数据本质上与网页数据并没有区别。 所以当有人问你,你就可以告诉它,之所以爬虫能获取网页数据,是因为爬虫使用了支持http协议的函数库,能模拟http请求。

http是无状态协议

每一个http请求都是一次独立的访问,所以这个请求本身必须携带足够证明其上下文环境的数据,一般是存放在cookie中。 如果不这样做,服务器就无法确定你是哪个状态下的请求:是登陆过的呢?还是未登陆过的?是登陆的A用户?还是B用户? 认识到这一点非常非常重要,通过它你能理解很多问题。 比如我在A电脑上访问一个请求,同样的,把这个请求复制到地球另一端的B电脑上,获取的数据也会跟你一样。你可能说,我在A电脑上是登录过的,但是B电脑明显没有登录,为什么还能获取到一样的数据?那么你就可以解释,因为请求本身就携带了能证明其登陆过的“证据”,所以只要有了这些证据,实际上我不必执行真正的登陆操作。 所以某些场合下,你是可以跳过登陆场景的,只是需要做一些准备操作,比如提前获取能证明你是登陆状态下的“证据”。 解释了这么多,希望你能看明白,因为这是反爬虫的最核心思想。 反爬虫所做的,就是尽一切力量去骗取服务器的信任。

爬虫姿势

理解了上面的内容,你就可以开始考虑自己的爬虫姿势了,好的姿势能让你事半功倍~常见的有如下几种。 直接访问网页 这是最基础的姿势,通过网址获取返回数据。如果这样就能满足你对数据的要求,那么建议你选择它,因为最简单。 调用异步接口 很多网页为了客户体验性,一开始并不会把所有数据都加载给客户,只在客户需要的时候才加载,这时候会异步调用服务器接口(ajax)获取数据。 绝大部分网站都会这样做,而且通过这种方式获取的数据一般都是最直接的json格式,基本上不需要你做任何额外处理,非常方便。怎么知道哪些是异步请求呢?可以通过如下方式查看异步请求。 打开chrom浏览器 =》 进入网页 =》 右击网页 =》 审查元素 =》 选择Network栏目 =》 刷新网页 =》 点击下方的XHR筛选 出来的都是异步加载请求。 你会发现,异步请求跟普通请求一模一样。 通过这种姿势能高性能的获取数据,但依赖于网站的接口规则,如果网站更改了参数规则,那么你也得同步调整。 借助虚拟浏览器模拟用户行为 这是最后的大招,不到万不得已不要使用,因为性能实在是太低,可能比异步接口慢上百倍。 这种姿势的核心思想是:Do it like a real man. 通过模拟用户的真实操作:如点击,移动鼠标等,最终达到获取数据的目的。 这也不难理解为什么它会很慢了,因为要模拟用户操作,爬虫就需要调用浏览器各种接口,通过层层传递直到触发真正的http请求。每个请求都这么搞一下,能不慢吗?尤其是模拟过程中需要不确定的等待返回,更是严重拉低性能。 我使用过的有phantomjs,它包含一个虚拟浏览器内核,也就是没有界面的浏览器(对于爬虫而言也并不需要界面),如果你要点击一个按钮,就 把这个点击按钮的操作发送给浏览器即可。 这种姿势最常用在自动化测试方面,对于爬虫来说反而有点鸡肋了。 对于爬虫程序,主要是用前两种姿势~ 本专题也不会针对第三种姿势做过多介绍,因为那属于工具范畴。