查看原文
其他

如何搭建一个爬虫代理服务?

Kaito 水滴与银弹 2021-08-08
阅读本文大约需要10分钟。

由于之前一直在做爬虫采集相关的开发,这个过程那肯定少不了跟「代理 IP 」打交道,这篇文章就来记录一下,如何实现一个爬虫代理服务,本篇文章主要以讲解思路为主。


起因


做过爬虫的人应该都知道,抓的网站和数据多了,如果爬虫抓取速度过快,免不了触发网站的防爬机制。而这些网站应对爬虫的办法,几乎用的同一招就是封 IP 。


那么我们还想稳定、持续地抓取这些网站的数据,如何解决呢?一般解决方案有2个:


  • 使用同一个服务器 IP 抓取网站数据,但是放慢速度

  • 使用多个代理 IP 抓取数据


第一种方案牺牲的是时间和速度,但是一般情况下我们的时间是很宝贵的,理想情况下是,用最短的时间获取最多的数据。所以第二种方案是推荐的,那么从哪里可以找到这么多代理 IP 呢?


寻找代理


最直接地,使用搜索引擎去检索。


例如使用 Google、Bing、百度,输入关键字:免费代理 IP,前几页几乎都是提供代理 IP 的网站,逐个打开后观察可以发现,几乎都是一个列表页,这个列表页展示的代理 IP 少则几十个、多则几百个。


但是仔细观察你就会发现,每个网站提供的免费 IP 是有限的,而且拿来用之后你就会发现,有的也已经失效了。毕竟,人家更倾向于你购买他们的付费代理 IP。


身为狡猾的程序猿,当然不能因为这点困难就退缩了。仔细想一下,既然搜索引擎能搜到这么多提供代理的网站,每个网站提供几十或几百个代理 IP,假如有 10 家代理网站,那加在一起也有几百到几千个了。


那么很简单,你要做的事情就是,把这些提供代理 IP 的网站收集起来,写一个采集程序把这些免费代理 IP 抓过来就好了,想想是不是很简单?


测试代理


好了,通过刚才的思路,你可以编写一个采集代理 IP 的程序,然后就可以拿到成百上千的代理 IP 了。当然,收集的代理网站越多,采集到的代理 IP 也就越多,所以我们尽量多收集一些代理网站,越多越好。


等等,这么多代理 IP ,难道别人真的就免费送给你了吗?


当然不是,前面也提到过,这些代理中,有很大一部分已经是失效的了。那怎么办?如何知道哪些代理是有效,哪些是不可用的呢?


很简单,写一个 HTTP 程序,挂上这些代理,访问某一个稳定的网站,然后看是否能正常访问,如果可以正常访问,那么代理 IP 就是可用的,访问失败则说明代理 IP 已失效。


最简单地,我们可以使用 curl 命令就可以测试一个代理是否真的可用:


# 使用代理 48.139.133.93:3128 访问 网易首页curl -x "48.139.133.93:3128" "http://www.163.com"


当然,这种方式只是为了演示方便,实际最好的方式是:


编写一个多线程的代理测试程序,然后分别使用这些代理去访问某个网站,根据访问的结果,最终就可以输出一批可用的代理 IP。


使用代理


通过编写测试代理 IP 的程序,我们就可以找出可用的代理了。


接下来,如何使用也就变得很简单了。


例如,我们把刚才得到的可用代理 IP 输出到一个文件中,每一行是一个 IP,那么我们的程序就可以这样使用:


  • 程序读取代理文件,加载代理列表到数组中

  • 从数组中随机选择一个代理 IP,发起 HTTP 请求


这样下来,如果可用的代理 IP 稳定在几百上千个,基本上可以保持一段时间抓取某个网站的数据了,一般来说,抓个几千几万条数据不成问题。


但是,如果我想持续不断地从某个网站采集数据,或者是抓取上百万甚至上亿的网页数据,这一批代理 IP 还是有可能逐渐都失效的。这种情况下怎么办呢?


持续不断供应代理


使用刚才的方式,抓取一批代理网站,然后通过测试程序输出可用的代理 IP 列表,但是这只是一次性的,而且代理 IP 的数量往往很少,在我们的持续采集需求中,肯定无法满足需要。那么怎么才能持续不断的找到可用代理 IP 呢?


依据前面所说的方法,我们可以这样优化:


  • 收集更多的代理 IP 网站(数据基础)

  • 定时监控这些网站,采集代理 IP 列表

  • 程序自动检测代理 IP 可用性,输出可用代理 IP(文件或数据库)

  • 程序加载文件或数据库,随机选取代理 IP 发起 HTTP 请求


按照这种优化思路,我们可以写出一个自动采集代理 IP 的程序。这样我们的爬虫端就可以定时去文件/数据库中获取可用的代理 IP 使用。


但是有一个小问题,怎样知道每个代理 IP 的质量如何?也就是说,每个代理 IP 的速度怎么样?


我们在测试代理 IP 的可用性时,可以记录访问网站请求响应时间,这个响应时间就是代理 IP 的质量。响应时间越短,说明代理 IP 的质量越高。


有了代理 IP 的质量后,我们在使用这些代理 IP 时,就可以优先使用质量高的,提高我们爬虫抓取网页的成功率。


但是也不能一直频繁使用这些高质量的代理 IP,否则对方网站会很快把这些 IP 封禁掉。那如何应对呢?


我们继续优化,在使用代理 IP 时,我们可以限制在短时间内同一个 IP 的使用次数,例如 5 分钟内同一个代理 IP 只允许使用 10 次,如果超过使用次数了,再随机选取其他代理 IP 使用。


这样既然保证我们的抓取质量,也能保证代理 IP 不会因为短时间内大量使用而被封禁。


服务化


经过前面一系列的优化,我们已经搭建好一个可用的代理服务,只不过是基于文件或数据库的。


爬虫端要想使用这些代理,只能是读取文件或数据库,然后根据某种规则选择代理 IP 使用,这样做比较繁琐,能不能让爬虫端使用代理变得简单一些?此时我们就需要把代理访问做成服务化


有个大名鼎鼎的服务器软件 squid,它是一个正向代理软件。利用它的 cache_peer 机制,就可以帮这个事情做得很好。


我们可以把可用的代理 IP 列表,根据 squid 的 cache_peer 规则,按照一定格式,写在它配置文件中即可。而且 cache_peer 配置文件规则,也支持设置每个代理 IP 的使用权重、最大使用次数,也就是说 squid 可以根据配置,自动地调度、选择我们的代理 IP


配置完成后,启动 squid,我们就可以通过 squid 的这一个端口来使用配置好的代理 IP 了。


假设我们的爬虫部署在 A 服务器,squid 部署在 B 服务器,需要爬取的网站服务器是 C,而我们的代理 IP 是D / E / F。


  • 不使用代理时:爬虫服务器 A 直接请求网站服务器 C

  • 正常使用代理时:爬虫服务器 A,通过设置代理 IP D/E/F,请求网站服务器 C

  • 使用 squid 时:爬虫服务器 A,通过部署在服务器B的 squid 的cache_peer机制,自动调度代理 IP D / E / F,最终访问网站服务器 C


可见,使用 squid 的好处是:爬虫端不用考虑如何加载和选择代理,只需要把代理 IP 列表按照配置文件的规则,配置到 squid 中,squid 就可以帮我们管理和选择代理。最重要的是,爬虫端使用代理只需配置 squid 的这一个端口就可以了!


整合


好了,现在服务化也搭建完成了,唯一还差的一步就是整合,我们把整个过程梳理一下:


1、收集尽可能多的代理网站,使用采集代理 IP 程序定时采集代理网站(30分/1小时都可),解析出所有代理 IP,写入数据库


2、代理测试程序从数据库中取出所有代理 IP,然后挂上代理,访问某个稳定的网站,根据访问结果,在数据库中标记代理是否可用,同时,也在数据库中记录访问网站的响应时间


3、写一个程序,从数据库中加载出所有可用代理,根据代理响应时间,计算一个使用权重和设置好最大使用次数,按照 cache_peer 格式写入到 squid 的配置文件中


4、写一个程序或脚本,触发自动重新加载 squid 配置文件,让 squid 加载最新的代理 IP 列表


5、定时重复1-4,不断输出可用代理到 squid 中


6、爬虫指定 squid 的服务 IP 和端口,进行纯粹的网站采集操作


通过以上方式,一个完整的代理服务就可以搭建完成,而且这个代理服务可以定时输出保证质量的代理 IP。爬虫端不用关心代理的采集和测试,只管使用 squid 的统一服务入口爬取数据即可。


以上只是提供一个爬虫代理服务搭建的设计思路,有了思路之后,剩下写代码实现就变得比较简单了。



长按关注「水滴与银弹」公众号,7年资深后端研发,和你分享更多优质技术干货。

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存