基于Python的爬虫IP代理池(proxy_pool)

基于Python的爬虫IP代理池(proxy_pool)

26 Feb 2018

说明

做python爬虫时经常要用到IP代理,proxy_pool是一个IP代理引擎,实时从常用的公用IP代理网站爬取IP,使用起来非常方便,项目路径:https://github.com/jhao104/proxy_pool

 

安装

首先clone代码:

git clone git@github.com:jhao104/proxy_pool.git

然后安装依赖

pip install -r requirements.txt

配置文件位于根目录的 Config.ini 文件,根据自己环境配置好Redis和api端口

启动文件位于 Run\main.py ,执行该脚本,不要关闭该进程

浏览器访问 http://127.0.0.1:5010/get/ 如果有打印代理IP,则安装成功

redis中可以看到所有抓取到的代理IP

使用

python中使用如下代码即可获取到代理IP

requests.get("http://127.0.0.1:5010/get/").content

 

其他功能可以去github查看使用方法