南通网站备案,看强 的,呼和浩特装修网站,专门做网络的公司selenium添加带有账密的socks5代理
我们都知道在使用selenium开发爬虫的时候不可避免的会使用socks5高匿名代理。一般情况下我们使用方法如下(开发语言为python)#xff1a;
from selenium import webdriver
chrome_options webdriver.ChromeOptions()
chrome_options.add_…selenium添加带有账密的socks5代理
我们都知道在使用selenium开发爬虫的时候不可避免的会使用socks5高匿名代理。一般情况下我们使用方法如下(开发语言为python)
from selenium import webdriver
chrome_options webdriver.ChromeOptions()
chrome_options.add_argument(proxy-serversocks5://127.0.0.1:1080)
driver webdriver.Chrome( ./chromedriver, chrome_optionschrome_options)我们的代理是socks5://127.0.0.1:1080当然这是本地自己搭的socks5代理不需要账号密码就可以使用但是如果我们搞了一台服务器在上面搭建了socks5代理服务你如果不设置账号密码那岂不是会变成人人都可以用的开放式socks5代理服务你问我为什么因为总有一些进行全网扫描的投机分子会发现你的服务器的开放代理。
但是你又要问了chrome不支持socks5代理加认证这不能怪我啊。
确实chrome原生不支持socks5代理认证所以小码哥在这里介绍一种方式抛砖引玉有其他合适的方式可以交流。
咱们开门见山其实很简单如果服务器的socks5代理需要验证的话我们不直接使用服务器的socks5代理我们中间加一层转发让转发这个中间件支持socks5验证不就行了而且我们的程序还要能够控制这个中间件。那么现在我们的流程是这样的 思路捋清楚了那么接下来的问题就是咱们如何实现socks5代理的转发中间件。当然我们没有必要亲自去重新实现socks5协议市面上已经有对应的实现我们只需要有发现的眼睛。 一、安装Pproxy三方库
安装pproxy
pip install pproxy二、使用方法
1、在cmd命令行输入
找到python的安装路径输入cmd启动命令行
把ipport改成socks5代理的填好账号密码这个方法是监听8080端口也可以设置别的端口只要不冲突
pproxy -l socks5://127.0.0.1:8080 -r socks5://ip:prot#账号:密码 -vv以以上命令很简单 -l代表监听listen-r代表转发relay那么意思很明确我们监听本地的8080端口提供无验证的socks5服务将收到的数据包转发给ip:port所指的需要验证的socks5服务。
成功会看到下图的样子 2、给selenium添加代理
option.add_argument(--proxy-serversocks5://127.0.0.1:8080)实现思路
我们可以用python以启动子进程的方式在selenium启动chrome之前启动pproxy作为转发中间件然后把启动的chrome的代理设置为本地的socks5转发中间件
