网站安全检测软件,小程序找不到怎么办,比价 wordpress 插件下载,企业官网的意义爬虫之Cookie获取#xff1a;利用浏览器模拟一个cookie出来、面对反爬虫、加密的cookie的应对方法
在爬虫或模拟请求时#xff0c;特别是获取验证码的时候#xff0c;反爬虫的网站的cookie或定期失效#xff0c;复制出来使用是不行的为了应对这种方式#xff0c;我们可能…爬虫之Cookie获取利用浏览器模拟一个cookie出来、面对反爬虫、加密的cookie的应对方法
在爬虫或模拟请求时特别是获取验证码的时候反爬虫的网站的cookie或定期失效复制出来使用是不行的为了应对这种方式我们可能就需要像浏览器打开网站一样取得它信任的cookieselenium就是一个很好的手段
一、什么是selenium
Selenium最初是一个自动化测试工具Selenium可以驱动浏览器自动执行自定义好的逻辑代码即通过代码完全模拟使用浏览器自动访问目标站点并操作所以也可以用来爬虫。
二、准备工作
安装Chrome下载对应版本的chromedriver.exe
2.1 chrome 查看版本
# chrome地址栏输入下面的内容即可查看
chrome://version/2.2 下载对应版本的chromedriver.exe
上下2图的版本号要对应上最新版本的chrome的driver可能还没有
2.3 一组对应上的chrome和driver
微信搜索“数字续坚”在“资源”TAB页面输入“selenium”然后复制百度网盘的下载地址注意chrome会自动更新建议安装chrome前先在hosts文件中加入如下内容屏蔽chrome的自动升级
127.0.0.1 update.googleapis.com三、编码实现
这里就不废话了如下代码 // Java 代码//目标网站的网址也可以直接是验证码链接String targetUrl https://www.baidu.com;//设置chromedriver.exe的路径下方是在当前目录下System.setProperty(webdriver.chrome.driver, ./chromedriver100.exe);ChromeDriver chromeDriver new ChromeDriver();chromeDriver.get(url);//读取cookieSetCookie cookies chromeDriver.manage().getCookies();String cookieStr ;for (Cookie cookie : cookies) {cookieStr cookie.getName() cookie.getValue() ;;}//打印cookie结果System.out.println(cookieStr);四、快速获取cookie的办法
针对其他语言、其他系统或不想配置chromedriver的兄弟这里提供了快速获取的办法见文档。
