企业网站的在线推广方法有哪几种,网站开发广告怎么写,最近国语视频在线观看,手机兼职群最近#xff0c;由于公司需要做爬虫抓取一些新闻#xff0c;在开发过程中#xff0c;发现有些网站有一定的反爬措施#xff0c;通过浏览器访问一切正常#xff0c;通过其他方式#xff0c;包括#xff1a;curl#xff0c;urlconnection 等#xff0c;就算加入了cookie…最近由于公司需要做爬虫抓取一些新闻在开发过程中发现有些网站有一定的反爬措施通过浏览器访问一切正常通过其他方式包括curlurlconnection 等就算加入了cookieagent等参数也不能完全正常访问导致爬取失败。 经过网上查找资料找到解决方案 对于这种特殊的网站爬取方式改为通过程序在服务器端打开浏览器访问地址然后解析入库。 过程中需要用到chrome浏览器和chromedriver来实现 其中chrome浏览器支持无界面访问网站chromedriver提供javapythonphp等语言调用chrome的能力。 现将安装过程记录如下基于centos6.5centos7.2 亲测成功 一、安装chrome 1. 下载安装脚本 在下载目录中执行以下命令将安装脚本下载到本地 wget https://intoli.com/install-google-chrome.sh 2.然后授予可执行权限 chmod 755 ./install-google-chrome.sh 3.执行脚本 ./install-google-chrome.sh 安装脚本会自动下载、安装chrome合适的版本并且目前两个系统中所缺少的依赖都会被安装。 4.测试安装结果 执行命令 google-chrome-stable --no-sandbox --headless --disable-gpu --screenshot https://www.baidu.com/ 如果在当前文件夹中出现screenshot.png 则安装成功 二、安装chromedriver 1.切换到 chrome安装路径 个人习惯实际上在什么目录都可以 cd /opt/google/ 2.下载文件包 wget https://npm.taobao.org/mirrors/chromedriver/75.0.3770.90/chromedriver_linux64.zip 3.解压文件包 unzip chromedriver_linux64.zip 解压后在/opt/google/ 会多出一个文件chromedriver 4.连接文件 ln -s /opt/google/chromedriver /usr/bin/chromedriver 执行以上命令后安装成功 如果文件下载失败可以下载传上服务器 地址是 https://files.cnblogs.com/files/suntray/install-google-chrome.sh.zip 安装脚本 https://files.cnblogs.com/files/suntray/chromedriver_linux64.zip 驱动文件转载于:https://www.cnblogs.com/suntray/p/11136363.html
