网站首页title怎么修改,公司做网站好吗,wordpress插件ftp,wordpress做留言板常见的反爬手段和解决思路
学习目标
了解 服务器反爬的原因了解 服务器常反什么样的爬虫了解 反爬虫领域常见的一些概念了解 反爬的三个方向了解 常见基于身份识别进行反爬了解 常见基于爬虫行为进行反爬了解 常见基于数据加密进行反爬 1 服务器反爬的原因 爬虫占总PV(PV是指…常见的反爬手段和解决思路
学习目标
了解 服务器反爬的原因了解 服务器常反什么样的爬虫了解 反爬虫领域常见的一些概念了解 反爬的三个方向了解 常见基于身份识别进行反爬了解 常见基于爬虫行为进行反爬了解 常见基于数据加密进行反爬 1 服务器反爬的原因 爬虫占总PV(PV是指页面的访问次数每打开或刷新一次页面就算做一个pv)比例较高这样浪费钱尤其是三月份爬虫。 三月份爬虫是个什么概念呢每年的三月份我们会迎接一次爬虫高峰期有大量的硕士在写论文的时候会选择爬取一些往网站并进行舆情分析。因为五月份交论文所以嘛大家都是读过书的你们懂的前期各种DotALOL到了三月份了来不及了赶紧抓数据四月份分析一下五月份交论文就是这么个节奏。 公司可免费查询的资源被批量抓走丧失竞争力这样少赚钱。 数据可以在非登录状态下直接被查询。如果强制登陆那么可以通过封杀账号的方式让对方付出代价这也是很多网站的做法。但是不强制对方登录。那么如果没有反爬虫对方就可以批量复制的信息公司竞争力就会大大减少。竞争对手可以抓到数据时间长了用户就会知道只需要去竞争对手那里就可以了没必要来我们网站这对我们是不利的。 状告爬虫成功的几率小 爬虫在国内还是个擦边球就是有可能可以起诉成功也可能完全无效。所以还是需要用技术手段来做最后的保障。
2 服务器常反什么样的爬虫 十分低级的应届毕业生 应届毕业生的爬虫通常简单粗暴根本不管服务器压力加上人数不可预测很容易把站点弄挂。 十分低级的创业小公司 现在的创业公司越来越多也不知道是被谁忽悠的然后大家创业了发现不知道干什么好觉得大数据比较热就开始做大数据。分析程序全写差不多了发现自己手头没有数据。怎么办写爬虫爬啊。于是就有了不计其数的小爬虫出于公司生死存亡的考虑不断爬取数据。 不小心写错了没人去停止的失控小爬虫 有些网站已经做了相应的反爬但是爬虫依然孜孜不倦地爬取。什么意思呢就是说他们根本爬不到任何数据除了httpcode是200以外一切都是不对的可是爬虫依然不停止这个很可能就是一些托管在某些服务器上的小爬虫已经无人认领了依然在辛勤地工作着。 成型的商业对手 这个是最大的对手他们有技术有钱要什么有什么如果和你死磕你就只能硬着头皮和他死磕。 抽风的搜索引擎 大家不要以为搜索引擎都是好人他们也有抽风的时候而且一抽风就会导致服务器性能下降请求量跟网络攻击没什么区别。
3 反爬虫领域常见的一些概念
因为反爬虫暂时是个较新的领域因此有些定义要自己下 爬虫使用任何技术手段批量获取网站信息的一种方式。关键在于批量。 反爬虫使用任何技术手段阻止别人批量获取自己网站信息的一种方式。关键也在于批量。 误伤在反爬虫的过程中错误的将普通用户识别为爬虫。误伤率高的反爬虫策略效果再好也不能用。 拦截成功地阻止爬虫访问。这里会有拦截率的概念。通常来说拦截率越高的反爬虫策略误伤的可能性就越高。因此需要做个权衡。 资源机器成本与人力成本的总和。
这里要切记人力成本也是资源而且比机器更重要。因为根据摩尔定律机器越来越便宜。而根据IT行业的发展趋势程序员工资越来越贵。因此通常服务器反爬就是让爬虫工程师加班才是王道机器成本并不是特别值钱。
4 反爬的三个方向 基于身份识别进行反爬 基于爬虫行为进行反爬 基于数据加密进行反爬
5 常见基于身份识别进行反爬
1 通过headers字段来反爬 headers中有很多字段这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫 1.1 通过headers中的User-Agent字段来反爬
反爬原理爬虫默认情况下没有User-Agent而是使用模块默认设置解决方法请求之前添加User-Agent即可更好的方式是使用User-Agent池来解决收集一堆User-Agent的方式或者是随机生成User-Agent
1.2 通过referer字段或者是其他字段来反爬
反爬原理爬虫默认情况下不会带上referer字段服务器端通过判断请求发起的源头以此判断请求是否合法解决方法添加referer字段
1.3 通过cookie来反爬
反爬原因通过检查cookies来查看发起请求的用户是否具备相应权限以此来进行反爬解决方案进行模拟登陆成功获取cookies之后在进行数据爬取
2 通过请求参数来反爬 请求参数的获取方法有很多向服务器发送请求很多时候需要携带请求参数通常服务器端可以通过检查请求参数是否正确来判断是否为爬虫 2.1 通过从html静态文件中获取请求数据(github登录数据)
反爬原因通过增加获取请求参数的难度进行反爬解决方案仔细分析抓包得到的每一个包搞清楚请求之间的联系
2.2 通过发送请求获取请求数据
反爬原因通过增加获取请求参数的难度进行反爬解决方案仔细分析抓包得到的每一个包搞清楚请求之间的联系搞清楚请求参数的来源
2.3 通过js生成请求参数
反爬原理js生成了请求参数解决方法分析js观察加密的实现过程通过js2py获取js的执行结果或者使用selenium来实现
2.4 通过验证码来反爬
反爬原理对方服务器通过弹出验证码强制验证用户浏览行为解决方法打码平台或者是机器学习的方法识别验证码其中打码平台廉价易用更值得推荐
6 常见基于爬虫行为进行反爬
1 基于请求频率或总请求数量 爬虫的行为与普通用户有着明显的区别爬虫的请求频率与请求次数要远高于普通用户 1.1 通过请求ip/账号单位时间内总请求数量进行反爬
反爬原理正常浏览器请求网站速度不会太快同一个ip/账号大量请求了对方服务器有更大的可能性会被识别为爬虫解决方法对应的通过购买高质量的ip的方式能够解决问题/购买个多账号
1.2 通过同一ip/账号请求之间的间隔进行反爬
反爬原理正常人操作浏览器浏览网站请求之间的时间间隔是随机的而爬虫前后两个请求之间时间间隔通常比较固定同时时间间隔较短因此可以用来做反爬解决方法请求之间进行随机等待模拟真实用户操作在添加时间间隔后为了能够高速获取数据尽量使用代理池如果是账号则将账号请求之间设置随机休眠
1.3 通过对请求ip/账号每天请求次数设置阈值进行反爬
反爬原理正常的浏览行为其一天的请求次数是有限的通常超过某一个值服务器就会拒绝响应解决方法对应的通过购买高质量的ip的方法/多账号同时设置请求间随机休眠
2 根据爬取行为进行反爬通常在爬取步骤上做分析
2.1 通过js实现跳转来反爬
反爬原理js实现页面跳转无法在源码中获取下一页url解决方法: 多次抓包获取条状url分析规律
2.2 通过蜜罐(陷阱)获取爬虫ip(或者代理ip)进行反爬
反爬原理在爬虫获取链接进行请求的过程中爬虫会根据正则xpathcss等方式进行后续链接的提取此时服务器端可以设置一个陷阱url会被提取规则获取但是正常用户无法获取这样就能有效的区分爬虫和正常用户解决方法: 完成爬虫的编写之后使用代理批量爬取测试/仔细分析响应内容结构找出页面中存在的陷阱
2.3 通过假数据反爬
反爬原理向返回的响应中添加假数据污染数据库通常家属剧不会被正常用户看到解决方法: 长期运行核对数据库中数据同实际页面中数据对应情况如果存在问题/仔细分析响应内容
2.4 阻塞任务队列
反爬原理通过生成大量垃圾url从而阻塞任务队列降低爬虫的实际工作效率解决方法: 观察运行过程中请求响应状态/仔细分析源码获取垃圾url生成规则对URL进行过滤
2.5 阻塞网络IO
反爬原理发送请求获取响应的过程实际上就是下载的过程在任务队列中混入一个大文件的url当爬虫在进行该请求时将会占用网络io如果是有多线程则会占用线程解决方法: 观察爬虫运行状态/多线程对请求线程计时/发送请求钱
2.6 运维平台综合审计
反爬原理通过运维平台进行综合管理通常采用复合型反爬虫策略多种手段同时使用解决方法: 仔细观察分析长期运行测试目标网站检查数据采集速度多方面处理
7 常见基于数据加密进行反爬
1 对响应中含有的数据进行特殊化处理 通常的特殊化处理主要指的就是css数据偏移/自定义字体/数据加密/数据图片/特殊编码格式等 1.1 通过自定义字体来反爬 下图来自猫眼电影电脑版 - 反爬思路: 使用自有字体文件 - 解决思路切换到手机版/解析字体文件进行翻译
1.2 通过css来反爬 下图来自猫眼去哪儿电脑版 - 反爬思路源码数据不为真正数据需要通过css位移才能产生真正数据 - 解决思路计算css的偏移 1.3 通过js动态生成数据进行反爬
反爬原理通过js动态生成解决思路解析关键js获得数据生成流程模拟生成数据
1.4 通过数据图片化反爬
58同城短租](https://baise.58.com/duanzu/38018718834984x.shtml)解决思路通过使用图片解析引擎从图片中解析数据
1.5 通过编码格式进行反爬
反爬原理: 不适用默认编码格式在获取响应之后通常爬虫使用utf-8格式进行解码此时解码结果将会是乱码或者报错解决思路根据源码进行多格式解码或者真正的解码格式
小结
掌握 常见的反爬手段、原理以及应对思路
