“网站制作”,中国太空网站,宁波市有哪些网站建设公司,公司注册资金最低是多少一、爬虫根据使用场景分类
爬虫#xff1a; 通过编写程序#xff0c;模拟浏览器上网#xff0c;让其去互联网上抓取数据的过程。 ① 通用爬虫#xff1a;抓取系统重要的组成部分#xff0c;抓取的是一整张页面的数据 ② 聚焦爬虫#xff1a;建立在通用爬虫的基础之上 通过编写程序模拟浏览器上网让其去互联网上抓取数据的过程。 ① 通用爬虫抓取系统重要的组成部分抓取的是一整张页面的数据 ② 聚焦爬虫建立在通用爬虫的基础之上抓取页面中特定的局部区域内容 ③ 增量式爬虫检测网站中数据更新的情况只会抓取网站中最新更新出来的数据
二、反爬机制和反反爬策略
反爬机制 门户网站通过制定相应的策略或者技术手段防止爬虫程序来进行对网站数据的爬取
反反爬策略 爬虫程序可以通过制定相关的策略或者技术手段破解门户网站中具备反爬机制从而可以获取门户网站的信息
三、robots.txt协议
又称为君子协议规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取 通过在指定域名后面加入/robots.txt即可查看 例如https://www.baidu.com/robots.txt即可看见相关不允许(Disallow)爬取的网页以及相关允许(Allow)爬取的网页当然一般不允许之外的都是允许爬取的网页。
四、httphttps协议
Ⅰhttp协议
超文本传输协议(Hyper Text Transfer ProtocolHTTP)服务器和客户端进行数据交互的一种形式
Ⅱ常用的请求头和响应头信息
请求头 ① User-Agent请求载体的身份表示 ② Connection请求完毕后是断开连接还是保持连接
响应头 Content-Type服务器响应回客户端的数据类型 例如https://blog.csdn.net/qq_41264055 按下F12点击NetworkF5刷新重新访问服务器就可以看见请求头和响应头的一些内容信息
Ⅲhttps协议
基于http协议的安全的超文本传输协议(Hyper Text Transfer Protocol over SecureSocket Layer)
Ⅳ加密方式
① 对称密钥加密方式 ② 非对称密钥加密方式
③ 证书密钥加密方式
