天河网站建设,wordpress手机商城,如何用ps制作网站,网站美工难做吗网页采集器User-Agent伪装完整代码功能#xff1a;通过动态url来实现用户输入搜索关键字#xff0c;返回搜索到的页面。User-Agent伪装
一种反爬机制。 原理#xff1a;网站的服务器会检测对于请求的载体身份标识#xff0c;如果检测到请求的载体身份标识为某一款浏览器通过动态url来实现用户输入搜索关键字返回搜索到的页面。User-Agent伪装
一种反爬机制。 原理网站的服务器会检测对于请求的载体身份标识如果检测到请求的载体身份标识为某一款浏览器 说明该请求为一个正常的请求。然而我们写的get请求的身份标识是爬虫程序所以需要伪装成浏览器的User-Agent。
完整代码
import requests
headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48}#urlhttps://www.sogou.com/web?query加藤惠
urlhttps://www.sogou.com/web? #问号可要可不要
#制作动态url,处理url携带的参数
kwinput(输入一个关键词)
param{query:kw
}
responserequests.get(urlurl,paramsparam,headersheaders) #等于在url后面自动拼接了参数,headers增加了请求头
page_textresponse.textfilenamekw.html
with open(filename,w,encodingutf-8) as f:f.write(page_text)
print(filename保存成功)
