企业网站报告册设计模板,哪些网站不能备案,宁波关键词网站排名,中国最厉害的室内设计师一、用get请求爬取一般网页 首先由上节课我们可以找到URL、请求方式、User-Agent以及content-type
即#xff1a;在所在浏览器页面按下F12键#xff0c;之后点击网路-刷新#xff0c;找到第一条双击打开标头即可查看上述所有内容#xff0c;将上述URL、User-Agent所对应的…一、用get请求爬取一般网页 首先由上节课我们可以找到URL、请求方式、User-Agent以及content-type
即在所在浏览器页面按下F12键之后点击网路-刷新找到第一条双击打开标头即可查看上述所有内容将上述URL、User-Agent所对应的值复制下来
例如我们想爬取下面这个页面 那么我们只需按下F12按照我前面讲的找到其URL、User-Agent以及请求方式和内容格式
分别如下
1、 2、 3、 4、 以上便是爬取网页的关键用具了接下来将开始写代码去爬取他的页面
首先我们获取了URL那么变要进行get请求但是我们需要有一个身份来获取网页的数据如果不伪装一个身份而直接以编译器的形式去爬取大多数网页会识别到你是个爬虫是个小偷想要过来偷取我的数据会直接将你驱逐出去而不让你爬取他的数据所以我们就使用UA伪装的方法去将自己伪装成一个浏览器这样多数的网页就不会驱逐你是你能够用爬取数据。
完成UA伪装后使用get请求得到url对应的网页数据就用content-type上看到的方式去打印这段数据代码如下
import requestshead { #进行UA伪装User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0
}url https://www.sogou.com/web?query刘亦菲# 2、发送请求 get带参数使用params参数
response requests.get(url, headershead)#打印数据,以content-type中写的方式去打印
print(response.text)
输出结果为很长很长的数据 以上就是基础的打印出来了这个网页的所有数据那么接下来就要将这段数据保存下来然后对这段数据进行处理
import requestshead { #进行UA伪装User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0
}url https://www.sogou.com/web?query刘亦菲# 2、发送请求 get带参数使用params参数
response requests.get(url, headershead)#打印数据,以content-type中写的方式去打印with open(./dilireba.html, w, encodingutf8) as fp:
fp.write(response.text)
print(type(response.text))
即将那一幅大串的数据存入html文件dilireba.htmlhtml是一个网页的原码存放文件在左侧文件夹中找到这个文件并打开 可以发现右上角有几个浏览器的logo点击电脑里有的那个即可直接打开这个网页得到如下结果 此时虽然页面摸样和之前那个一样但是注意地址栏的地址显示的是本地地址即说明当前这个页面爬取成功这看起来没什么用但是后面我们会慢慢讲解为什么比如从卖二手车的网页爬取车辆的图片以及名称报价以及爬取网页的vip视频小说的全部内容等等 下面是定义函数的方法去写上述的代码仅供参考
import requests #导入爬虫库head { #进行UA伪装User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0
}# 这是get请求带参数的模式
def get_param():# 1、urlurl https://www.sogou.com/web?# 2、发送请求 get带参数使用params参数response requests.get(url, headershead, params{query: 刘亦菲})# 3、获取想要的数据with open(./dilireba.html, w, encodingutf8) as fp:fp.write(response.text)print(type(response.text))if __name__ __main__:get_param()
