超低价的郑州网站建设,抖音网页版小程序入口,软件开发学院,山东城乡住房建设厅网站目录
Urllib基本操作-GET
➢没有进行utf-8编码的输出
➢经过utf-8decode之后的输出
➢ Timeout参数#xff1a;捕获由于连接超时而引发的异常
◆Urllib基本操作-定制请求头
➢ 在GET请求中加入多个访问参数
◆Urllib基本操作-POST
➢有道词典网页爬取#xff1a;找到…
目录
Urllib基本操作-GET
➢没有进行utf-8编码的输出
➢经过utf-8decode之后的输出
➢ Timeout参数捕获由于连接超时而引发的异常
◆Urllib基本操作-定制请求头
➢ 在GET请求中加入多个访问参数
◆Urllib基本操作-POST
➢有道词典网页爬取找到的数据包的Headers可以记录下请求的相关数据
➢查看请求携带参数
Urllib3
◆Urllib3完成get请求 Urllib基本操作-GET ➢ 先导入urllib模块定义想要访问的网址使用urlopen()对参数中的URL发送请求 ➢ urllib.request.urlopen( url, dataNone, [timeout, ] *, cafileNone, capathNone, cadefaultFalse, contextNone) # 使用urllib来获取百度首页的源码 import urllib.request # 1.定义一个url 就是要访问的地址 url ‘http://www.baidu.com’ # 2.模拟浏览器向服务器发送请求需要联网 response响应 response urllib.request.urlopen(url) # 3.获取响应中的页面源码 content内容的意思 content response.read() # read方法 返回的是字节式的二进制数据 print(content) # 我们要将二进制数据转换为字符串二进制--字符串 解码 decode(编码的格式) content response.read().decode( utf-8’ ) print(content # 使用urllib来获取百度首页的源码
import urllib.request# 1.定义一个url 就是要访问的地址
url http://www.baidu.com# 2.模拟浏览器向服务器发送请求需要联网 response响应
response urllib.request.urlopen(url)# 3.获取响应中的页面源码 content内容的意思
content response.read()
print(content)
# read方法 返回的是字节式的二进制数据
# 我们要将二进制数据转换为字符串
# 二进制--字符串 解码 decode(编码的格式)
content response.read().decode(utf-8) # 这一步非常重要# 4.打印数据
print(content)# #获取状态码 如果是200了那么就证明我们的逻辑没有错
#print(response.getcode())
#
# #返回url地址
#print(response.geturl())
#
# #获取是一个状态信息
#print(response.getheaders()) ➢没有进行utf-8编码的输出 ➢经过utf-8decode之后的输出 ➢ Timeout参数捕获由于连接超时而引发的异常 # 使用urllib来获取百度首页的源码
import urllib.request# 1.定义一个url 就是要访问的地址
url http://www.baidu.com# 2.模拟浏览器向服务器发送请求需要联网 response响应
response urllib.request.urlopen(url)# 3.获取响应中的页面源码 content内容的意思
content response.read()
print(content)
# read方法 返回的是字节式的二进制数据
# 我们要将二进制数据转换为字符串
# 二进制--字符串 解码 decode(编码的格式)
content response.read().decode(utf-8) # 这一步非常重要# # timeout 参数
response urllib.request.urlopen(http://httpbin.org/get, timeout1)
print(response.read())import socket
import urllib.error
#
try:response urllib.request.urlopen(http://httpbin.org/get,timeout0.1)
except urllib.error.URLError as e:if isinstance(e.reason,socket.timeout):print(TIME OUT)# 4.打印数据
print(content)# #获取状态码 如果是200了那么就证明我们的逻辑没有错
#print(response.getcode())
#
# #返回url地址
#print(response.geturl())
#
# #获取是一个状态信息
#print(response.getheaders()) ◆Urllib基本操作-定制请求头 ➢ 在爬取网页的时候输出的信息中有时候会出现“抱歉无法访问”等字眼这就是禁止爬 取需要通过定制请求头Headers来解决这个问题。定制Headers是解决requests请求被拒 绝的方法之一相当于我们进入这个网页服务器假装自己本身在爬取数据。请求头 Headers提供了关于请求、响应或其他发送实体的消息如果没有定制请求头或请求的请求 头和实际网页不一致就可能无法返回正确结果。 ➢ 获取一个网页的Headers的方法如下使用360、火狐或谷歌浏览器打开一个网址比如 “http://www.baidu.com”在网页上单击鼠标右键在弹出的菜单中选择“查看元 素”然后刷新网页再按照如图3-4所示的步骤先点击“Network”选项卡再点击 “Doc”接下来点击“Name”下方的网址就会出现类似如下的Headers信息 ➢ User-Agent:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36 ➢ 在GET请求中加入访问参数在百度中搜索北京获取搜索结果页面 • 是否可以直接定义urlhttps://www.baidu.com/s?wd北京 • 不可以默认只搜索ascii编码没有北京这两个字所以需要把它变成unicode让机器识别 # #get请求中加入访问参数
import urllib.request
import urllib.parse
#直接复制一些搜索北京的网址
# https://www.baidu.com/s?wd%E5%91%A8%E6%9D%B0%E4%BC%A6# 需求获取https://www.baidu.com/s?wd北京的网页代码
# 是否可以直接定义urlhttps://www.baidu.com/s?wd北京
#不可以默认只搜索ascii编码没有北京这两个字所以需要把它变成unicode让机器识别# 寻找url
url https://www.baidu.com/s?wd
headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.66 Safari/537.36 Edg/103.0.1264.44
}
# 使用quote方法进行编码转换
name urllib.parse.quote(北京)
# 组装url
url url name
# print(url)
# 请求对象的定制
request urllib.request.Request(urlurl, headersheaders)
# 向服务器发请求
response urllib.request.urlopen(request)
# 获取响应信息
content response.read().decode(utf-8)
# 打印响应信息
print(content)#多于一个参数时请求头定制
#参数不止有一个可以用符号链接多个假设我们加一个两会。出现一个问题不仅要把北京编码unicode还要把两会也编码可以用quote逐个转换但效率低且要拼接。要解决多参数问题可以用urlencode帮助我们
#urlencode要求里面的参数以字典形式存在逗号分割➢ 在GET请求中加入多个访问参数 • 参数不止有一个可以用符号在转换后进行链接。 • 为方便解决多参数转换及拼接问题可以用urlencode帮助我们;urlencode要求里面的参数 以字典形式存在逗号分割 import urllib.request
import urllib.parse
url https://cn.bing.com/search?data{go:搜索,q:北京 天气}
new_data urllib.parse.urlencode(data)
print(new_data)
headers{User-Agent : Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36,Cookie: BIDUPSID83261851D92939FFFF2D2C3800B6CCA2; PSTM1574440855; __yjs_duid1_6e86551c30fb47a64a0c5e667dea7db81620194211269; BD_UPN12314753; BAIDUIDED1F16239BBD2AB0CF8AF7923E3A68DE:FG1; ispeed_lsm2; BDUSSXVyNi1XcXZ-eTJCMnhzeURYYUstOGh0T3N1WnN0cTIwRGNrRDczRlJsY2ptMXhqRVFBQUFBJCQAAAAAAAAAAAEAAAD-PGUJt8W~1V9pbmcAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACMONWMjDjVjb; BDUSS_BFESSXVyNi1XcXZ-eTJCMnhzeURYYUstOGh0T3N1WnN0cTIwRGNrRDczRlJsY2ptMXhqRVFBQUFBJCQAAAAAAAAAAAEAAAD-PGUJt8W~1V9pbmcAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAACMONWMjDjVjb; BDORZB490B5EBF6F3CD402E515D22BCDA1598; BA_HECTOR8l0g0l2ga00h25a52g81dkhm1hk9pd81a; BAIDUID_BFESSED1F16239BBD2AB0CF8AF7923E3A68DE:FG1; BDRCVFR[feWj1Vr5u3D]I67x6TjHwwYf0; delPer0; BD_CK_SAM1; PSINO7; ZFYSR4hfozWRIXmU7ouv2ASem0KdSz0WImntiWy4T8Nftw:C; BD_HOME1; baikeVisitId53b5daaa-05ec-4fc4-b9d5-a54ea3e0658d; H_PS_PSSID37542_36559_37561_37550_37299_36885_34813_37486_37402_36805_37406_36786_37482_37497_26350_37365_37455; H_PS_645EC878fjGnEi%2FQTHR5lTn8cql%2FqGCKSJk5xVRVe%2FWpoH2dRPvRJayxDhPJv8U3BoEGTXa%2Bd; COOKIE_SESSION1103_9_9_9_19_6_0_0_9_2_0_0_2611_8863_3_0_1665474424_1665471813_1665474421%7C9%23358_1132_1665459981%7C9; BDSVRTM0
}
urlurlnew_data
print(url)
request urllib.request.Request(urlurl, headersheaders)
response urllib.request.urlopen(request)
content response.read().decode(utf-8)
print(content)◆Urllib基本操作-POST ➢ urllib.request模块实现发送POST请求获取网页内容的实例 ➢ post请求的参数一定要先进行编码使用url.parse.urlencode返回值类型是字 符串类型 ➢ 编码结果还需要转换成byte类型之前定义的data是字符串类型。而发送请求的 request中要求的data是byte字节型否则urlopen时报错 可以使用data bytes(data, ‘utf-8’) 也可以 data data.encode(utf-8) ➢ 与GET请求不同post参数不是直接拼在url后面而是放在请求对象的参数里面 ➢有道词典网页爬取找到的数据包的Headers可以记录下请求的相关数据 ➢ 请求链接https://dict.youdao.com/jsonapi_s?doctypejsonjsonversion4 ➢ 请求方式POST请求头 import urllib.request
import urllib.parse# 请输入您要翻译的内容
content 你好 #最后用input(请输入您要翻译的内容:)替代你好
url https://dict.youdao.com/jsonapi_s?doctypejsonjsonversion4
headers {Cookie: OUTFOX_SEARCH_USER_ID-112460397710.108.162.139; JSESSIONIDaaamH0NjhkDAeAV9d28-x; OUTFOX_SEARCH_USER_ID_NCOO1827884489.6445506; fanyi-ad-id305426; fanyi-ad-closed1; ___rl__test__cookies1649216072438,User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36
}
# 携带数据
data {q: content,le: ja,t: 9,client: web,sign: 520a657bfae6f88b2deaa67067865128,keyfrom: webdict,}data urllib.parse.urlencode(data).encode(utf-8)
req urllib.request.Request(url, datadata)
res urllib.request.urlopen(req)
html res.read().decode(utf-8)
print(翻译结果\n, html)➢查看请求携带参数 当我们查询的词不一样的时候sign这个参数会不同 当我们查询的所用语言不一样的时候le这个参数会不同 Urllib3 ➢ urllib3是一个功能强大、条理清晰、用于HTTP客户端的Python库许多Python的 原生系统已经开始使用urllib3。urllib3提供了很多python标准库里所没有的重要特 性包括线程安全、连接池、客户端SSL/TLS验证、文件分部编码上传、协助处 理重复请求和HTTP重定位、支持压缩编码、支持HTTP和SOCKS代理、100%测试 覆盖率等。 ➢ 在使用urllib3之前需要打开一个cmd窗口使用如下命令进行安装 pip install urllib3 ◆Urllib3完成get请求 import urllib3
httpurllib3.PoolManager()
responsehttp.request(GET,http://www.baidu.com
)
print(response.status)
print(response.data)
