网站建设与管理大作业,大庆网页制作公司价格,西城网站建设公司,制作宣传册的步骤目录 一、requests的基本使用
二、get请求
三、post请求
四、代理的使用
五、cookie登录以及验证码图片识别 一、requests的基本使用
import requestsurl http://www.baidu.comresponse requests.get(url url)#一个类型和六个属性
#Response类型
#print(type(response… 目录 一、requests的基本使用
二、get请求
三、post请求
四、代理的使用
五、cookie登录以及验证码图片识别 一、requests的基本使用
import requestsurl http://www.baidu.comresponse requests.get(url url)#一个类型和六个属性
#Response类型
#print(type(response))#设置响应的编码格式
response.encoding utf-8#以字符串的形式返回网页源码
#print(response.text)#返回一个url地址
#print(response.url)#返回二进制数据
# print(response.content)#返回响应的状态码
print(response.status_code)#获取响应头
print(response.headers)
二、get请求
import requestsurl http://www.baidu.com/s?headers {User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
}data {wd:北京
}#url--请求资源地址 params--参数 kwargs--字典
response requests.get(urlurl,paramsdata,headersheaders)content response.textprint(content)
注: 参数用params传递参数不需要urlencode编码不需要请求对象的定制。
三、post请求
import requestspost_url https://fanyi.baidu.com/sugheaders {User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
}data {kw:eye
}#url--请求对象地址 data--参数 kwargs--字典
response requests.post(url post_url,datadata,headersheaders)content response.text
解决乱码
import json
#注这里是新版json需要用encode(utf-8),不能用encodingutf-8
obj json.loads(content.encode(utf-8))
print(obj)
注requests的post请求不需要编解码post请求的参数是data不需要请求对象的定制。
四、代理的使用
proxy {http:101.251.204.174:8080
}response requests.get(urlurl,paramsdata,headersheaders,proxiesproxy)
五、cookie登录以及验证码图片识别
e.g.自动登录古诗文网站
import requests#登录页面的url地址
url https://so.gushiwen.cn/user/login.aspx?fromhttp://so.gushiwen.cn/user/collect.aspxheaders {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36
}#获取页面的源码
response requests.get(urlurl,headersheaders)
content response.text#解析页面源码 获取__VIEWSTATE __VIEWSTATEGENERATOR
from bs4 import BeautifulSoupsoup BeautifulSoup(content,lxml)#隐藏域hidden
#获取__VIEWSTATE
viewstate soup.select(#__VIEWSTATE)[0].attrs.get(value)#获取__VIEWTATEGENERATOR
viewstategenerator soup.select(#__VIEWSTATEGENERATOR)[0].attrs.get(value)#获取验证码图片
code soup.select(#imgCode)[0].attrs.get(src)
code_url https://so.gushiwen.cncode#requests里的session
#通过session的返回值使请求变成一个对象
session requests.session()
#验证码的url的内容
response_code session.get(code_url)
#注意此时要使用二进制数据因为我们要使用图片的下载
content_code response_code.content
#wb的模式就是将二进制数据写入文件
with open(code.png,wb) as fp:fp.write(content_code)#获取了验证码之后 下载到本地 然后观察验证码 观察之后 然后在控制台输入这个验证码
real_code input(请输入验证码:)#点击登录
url_post https://so.gushiwen.cn/user/login.aspx?fromhttp%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspxdata_post {__VIEWSTATE:,__VIEWSTATEGENERATOR:,from:http://so.gushiwen.cn/user/collect.aspx,email:1234567qq.com,pwd:123456,code:,denglu:登录
}response_post session.post(url url_post,headersheaders,datadata_post)content_post response_post.textwith open(gushiwen.html,w,encodingutf-8) as fp:fp.write(content_post)
