苗木网站建设,m 外贸网站,php租车网站源码,wordpress nextpagePOST请求import requestsdata {name: cxc, age: 18}
r requests.post(http://httpbin.org/post, datadata)
print(r.text)POST请求这样就成功地获得了返回结果#xff0c;form部分就是提交的数据#xff0c;证明POST请求成功发送了。响应之前我们使用了text和c…POST请求import requestsdata {name: cxc, age: 18}
r requests.post(http://httpbin.org/post, datadata)
print(r.text)POST请求这样就成功地获得了返回结果form部分就是提交的数据证明POST请求成功发送了。响应之前我们使用了text和content来获得响应的内容。除此之外我们还可以用其他方法来获得类似状态码响应头Cookies等。import requestsr requests.get(http://www.jianshu.com)
print(type(r.status_code), r.status_code)
print(type(r.headers), r.headers)
print(type(r.cookies), r.cookies)
print(type(r.url), r.url)
print((type(r.history)), r.history)响应status_code得到响应码headers得到响应头cookies得到Cookiesurl得到URLhistory得到请求历史。高级用法1.文件上传import requestsfiles {file: open(favicon.ico, rb)}
r requests.post(http://httpbin.org/post, filesfiles)
print(r.text)这样就可以上传图标到网站会返回file字段。2.Cookiesimport requestsr requests.get(https://www.baidu.com)
print(r.cookies)
for key, value in r.cookies.items():print(key value)Cookies这里调用cookies属性即可获得Cookies它是一个RequestCookieJar类型。可以用items()方法来将其转化为元组组成的列表来输出每个Cookie的名称和值。以知乎为例打开开发者工具复制headers中的cookie。在headers里设置cookie。import requestsheaders {Cookie: _zapc9f7b39e-9cdf-4711-b609-5b144de76c06;d_c0ANDsYo2hHBCPTtUZ9OAejUIO3cPeBA2-58c|1569579305; __utma155987696.795654319.1573700494.1573700494.1573700494.1;__utmz155987696.1573700494.1.1.utmcsr(direct)|utmccn(direct)|utmcmd(none); _gaGA1.2.795654319.1573700494; _xsrfnYGEgZG2TzVwoXUaFG8g1QeZ6540lwjv; _gidGA1.2.2132724163.1587571856; capsion_ticket2|1:0|10:1587571858|14:capsion_ticket|44:MGY1ZTE0ZTRkZDZlNDQ0MDlhYzFkMmJhMGZlZjM0ODY|88d210cfef5b28bae92224d8de1db6ec228d8dc10a9b05a289d6d55643003727; l_n_c1; r_cap_idYjgyMWMzMzgxMmRhNGJkMzg5MzJmYTZhOWVlZjgwODE|1587571863|67548daa6da1bae647ac06049e3d1cd9b94d516a; cap_idODE1NTEzNWZkMmQxNDdlMzhlZWMwMGNhYTUyYjhiNTg|1587571863|193a26bd8d0e7594706d33da0da505b781f369cb; l_cap_idNjBiNzJjMTMwY2I3NGQwY2I0NTY4MjFjNDQ4MDcwM2E|1587571863|b7b7c5463efeb9f5618593e73a710a7d64a2ff13; n_c1; z_c0Mi4xeEItekJ3QUFBQUFBME94aWphRWNFQmNBQUFCaEFsVk4xYnFOWHdDZ3lWWHYwc3RUb3dKQ24yaUNlZE8zWjJ5akhB|1587571925|394733fa0f1887f584327e807eabc779c2c7b18b; tstr; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c491587008375,1587482507,1587571858,1587605776; q_c1cd8e859bd3664b63acb02dd3e5bfb29c|1587605777000|1570587075000; _gat_gtag_UA_149949619_11; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c491587612593; SESSIONIDaFLEvMRLqeRKvTfgwkfxy61SHi9vWB7J2UUu5ei9q63; KLBRSIDd1f07ca9b929274b65d830a00cbd719a|1587612596|1587605301; JOIDUF8RAklay1wn2rUUYVleQRfF7zh2Po4VYaz9RSgrqw1pr-F3BejG-3rfsxJn3GTATrMuKSiE-BOqn0XDIf-qOzk; osdV10TBU5dyV4g3bIWY15ZRhXH6D9xPIwSZqv_Ry8srA9rqOZwB-rB_H3dsRVg22bCSbQpKyqD_xSonULEJv2oPD4,Host: www.zhihu.com,User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3,
}
r requests.get(https://www.zhihu.com, headersheaders)
print(r.text)cookies返回的结果里面包含了登录后的结果就证明登陆成功了。3.会话维持在requests中当我们使用post和get时我们时打开了两个浏览器当我们用post打开页面时再用get()去请求个人信息时会失败。新的方法——Session对象用旧方法两次get()的结果会得到如下两次get()当我们引入Session对象时import requestss requests.Session()
s.get(http://httpbin.org/cookies/set/number/123456789)
r s.get(http://httpbin.org/cookies)
print(r.text)Session对象现在我们就可以获得当前的cookies了。4.SSL证书验证requests提供了证书验证功能当发送HTTP请求时会检查SSL证书可以使用verify参数控制是否检查证书。import requestsresponse requests.get(https://www.12306.cn, verifyFalse)
print(response.status_code)SSL证书这时会打印出请求成功的状态码但会报一个警告建议我们给他指定的证书可以通过设置忽略警告来屏蔽它。import requests
from requests.packages import urllib3urllib3.disable_warnings()
response requests.get(https://www.12306.cn, verifyFalse)
print(response.status_code)5.代理设置对于某些网站当我们开始大规模爬取时可能会弹出验证码或者返回登陆页甚至会封禁IP。为了防止这种情况发生我们可以用代理来解决问题需要使用到proxies参数来实现。import requestsproxies {http: http://10.10.1.10:3128,https: http://10.10.1.10:1080,
}
r requests.get(http://www.taobao.com, proxiesproxies)
print(r.text)代理换成自己的有效代理即可。若代理需要使用HTTP Basic Auth可以使用类似http://user:passwordhost:port 这样的语法来设置代理。requests同时支持SOCKS协议的代理需要安装socks库。6.超时设置使用timeout参数设置。import requestsr requests.get(https://www.taobao.com, timeout1)
print(r.status_code)请求分为两个阶段connect和read我们可以分别指定时间——timeout5,10,30。如果不设置的话可以timeoutNone或者不加参数。7.身份认证import requests
from requests.auth import HTTPBasicAuthr requests.get(http://localhost:5000, authHTTPBasicAuth(username, password))
print(r.status_code)如果使用OAuth认证需安装oanth库。8.Prepared Request我们可以将请求表示为数据结构其中各个参数都可以通过一个Request对象来表示。from requests import Request,Sessionurl http://httpbin.org/post
data {name: cxc
}
headers {User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3
}
s Session()
req Request(POST, url, datadata, headersheaders)
prepped s.prepare_request(req)
r s.send(prepped)
print(r.text)我们引入Request用urlheadersdata参数构造了一个Request对象再调用Session的prepare_request()将其转化为一个Prepared Request对象再调用send()方法发送即可。我们把请求当作独立的对象来看待这样再进行队列调度时会非常方便。参考书籍《Python 3 网络爬虫开发实战》
