wordpress申请网站吗,佛山网站建设联系电话,电话外呼系统,网上订酒店 网站开发模块简介#xff1a; requests 库是一个 python中比较有名的 http请求的库#xff0c;能处理 get,post,put,delete 等 restful请求#xff0c;能设置 header#xff0c;cookie,session 等操作#xff0c;也是作为爬虫的基础库#xff0c;它目前还不能异步请求,如果要支持…模块简介 requests 库是一个 python中比较有名的 http请求的库能处理 get,post,put,delete 等 restful请求能设置 headercookie,session 等操作也是作为爬虫的基础库它目前还不能异步请求,如果要支持异步官网文档上也说用 httpx 等代替。官方文档网址https://requests.readthedocs.io/en/latest/ requests模块的作用
发送 http 请求获取响应数据
安装
pip install requests响应对象
text strcontent bytes
使用requests.get()发送请求
发送带请求头的请求 requests.get(url,headers{User-Agent:xxxx})发送带参数的请求
url中直接带参数用字典的方式传参数
requests.get(url,params{param1: xxxx, param2:xxx2})在 headers参数中携带 Cookie 网站经常利用请求头中的 Cookie 字段来做用户访问状态的保持那么我们可以在 headers 参数中添加 Cookie模拟普通用户的请求。我们以 github 登录为例 github登录抓包分析 无痕窗口打开chrom浏览器右键–检查点击 Network访问 github登录的 url 地址 https://github.com/用户名输入账号密码点击登录后访问一个需要登录后才能获取正确内容的 url比如点击右上角的 Your profile 访问 https://github.com/USER_ANME确定 url之后再确定发送请求所需要的请求头信息中的User-Agent 和 Cookie cookies 参数的使用 cookies参数的形式字典 cookies {“cookie的名字”:“cookie的值”}该字典对应请求头中 Cookie 字符串以分号、空格分割每一对字典键值对等号左边的一个 cookie 的 name对应 cookies 字典的 key等号右边对应 cookies 字典的 value cookies 参数的使用方法 response requests.get(url,cookies)注意cookie 一般是又过期时间的一旦过期需要重新获取cookieJar 对象转换成 cookies 字典的方法 使用 requests获取的 response 对象具有 cookie 属性。该属性是一个 cookieJar 类型包含了对方服务器设置在本地的 cookie。可以将其转换成 cookies 字典 response.txt 和 response.content 的区别
response.text 类型str解码类型requests模块自动根据 http 头部对响应码作出有根据的推测推测的文本编码。 response.content 类型bytes解码类型默认是 utf-8
response 响应对象的其他常用属性或方法 response requests.get(url)中 response是发送请求获取的响应对象response 响应对象中除了 text、content获取响应内容意外还有其他常用的属性或方法 response.url响应的 url有时候响应的 url 和请求的 url 并不一致response.status_code响应状态码response.request.headers响应对应的请求头response.headers响应头response.request_cookies响应对应请求的 cookie返回 cookieJar 类型response.cookies响应的 cookie经过了 set-cookie 动作返回 cookieJar 类型response.json()自动将 json字符串类型的响应内容转换成 python 对象(dict or list)
代理的使用
理解代理的过程 代理 ip是一个 ip指向的是一个代理服务器代理服务器能够帮助我们向目标服务器转发请求 正向代理和反向代理的区别 前边提到 proxy 参数指定的代理 ip指向的是正向的代理服务器那么响应的就有反向服务器现在来了解正向和反向这两者的区别 从发送请求方的角度来区分正向和反向代理为浏览器或客户端(发送请求的一方)转发请求的叫做正向代理 浏览器知道最终处理请求的服务器的真实 ip地址例如VPN等翻墙软件 不为浏览器或客户端(转发请求)而是为最终处理请求的服务器转发请求的叫反向代理 浏览器不知道服务器的真实地址而都是去访问 nginxnginx 通过负载均衡再分发到不同的 web 服务器(tomcat,php-fpm等)。
代理ip代理服务器的分类 根据代理ip 的内名成都代理 IP 分为下面三类 透明代理Transparent Proxy透明代理虽然可以直接隐藏你的IP 地址但是还是可以查到你是谁目标服务器接受到的请求头如下
REMOTE_ADDR 代理IP
HTTP_VIA 代理IP
HTTP_X_FORWARDED_FOR 你的真实IP2. 匿名代理Anonymous Proxy使用匿名代理别人只能直到你用了代理无法直到你是谁。目标服务器接收到的请求头付下REMOTE_ADDR 代理IP
HTTP_VIA 代理IP
HTTP_X_FORWARDED_FOR 代理IP3. 高匿代理Elite proxy 或 High Anonymity Proxy高匿代理让别人无法发现你在用代理所以是最好的选择。毫无疑问使用高匿代理效果最好费用也昂贵目标服务器接收到的请求头如下REMOTE_ADDR 代理IP
HTTP_VIA not datermined
HTTP_X_FORWARDED_FOR not determined根据网站使用的协议不同需要使用相应协议的代理服务器。从代理服务请求使用的协议有如下3个 http代理目标 url 为 http 协议https 代理目标 url为 https 协议socks 隧道代理如 socks5代理等(用的比较少) socks 代理是 socket 层只简单地传递数据包不关心是何种应用协议FTP、HTTP 和 HTTPSsocks 代理比 http、https 代理耗时少。scoks代理可以转发 http 和 https 的请求 proxies 代理参数的使用 为了让服务器以为不是同一个客户端在请求为了防止频繁像一个域名发送请求被封 ip所以我们需要使用代理 ip; 用法
resp requests.get(url,proxiesproxies_dict)proxies 的形式字典例如
proxies_dict {http:: http://xxx.xxx.xx.xx:33502,https: https://xx.xx.xx.xxx1:33220
}注意 如果目标地址只支持 http 的那么我们这个代理 ip 就不能使用 https如果目标地址支持https那么同时也能用 http如果proxies 字典包含多个键值对发送请求时将按照 url 地址的协议来选择使用响应的代理 ip当代理ip失效时要么就是一直卡着要么就是报错
request.post模拟表单提交
request.session进行登录状态保持 requests 模块中的 Session类能够自动处理发送请求获取响应过程中产生的 cookie进而达到状态保持的目的。接下来我们来学习它 requests.session 的作用以及引用场景
requests.session 的作用 自动处理 cookie即下一次请求会带上前一次的 cookie requests.session 的应用场景 自动处理连续的多次请求过程中产生的 cookie
requests.session 使用方法 session 实例在请求了一个网站后对方服务器设置在本地 cookie 会保存在 session 中下一次再使用 session请求对方服务器的时候会带上前一次的 cookie # 实例化 session 对象
session requests.session()
response session.get(url,headers, ...)
response session.post(url,data,headers, ...)session 对象发送 get或 post 请求的参数与 requests模块发送的参数完全一致
