网站建设网站设计哪家专业,网站关键词怎么修改,免费做app的网站哪个好,成都有做公司网站的公司吗据说#xff1a;看我文章的帅帅 都有个习惯#xff1a;先点赞、收藏再看 目录
⚽️ 一、背景知识#xff1a;requests
#x1f3c0; 1、pip安装requests
#x1f3c8; 2、pycharm安装requests
⚾️ 3、一行代码使用requests
#x1f3be; 4、requests常用调用看我文章的帅帅 都有个习惯先点赞、收藏再看 目录
⚽️ 一、背景知识requests 1、pip安装requests 2、pycharm安装requests
⚾️ 3、一行代码使用requests 4、requests常用调用get、post 5、requests返回参数 二、蜘蛛的背景知识 1、蜘蛛的应用场景 2、动态ip的好 三、代理ip
⛸ 1、生成代理api 2、api生成代理ip 3、测试代理ip 四、代理访问
❤ 文末福利丨包邮送书 ❤ 1、三连送书 2、资料白嫖 联系作者 不吃西红柿 作者简介CSDN 博客专家丨全站 Top 10、HDZ 核心组成员、信息技术智库公号号主 简历模板、PPT 模板、学习资料、技术互助。关注我都给你
很多人看西红柿的博客花里胡哨的不知道从何学起为了广大人民群众的根本利益我决定写一个阅读指引按照这个指引进行学习多加练习假以时日势必能够……算了还是看你自己能学多少以及能够坚持到哪里了。加油少年毕竟收藏 学会
学习路径指引点击解锁定位适宜人群全网最全丨 Python 快速入门专栏入门级没有语言基础感兴趣的大学生全网最黑丨 Python 黑科技专栏黑科技级有一定的基础学以致用大数据知识体系丨集锦专栏工作/就业大数据领域从业者就业升职加薪信息技术智库社区吹水/互助互联网相关人员白嫖奖品丨官方活动
一、背景知识requests
欲练此功、必须先了解背景知识。python之所以强大一个重要的原因就是拿来即用的代码库丰富
Python内置的urllib模块用于访问网络资源。但是它用起来比较麻烦也缺少很多实用的高级功能。
更好的方案是使用requests get方法 post方法 header参数模拟用户 data参数提交数据 proxies参数使用代理
1、pip安装requests pip install requests2、pycharm安装requests 举一反四其它包的安装方法类似 3、示例一行代码使用requests
导入 Requests 模块 import requests然后尝试获取某个网页。本例子中我们来获取 Github 的公共时间线
r requests.get(https://api.github.com/events)4、requests常用调用get、post GET 变量接受所有以 get 方式发送的请求及浏览器地址栏中的 ?之后的内容。 POST 变量接受所有以 post 方式发送的请求例如一个 form 以 methodpost 提交 REQUEST 支持两种方式发送过来的请求即 post 和 get 它都可以接受显示不显示要看传递方法get 会显示在 url 中有字符数限制post 不会在 url 中显示可以传递任意多的数据只要服务器支持。
5、requests返回参数 r.status_code HTTP请求的返回状态200表示连接成功404表示失败 r.text HTTP响应内容的字符串形式即url对应的页面内容 r.encoding 从HTTP header中猜测的响应内容编码方式( r.apparent_encoding 从内容中分析出的响应内容编码方式备选编码方式 r.content HTTP响应内容的二进制形式 二、蜘蛛的背景知识
1、蜘蛛的应用场景 玩python的小伙伴相信都听过蜘蛛吧他有以下10个方面的妙用本文中西红柿将带领大家玩一下。 应用场景用途解释品牌保护通过监控网络上的商标来保护品牌。竞争对手情报在不被屏蔽的情况下抓取竞争对手公开数据信息广告验证确保广告在任何地点任何场景被正确的展示抓取和索引一个站点可能会将抓取限制为每分钟几个请求但它们有数千万个页面。网站测试准确的测试始于设置正确的参数和正确的环境。邮件保护保护敏感数据通信利用代理服务器应对网络攻击。股市数据大规模获取最新的股市信息。搜索引擎优化监控使用我们的实时爬虫监控您的SEO实时情况。市场调查从任何位置获取准确的信息例如可用性和价格。旅游聚合使用爬虫获取正确的机票价格和酒店价格。
2、动态ip的好
为什么要使用动态住宅IP
真正的住宅IP地址这意味着在您请求访问时被阻止的可能性较小并且成功率更高。 无限并发 IP可用率98% API调用频率1秒 HTTP、HTTPS和SOCKS5 协议
三、代理ip
我使用的是代理ip网站可以白嫖50M流量
http://www.ipidea.net/?utm-sourcecsdn_bcxhxutm-keyword?csdn_bcxhx
1、生成代理api 到此你拿到了代理ip的api链接记得复制保存等下要用。 如果你访问这个api链接会发现你拿到了ip和端口。
2、api生成代理ip def get_proxie(self, api_url):# 微信搜信息技术智库回复源码user_agent Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)headers {User-Agent: user_agent}res requests.post(api_url,headersheaders, verifyTrue)proxie https://%s%(res.text)proxies {http: proxie}is_valid, proxies visitor.proxie_check(proxies)return is_valid, proxies3、测试代理ip def proxie_check(self, proxies):user_agent Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)headers {User-Agent: user_agent}res requests.get(https://bbs.csdn.net/forums/ITID, headersheaders, proxiesproxies)is_valid 0if res.status_code 200 and msg not in str(proxies):is_valid 1return is_valid, proxies四、代理访问
在上一步中我们拿到了代理ip。 西红柿使用的是ipidea 可白嫖50M流量
当然你如果还有其他方法欢迎架微notomoto 进Python裙交流。
代码解释 url为访问的地址 proxiesproxie 为使用代理
class Visitor(object):def __init__(self):Inits Visitor with blah.self.eggs 0time_decoratordef proxie_visit(self, proxie ,url):user_agent_list [Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3,Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50,Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50,Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0),Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0),Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1,Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11,Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0),Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0,Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1,]# 随机挑选一个 user_agentuser_agent random.choice(user_agent_list)Referer https://www.baidu.com/ # 伪装成从baiduheaders {Referer: Referer,User-Agent: user_agent}# visitres requests.get(url, headersheaders, proxiesproxie)return res.text获取完整代码公众号信息技术智库回复源码 到此西红柿演示了使用代码ip访问网站这是一个简单的蜘蛛原型。 基于这个加以优化可以实现很多有意思的事情嘿嘿嘿点到为止。 ❤ 文末福利丨包邮送书 ❤ 送书规则
1、两种参与方式 三连文章西红柿会在发文后2-3天从评论区选出4-6位走心评论需要同时收藏和点赞。 访问社区在社区点赞评论或发帖即会出现在《社区积分榜》每周挑选2-3位小伙伴。 社区地址https://bbs.csdn.net/forums/ITID
2、中奖通知CSDN评论区、私信、Python全栈技术群里通知。
3、补充说明选中者提供收货地址和想要的书名很多人问我该选哪一本大家可以根据兴趣、参考价值来选西红柿把官网价也附上了。 包邮送书书单中奖者自选官网地址官网价《Python 3.x基础教程》https://item.jd.com/12542555.html60《Python编程完全自学教程》https://item.jd.com/13130464.html99《Python入门到人工智能实战》https://item.jd.com/12648361.html79《Python量化金融编程从入门到精通》https://item.jd.com/13045490.html79《Python网络编程从入门到精通》https://item.jd.com/12659295.html69《人工智能数学基础与 Python机器学习实战》https://item.jd.com/13504186.html79《git从入门到精通》https://item.jd.com/12793056.html49《黑客攻防从入门到精通》https://item.jd.com/12051029.html69Python理论基础全网最全丨 Python 快速入门专栏 Python练习应用全网最黑丨 Python 黑科技专栏 2、资料白嫖、技术互助
公众号微信搜【信息技术智库】你的技术加油站 硬核资料8大类丨20G 学习资料 行业资料 面试资料 交流加群互帮互助、指点迷津、求资源在群里喊一声 面试题库技术群小伙伴们共同投稿热乎的大厂面试真题 源码获取微信搜【信息技术智库】回复源码 领取资料、技术互助
