家教网站如何建设,陕西网站制作电话,网站上的支付接口怎么做,注册网站给谁交钱阅读文本大概需要3分钟。上篇《分布式爬虫管理平台Crawlab开发搭建》把爬虫的管理后台搭建起来了#xff1b;捣鼓一番发现要真正爬取数据还有下不少的功夫。这篇看看怎么搭建pythonscrapy环境。0x01#xff1a;安装Python3下载python安装包#xff0c;具体版本根据自己的系统… 阅读文本大概需要3分钟。 上篇《分布式爬虫管理平台Crawlab开发搭建》把爬虫的管理后台搭建起来了捣鼓一番发现要真正爬取数据还有下不少的功夫。这篇看看怎么搭建pythonscrapy环境。0x01安装Python3下载python安装包具体版本根据自己的系统要求https://www.python.org/downloads/windows/下载安装完成后直接cmd输入python可正常查看版本注安装过程中请注意一定要请勾选pip安装并加入到环境变量中否则后续无法正常安装第三方类库。0x02安装爬虫所需的一些常用类库安装 selenimu 自动化web包cmd进入任意目录执行 pip install selenium安装 pymysql 连接mysql包cmd进入任意目录执行。方便以后把爬取的数据插入数据库pip install pymysql安装 pillow 图片处理包pip install pillow备注pillow官网 https://pillow.readthedocs.io/en/latest/installation.html安装 pypiwin32 操作底层dll包pip install pypiwin32安装 requests 发送web请求包pip install requests安装 scrapy 爬虫框架包pip install scrapy备注安装爬虫框架必须依赖的第三方类库Twisted在使用pip安装时会出现下载文件失败而无法安装问题可以先下载Twisted安装文件。然后使用pip install安装Twisted。 pip install 下载Twisted文件绝对路径下载地址如下(下载与Python版本匹配的whl文件) https://www.lfd.uci.edu/~gohlke/pythonlibs/ 安装解析网页内容包pip install bs40x03验证scrapy 是否安装成功进入cmd输入 scrapy 查看scrapy是否安装成功0x04创建爬虫项目创建项目只需一行命令即可创建名为 tutorial 的Scrapy项目 scrapy startproject tutorialtutorial项目的目录结构大概如下创建爬虫的模板文件进入 ./tutorial/tutorial 执行scrapy genspider QuoteSpider http://www.baidu.com QuoteSpider是文件名http://www.baidu.com是要爬取的域名 ./tutorial/tutorial/spiders 目录下生成一个QuoteSpider.py文件。文件内容如下修改一下QuoteSpider.py文件import scrapyclass QuotespiderSpider(scrapy.Spider): name QuoteSpider# 允许爬取的域名# allowed_domains [landchina.mnr.gov.cn] start_urls [http://landchina.mnr.gov.cn/scjy/tdzr/index_1.htm]def parse(self, response): # resonse相当于从网络中返回内容所存储的或对应的对象 fname response.url.split(/)[-1] # 定义文件名字把response中的内容写到一个html文件中with open(fname, wb) as f: # 从响应的url中提取文件名字作为保存为本地的文件名然后将返回的内容保存为文件 f.write(response.body) self.log(Saved file %s. % fname) # self.log是运行日志不是必要的这个代码很简单就是爬取一个页面并保存到文件中。执行tutorial爬虫项目在cmd目录中执行scrapy crawl QuoteSpider执行日志如下可以在 tutorial 目录下看的 index_1.htm 文件该文件就是爬取到的内容。☆往期精彩☆01 Sentinel如何进行流量监控02 Nacos源码编译03 基于Apache Curator框架的ZooKeeper使用详解04 spring boot项目整合xxl-job05 互联网支付系统整体架构详解关注我每天进步一点点喜欢在看☟
