建筑企业网站设计,移动网络建设,wordpress二级分类列表,网站建设流程要多少钱文章目录 常用的命令开始爬虫请求与响应让控制台只输出想要的信息创建一个py 文件来帮忙运行爬虫 工作原理图实战 常用的命令
Scrapy是一个用于爬取网站数据的Python框架#xff0c;以下是一些常用的Scrapy命令#xff1a; 开始的时候 用 cd 进入你想创建scrapy 的文件夹 以下是一些常用的Scrapy命令 开始的时候 用 cd 进入你想创建scrapy 的文件夹 然后开始下面的操作 创建新的Scrapy项目 scrapy startproject project_name这个命令会创建一个新的Scrapy项目其中project_name是你为项目指定的名称。 创建一个新的Spider scrapy genspider spider_name website_url这个命令会生成一个新的Spider文件你需要提供spider_name作为Spider的名称和website_url作为爬取的起始网址。 运行Spider scrapy crawl spider_name这个命令会启动指定的Spider开始爬取数据。你需要将spider_name替换为你要运行的Spider的名称。 导出爬取数据为JSON文件 scrapy crawl spider_name -o output.json这个命令会运行Spider并将爬取的数据导出为一个JSON文件。你可以将output.json替换为你想要的输出文件名和格式。 导出爬取数据为CSV文件 scrapy crawl spider_name -o output.csv这个命令与上面的命令类似不过它将数据导出为CSV格式。 查看可用的Spider scrapy list这个命令会列出项目中所有可用的Spider你可以选择其中一个来运行。 检查Spider的数据爬取情况 scrapy crawl spider_name --loglevelINFO这个命令会以INFO级别的日志显示Spider的爬取情况有助于调试和监视爬取过程。 检查Spider的爬取速度和性能 scrapy crawl spider_name --profileoutput.cprofile这个命令会生成性能分析文件你可以使用工具来分析Spider的性能瓶颈。
开始爬虫
请求与响应 import scrapyclass ExampleSpider(scrapy.Spider):name example #爬虫的名字唯一allowed_domains [ssr1.scrape.center] # 限定的域名可选start_urls [https://ssr1.scrape.center/] #当前的域名def parse(self, response): # 当在命令行运行scrapy crawl example 之后会发送请求得到一个响应对象responceprint(response.text)print(response.status)pass
让控制台只输出想要的信息
在你的settings 文件中加入
LOG_FILE 爬虫名字.log这样那些日志就只会存储在日志文件中而不是在控制台中
创建一个py 文件来帮忙运行爬虫
在你的爬虫项目里创建一个py 文件
在你的run 文件中
from scrapy.cmdline import executeexecute([scrapy,crawl,example])
# 对应于你的运行scrapy crawl example
#这样你就可以直接运行run 文件来实现你的结果了
工作原理图 实战
网站https://ssr1.scrape.center/爬取电影名 import scrapy
from lxml import etreeclass ExampleSpider(scrapy.Spider):name example #爬虫名字allowed_domains [ssr1.scrape.center] #限定的域名可选start_urls [https://ssr1.scrape.center/]# 起始的域名def parse(self, response):html etree.HTML(response.text)#对返回的html 文本进行解析allname html.xpath(r//h2[classm-b-sm]/text())# 寻找电影名字print(allname)pass
效果
