北京所有做招聘类网站建站公司,微信h5制作网站开发,开一个网上商城要多少钱,国外优质网站0 持久化(pipelines.py)使用步骤
1 爬虫中间件和下载中间件 1.1 爬虫中间件(一般不用) 1.2 下载中间件#xff08;代理#xff0c;加请求头#xff0c;加cookie#xff09; 1.2.1 加请求头(加到请求对象中) 1.2.2 加cookie 1.2.3 加代理
2 scrapy集成selenium
3 源码去重…0 持久化(pipelines.py)使用步骤
1 爬虫中间件和下载中间件 1.1 爬虫中间件(一般不用) 1.2 下载中间件代理加请求头加cookie 1.2.1 加请求头(加到请求对象中) 1.2.2 加cookie 1.2.3 加代理
2 scrapy集成selenium
3 源码去重规则布隆过滤器 3.1 布隆过滤器
4 分布式爬虫 持久化(pipelines.py)使用步骤
# 1 scrapy 框架安装创建项目创建爬虫运行爬虫
# 2 scrapy架构
# 3 解析数据1 response对象有css方法和xpath方法-css中写css选择器 response.css()-xpath中写xpath选择 response.xpath()2 重点1-xpath取文本内容.//a[contains(class,link-title)]/text()-xpath取属性.//a[contains(class,link-title)]/href-css取文本a.link-title::text-css取属性img.image-scale::attr(src)3 重点2.extract_first() 取一个.extract() 取所有
# 4 继续爬取- 下一页的地址Request(urlnext, callbackself.parse)- 详情地址Request(urlurl, callbackself.detail_parser)-额外去写detail_parser内的解析# 5 数据传递-解析中有数据---》下个解析中还能拿到Request(urlurl, callbackself.detail_parser,meta{item:item})----》给了Response对象的meta属性# 6 配置文件-基础配置-高级配置--》提高爬虫效率# 7 持久化---》把数据保存到磁盘上文件mysql-管道-使用步骤-1 写个类items.py里面写字段class CnblogItem(scrapy.Item):name scrapy.Field()author scrapy.Field()url scrapy.Field()img scrapy.Field()desc_content scrapy.Field()# 文本详情text scrapy.Field()-2 配置文件配置管道配置多个存在多个位置ITEM_PIPELINES {scrapy_demo.pipelines.CnblogPipeline: 300,scrapy_demo.pipelines.CnblogMysqlPipeline: 200,}-3 爬虫解析中yield item-3 pipelines.py中写类open_spiderclose_spiderprocess_item1 爬虫中间件和下载中间件 1.1 爬虫中间件(一般不用)
# 第一步写个爬虫中间件类class ScrapyDemoSpiderMiddleware:classmethoddef from_crawler(cls, crawler):# This method is used by Scrapy to create your spiders.s cls()crawler.signals.connect(s.spider_opened, signalsignals.spider_opened)return s# 走架构图第1步会触发这里def process_spider_input(self, response, spider):# Called for each response that goes through the spider# middleware and into the spider.# Should return None or raise an exception.return None# 架构图第1,7步走这里def process_spider_output(self, response, result, spider):# Called with the results returned from the Spider, after# it has processed the response.# Must return an iterable of Request, or item objects.for i in result:yield idef process_spider_exception(self, response, exception, spider):# Called when a spider or process_spider_input() method# (from other spider middleware) raises an exception.# Should return either None or an iterable of Request or item objects.pass# 架构图第一步def process_start_requests(self, start_requests, spider):# Called with the start requests of the spider, and works# similarly to the process_spider_output() method, except# that it doesn’t have a response associated.# Must return only requests (not items).for r in start_requests:yield rdef spider_opened(self, spider):spider.logger.info(Spider opened: %s % spider.name)# 2 配置文件配置SPIDER_MIDDLEWARES {scrapy_demo.middlewares.ScrapyDemoSpiderMiddleware: 543,
}1.2 下载中间件代理加请求头加cookie
class ScrapyDemoDownloaderMiddleware:classmethoddef from_crawler(cls, crawler):# This method is used by Scrapy to create your spiders.s cls()crawler.signals.connect(s.spider_opened, signalsignals.spider_opened)return sdef process_request(self, request, spider):# - return None: 继续执行当次请求继续走下一个中间件---》如果中间件没了---》执行下载# - return Response 直接把Response返回给引擎引擎交给爬虫去解析# - return Request 把request返回给引擎引擎给调度器等待下一次被爬取# - 直接抛异常 触发process_exception执行return Nonedef process_response(self, request, response, spider):# Must either;# - return Response正常爬取完---》给引擎---》引擎给爬虫去解析# - return Request 爬取失败--》给引擎--》引擎给调度器--》等待下次爬取# - 抛异常 走到process_exceptionreturn responsedef process_exception(self, request, exception, spider):# Called when a download handler or a process_request()# (from other downloader middleware) raises an exception.# Must either:# - return None: continue processing this exception# - return a Response object: stops process_exception() chain# - return a Request object: stops process_exception() chainpassdef spider_opened(self, spider):spider.logger.info(Spider opened: %s % spider.name)1.2.1 加请求头(加到请求对象中)
# faker 模块 随机生成假数据
# pip install fake_useragent随机生成请求头### 加referer加token 加 user-agent
def process_request(self, request, spider):#### 加请求头print(request.headers)request.headers[referer] http://www.lagou.comrequest.headers[token] asdfasdf.asdfads.asfdasfd# user-agent---写死了---》想随机请求头from fake_useragent import UserAgentua UserAgent()request.headers[User-Agent] str(ua.random)print(request.headers)return None 1.2.2 加cookie def process_request(self, request, spider):print(request.cookies)request.cookies[name]lqzreturn None1.2.3 加代理
# 在下载中间件的def process_request(self, request, spider):写代码# 第一步-在下载中间件写process_request方法def get_proxy(self):import requestsres requests.get(http://127.0.0.1:5010/get/).json()if res.get(https):return https:// res.get(proxy)else:return http:// res.get(proxy)def process_request(self, request, spider):#request.meta[proxy] self.get_proxy()request.meta[proxy] http://192.168.11.11:8888return None# 第二步代理可能不能用会触发process_exception在里面写def process_exception(self, request, exception, spider):print(-----,request.url) # 这个地址没有爬return request2 scrapy集成selenium
# 使用scrapy默认下载器---》类似于requests模块发送请求不能执行js有的页面拿回来数据不完整# 想在scrapy中集成selenium获取数据更完整获取完后自己组装成 Response对象就会进爬虫解析现在解析的是使用selenium拿回来的页面数据更完整
# 集成selenium 因为有的页面是执行完js后才渲染完必须使用selenium去爬取数据才完整# 保证整个爬虫中只有一个浏览器器
# 只要爬取 下一页这种地址使用selenium爬取详情继续使用原来的# 第一步在爬虫类中写
from selenium import webdriver
class CnblogsSpider(scrapy.Spider):bro webdriver.Chrome() # 使用无头bro.implicitly_wait(10)def close(spider, reason):spider.bro.close() #浏览器关掉# 第二步在中间件中def process_request(self, request, spider):# 爬取下一页这种地址---》用selenium但是文章详情就用原来的if sitehome/p in request.url:spider.bro.get(request.url)from scrapy.http.response.html import HtmlResponseresponse HtmlResponse(urlrequest.url, bodybytes(spider.bro.page_source, encodingutf-8))return responseelse:return None3 源码去重规则布隆过滤器
# 如果爬取过的地址就不会再爬了,scrapy 自带去重# 调度器可以去重研究一下如何去重的---》使用了集合# 要爬取的Request对象在进入到scheduler调度器排队之前先执行enqueue_request它如果return False这个Request就丢弃掉不爬了----》如何判断这个Request要不要丢弃掉执行了self.df.request_seen(request)它来决定的-----》RFPDupeFilter类中的方法----》request_seen---》会返回True或False----》如果这个request在集合中说明爬过了就return True如果不在集合中就加入到集合中然后返回False# 调度器源码
from scrapy.core.scheduler import Scheduler# 这个方法如果return True表示这个request要爬取如果return False表示这个网址就不爬了(已经爬过了)def enqueue_request(self, request: Request) - bool:# request当次要爬取的地址对象if self.df.request_seen(request):# 有的请情况在爬虫中解析出来的网址不想爬了就就可以指定# yield Request(urlurl, callbackself.detail_parse, meta{item: item},dont_filterTrue)# 如果符合这个条件表示这个网址已经爬过了 return Falsereturn True# self.df 去重类 是去重类的对象 RFPDupeFilter--》配置文件配置的-在配置文件中如果配置了DUPEFILTER_CLASS scrapy.dupefilters.RFPDupeFilter表示使用它作为去重类按照它的规则做去重-RFPDupeFilter的request_seendef request_seen(self, request: Request) - bool:# request_fingerprint 生成指纹fp self.request_fingerprint(request) #request当次要爬取的地址对象#判断 fp 在不在集合中如果在return Trueif fp in self.fingerprints:return True#如果不在加入到集合return Falseself.fingerprints.add(fp)return False# 传进来是个request对象生成的是指纹-爬取的网址https://www.cnblogs.com/teach/p/17238610.html?namelqzage19-和 https://www.cnblogs.com/teach/p/17238610.html?age19namelqz-它俩是一样的返回的数据都是一样的就应该是一条url就只会爬取一次-所以 request_fingerprint 就是来把它们做成一样的(核心原理是把查询条件排序再拼接到后面)-生成指纹指纹是什么 生成的指纹放到集合中去重-www.cnblogs.com?namelqzage19-www.cnblogs.com?age19namelqz-上面的两种地址生成的指纹是一样的# 测试指纹from scrapy.utils.request import RequestFingerprinterfrom scrapy import Requestfingerprinter RequestFingerprinter()request1 Request(urlhttp://www.cnblogs.com?namelqzage20)request2 Request(urlhttp://www.cnblogs.com?age20namelqz)res1 fingerprinter.fingerprint(request1).hex()res2 fingerprinter.fingerprint(request2).hex()print(res1)print(res2)# 集合去重集合中放
# a一个bytes
# 假设爬了1亿条url放在内存中占空间非常大
a6af0a0ffa18a9b2432550e1914361b6bffcff1a
a6af0a0ffa18a9b2432550e191361b6bffc34f1a# 想一种方式极小内存实现去重---》布隆过滤器
https://zhuanlan.zhihu.com/p/946683613.1 布隆过滤器
# 极小内存实现去重
# 应用场景爬虫去重避免缓存穿透垃圾邮件过滤# bloomfilter是一个通过多哈希函数映射到一张表的数据结构能够快速的判断一个元素在一个集合内是否存在具有很好的空间和时间效率。典型例子爬虫url去重#布隆案例# from pybloom_live import ScalableBloomFilter
# bloom ScalableBloomFilter(initial_capacity100, error_rate0.001, modeScalableBloomFilter.LARGE_SET_GROWTH)
# url www.cnblogs.com
# url2 www.liuqingzheng.top
# bloom.add(url)
# print(url in bloom)
# print(url2 in bloom)from pybloom_live import BloomFilter
bf BloomFilter(capacity1000)
urlwww.baidu.com
bf.add(url)
print(url in bf)
print(www.liuqingzheng.top in bf)from scrapy.dupefilters import BaseDupeFilter
from scrapy.utils.request import RequestFingerprinter
from pybloom_live import ScalableBloomFilterclass MyPDupeFilter(BaseDupeFilter):fingerprints ScalableBloomFilter(initial_capacity100, error_rate0.001,modeScalableBloomFilter.LARGE_SET_GROWTH)fingerprinter RequestFingerprinter()def request_seen(self, request):print(zoule)fp self.request_fingerprint(request)if fp in self.fingerprints:return Trueself.fingerprints.add(fp)return Falsedef request_fingerprint(self, request) - str:return self.fingerprinter.fingerprint(request).hex()4 分布式爬虫
# 原来scrapy的Scheduler维护的是本机的任务队列待爬取的地址本机的去重队列放在集合中---》在本机内存中
# 如果把scrapy项目部署到多台机器上多台机器爬取的内容是重复的# 所以实现分布式爬取的关键就是找一台专门的主机上运行一个共享的队列比如Redis
然后重写Scrapy的Scheduler让新的Scheduler到共享队列存取Request并且去除重复的Request请求所以总结下来实现分布式的关键就是三点#1、多台机器共享队列#2、重写Scheduler让其无论是去重还是任务都去访问共享队列#3、为Scheduler定制去重规则利用redis的集合类型# scrapy-redis实现分布式爬虫-公共的去重-公共的待爬取地址队列# 使用步骤0 下载pip2 install scrapy-redis1 把之前爬虫类继承class CnblogsSpider(RedisSpider):2 去掉起始爬取的地址加入一个类属性redis_key myspider:start_urls # redis列表的key后期我们需要手动插入起始地址3 配置文件中配置DUPEFILTER_CLASS scrapy_redis.dupefilter.RFPDupeFilter # scrapy redis去重类使用redis的集合去重# 不使用原生的调度器了使用scrapy_redis提供的调度器它就是使用了redis的列表SCHEDULER scrapy_redis.scheduler.SchedulerREDIS_HOST localhost # 主机名REDIS_PORT 6379 # 端口ITEM_PIPELINES {# mysfirstscrapy.pipelines.MyCnblogsPipeline: 300,mysfirstscrapy.pipelines.MyCnblogsMySqlPipeline: 301,scrapy_redis.pipelines.RedisPipeline: 400,}4 再不同多台机器上运行scrapy的爬虫就实现了分布式爬虫5 写入到redis的列表中起始爬取的地址列表key:myspider:start_urlsrpush myspider:start_urls https://www.cnblogs.com
