网站内部优化工具,个人博客网站html模板,通河县机场建设网站,小米官网页面前言
在浏览网页时#xff0c;经常会遇到喜欢的视频、音频和图片#xff0c;希望将它们保存下来。通常的做法是使用浏览器的书签功能或者网站提供的收藏功能。但是#xff0c;如果网站上的内容被删除#xff0c;这些方式都会失效。比如在短视频网站中#xff0c;如果我们…前言
在浏览网页时经常会遇到喜欢的视频、音频和图片希望将它们保存下来。通常的做法是使用浏览器的书签功能或者网站提供的收藏功能。但是如果网站上的内容被删除这些方式都会失效。比如在短视频网站中如果我们收藏了一个视频但该视频违规或者被UP主删除那么我们将无法再次访问它因此很难找回。因此有必要将网页上的视频、音频和图片下载到本地这样就不必担心网站上的内容被删除。那么如何快速下载网页上的资源内容呢 Scrapy是一个适用于Python的快速、高层次的屏幕抓取和Web抓取框架用于从Web站点中抓取数据并提取结构化数据。Scrapy的用途非常广泛可用于数据挖掘、监测和自动化测试。Scrapy的吸引之处在于它是一个框架允许用户根据自己的需求进行方便的定制。它还提供了多种类型的爬虫基类如BaseSpider、Sitemap爬虫等而最新版本还增加了对Web 2.0爬虫的支持。另外Scrapeay 是Python的一个第三方库其主要功能包括抓取网页数据、从单个网页提取数据以及从多个网页提取数据。此外它还可以从PDF和HTML表格中提取数据。
一、 安装
1.安装库
pip install scrapeasy2.导入库
导入库之后只需提供主页的 URLscrapeasy就开始去访问当前主页面。
from scrapeasy import Website, Page
web Website(https://www.pinterest.com/)二、常用功能函数
class Web:def __init__(self, url):self.url urldef get_subpages_links(self):# 获取指定网站的所有子页面链接# 实现代码def get_images(self):# 获取指定网站上的所有图像链接# 实现代码def download_media(self, media_type, output_folder):# 下载指定网站上的媒体文件到本地磁盘# 实现代码def get_linked_pages(self, internTrue, externTrue, domainFalse):# 获取指定网站链接到的其他页面链接# 参数intern表示内部链接extern表示外部链接domain表示域链接# 实现代码class Page:def __init__(self, url):self.url urldef download_media(self, media_type, output_folder):# 下载指定页面上的媒体文件到本地磁盘# 实现代码def get_media_links(self, media_type):# 获取指定页面上特定类型的媒体链接# 实现代码# 示例用法
web Web(https://www.pinterest.com)
links web.get_subpages_links()
images web.get_images()
web.download_media(img, fahrschule/images)
domains web.get_linked_pages(internFalse, externFalse, domainTrue)page Page(https://www.w3schools.com/html/html5_video.asp)
page.download_media(video, w3/videos)
video_links page.get_media_links(video)page Page(https://tikocash.com)
calendar_links page.get_media_links(php)page Page(http://mathcourses.ch/mat182.html)
page.download_media(pdf, mathcourses/pdf-files)
要获取 ‘pinterest.com’ 上的所有子页面链接首先我们需要创建一个名为 ‘Web’ 的对象。使用该对象我们可以调用一个特定的方法来收集这些链接。值得注意的是由于本地互联网连接和目标网站服务器速度的差异获取所有子页面链接可能需要一些时间因此需要谨慎使用这种非常庞大的方法。
调用 ‘.getSubpagesLinks()’ 方法后将会返回一个包含所有子页面链接的列表。需要注意的是返回的链接列表缺少典型的 ‘http://www.’ 前缀。尽管在处理链接时可能更加方便但在浏览器中或通过请求调用这些链接时请确保在每个链接前面添加 ‘http://www.’。
接下来我们可以通过调用 ‘.getImages()’ 方法来查找指向 fahrschule-liechti.com 放置在其网站上的所有图像的链接。该方法将返回一个包含所有图像链接的响应。
如果我们想将 tikocash.com 上的所有图片下载到本地磁盘可以使用 ‘.download(“img”, “fahrschule/images”)’ 方法。首先我们使用关键字 ‘img’ 来指定下载所有图像媒体然后定义输出文件夹的位置即图像应该保存的位置。通过运行这段代码几秒钟之内就可以收到 Tikocash.com 上的所有图片。
如果想要了解 tikocash.com 链接到哪些页面可以使用 ‘.getLinks(internFalse, externFalse, domainTrue)’ 方法来获取所有链接的列表。为了获得更全面的概述可以指定只获取域链接以便了解它链接到的其他网站。
要进一步了解这些链接可以调用 ‘.getLinks(internFalse, externTrue, domainFalse)’ 方法来获取详细的外部链接。这将帮助我们更深入地了解所有外部链接。
要初始化页面可以创建一个名为 ‘Page’ 的对象来代表网站中的特定页面。通过初始化页面可以进行各种操作比如下载视频。例如通过初始化 ‘W3schools’ 页面我们可以尝试下载其中的视频。
要下载其他文件类型比如 .pdf、.php 或 .ico 文件可以使用 ‘.download()’ 方法并将文件类型作为参数传递给它。这样可以将指定类型的文件下载到本地磁盘。
