wordpress个性用户,太原seo代理计费,网站建站建设公司,增城做网站要多少钱概要 现如今#xff0c;人民群众对物质生活水平的要求已不再局限于衣食住行#xff0c;对于精神文化有了更多的需求。电影在我国越来越受欢迎#xff0c;电影业的发展越来越迅猛#xff0c;为了充分利用互联网技术的发展#xff0c;掌握电影业的态势#xff0c;对信息进行…概要 现如今人民群众对物质生活水平的要求已不再局限于衣食住行对于精神文化有了更多的需求。电影在我国越来越受欢迎电影业的发展越来越迅猛为了充分利用互联网技术的发展掌握电影业的态势对信息进行挖掘和处理、提高数据库的利用率本文采用文献分析法对网络爬虫的相关内容以及发展现状进行简单介绍并利用网页抓取技术爬取电影票房网站的相关数据进行分析为票房分析提供数据支撑。
关键词Python 网络爬虫 电影票房
一、研究背景与意义
1.1研究现状 emsp网络爬虫在消息探索与数值整理进程中发挥着关键作用上世纪初就已有科学家对爬虫开启探究模式现今爬虫技能已处于成熟阶段。网络爬虫可主动获取网络界面从而自行下载主人所需要的东西基本实现了大幅度的数据下载模式也更便于人们利用其进行高效工作。 在我国爬虫技能发展的有关探究开启速度比较慢但其后续的发展却非常迅猛。2003年该技能得到正式发展国内数据探索的学论会越来越常态化在该区域中的探究也随之扩展。2007年浙大教授罗兵在旧版网络爬虫的基准上增添了分析模型使对该内容的分析越发完善。近几年经过我国学界的专家、学者们的积极探讨与破除障碍使得我国流动性网络消息的获得能力不断提升爬虫体系的效能也随之增强。既减弱了人工完成的压迫感也逐步实现了高效率的下载任务成为了大众查找、分解与融合信息中不可或缺的手段。
1.2研究方法
①著作了解法 ②撰写程序语言Python语言、HTML语言、JS语言、css语言 ③信息库技能MySQL信息库技能
二、功能性需求分析
3.1系统功能分析 本电影信息数据爬取系统主要由后台管理模块和用户模块两大模块组成其中用户模块的适用对象为普通用户主要功能包括了登录注册、主题设置、个人中心、可视化展示以及信息推送功能。其中除了登录注册功能之外其他功能需要再用户登录的情况下才能使用。接着是后台管理模块其适用对象主要为管理者。后台管理模块的主要功能为数据爬取、用户管理、页面管理以及数据管理。其管理权限较大。具体功能模块示意图如3-1所示。
其中管理员功能用例图对应图3-3用户功能用例图对应图3-2 图3-1 系统功能模块示意图 图3-2 用户功能用例图
图3-3 管理员功能用例图
3.2系统功能性需求分析 本节从用户功能和管理员这两个模块分别阐述其功能性需求和做详细的分析介绍。通过详细的分析介绍进一步明确系统功能性需求为接下来的系统设计与开发做好布置工作。
3.2.1 系统用户功能性需求分析 图3-4 用户功能需求概述图
图3-4为猫眼电影票房信息数据爬取系统的用户功能需求的概述图下面将对图3-4所列的功能进行详细的讲解和说明。 1用户登录功能 用户登录功能为该系统的基础功能用户进入该系统的前提是登录账号登录账号之后可以进入系统并且系统会开放所有功能供用户使用。用户在未登录账号的情况下无法进入该系统。 2用户注册功能 用户注册功能的作用是让用户在未拥有账号的状态下可以进行注册获得账号以得到更多的功能。 3页面基本操作功能 页面基本操作功能是该系统的基础功能该功能具有四个子功能分别为页面刷新功能、页面全屏功能、页面主题设置功能以及信息推送内容。以下对其四个子功能进行详细的讲解和说明。 页面刷新功能该功能为页面基础功能的子功能之一主要是给系统页面进行刷新将系统页面置于初始状态。 页面全屏功能该功能为页面基础功能的子功能之一主要是将系统页面放至全屏状态方便用户更详细的查看页面。 页面主题设置功能该功能为页面基础功能的子功能之一主要是将系统页面的主题颜色、按钮进行更改方便用户根据自己的喜好对系统页面主题进行DIY设置。 信息推送功能该功能为页面基础功能的子功能之一主要是查看和预览用户的个人推送信息。 4数据可视化操作功能 数据可视化操作功能为该系统的重要功能该功能具有五个子功能分别为浏览电影票房变化功能、浏览电影数据概括功能、浏览电影票房榜单功能、浏览电影演员劳模功能以及浏览电影票房占比功能。以下将其五个子功能进行详细的讲解和说明。 浏览电影数据概括功能:该功能为数据可视化操作功能的子功能之一主要是对全部电影信息数据进行概括将其基本信息以表格形式展示出来方便用户浏览查看。 浏览电影票房占比功能该功能为数据可视化操作功能的子功能之一主要是对各个电影类型票房占比情况分别以柱状图和玫瑰图的形式展示出来用户可以选择不同的年份和月份查看不同时期时的各个电影类型票房占比情况。 浏览电影票房榜单功能该功能为数据可视化操作功能的子功能之一主要是将电影票房靠前的电影名字以词云图的形式展示出来用户可以选择不同的年份和排行数量查看不同时期时电影票房排行靠前的电影名字。票房越高的电影其名称字号大小将会更大。方便用户对电影票房查看一目了然。 浏览电影票房变化功能该功能为数据可视化操作功能的子功能之一主要是将2015年至2019年的电影票房走势以折线图的形式展示出来用户可以选择不同的电影类型查看该电影类型的票房走势情况。 浏览电影演员劳模功能该功能为数据可视化操作功能的子功能之一主要是将电影演员参演次数情况以词云图和柱状图的形式展示出来用户可以选择不同的年份和排行数量查看不同时期时电影演员参演次数靠前的演员名字。参演次数越多的演员在词云图里其名字的字号大小将会更大在柱状图里将会更明显。 5用户个人信息修改功能 用户个人信息修改功能为该系统的基础功能该功能具有三个子功能分别为用户更新基本信息功能、用户账号绑定功能以及用户修改密码功能。以下将其三个子功能进行详细的讲解和说明。 用户更新基本信息功能该功能为用户个人信息修改功能的子功能之一用户在该功能上可以更改自己的邮箱、昵称、个人简介、街道地址以及联系电话信息。 用户账号绑定功能该功能为用户个人信息修改功能的子功能之一用户可以在该功能上可以修改密保手机、密保邮箱、绑定QQ以及绑定微信。 用户修改密码功能该功能为用户个人信息修改功能的子功能之一用户可以在该功能上修改自己的账号密码。
三、项目的实现 经过一系列的爬虫工作将有效的数据存储到数据库最后再清洗加工将其可视化直观地展示出数据的价值及意义。
4.1 以2019年的票房榜单Top20为例分析
构建2019年票房榜单Top20词云图其生成图如下图6-1所示
图6-1 2019年的票房榜单Top20词云图
6.2 结果分析
以上图6-1的2019年的票房榜单Top20词云图为例票房榜首的《哪吒之魔皇降世》在图6-1中十分突出明显该影片在上映短短的时间内就突破了以往动漫电影的票房记录。《哪吒之魔皇降世》的成功归功于该影片创作团队的努力。导演一人为了该部影片亲力亲为甚至为了省钱自学担任动画的动作指导。而参与制作这部影片的人数高达1600多人突破了目前国产动画制作人数的记录是国产动漫电影新的里程碑。同时这部电影传达的价值观念也深深的引起广大观众的共鸣。只要努力即使与众不同也能找到自己的光辉。所谓那句“我命由我不由天”。 下面以2015年至2019年之间电影票房为例实现可视化。
图6-2各电影类型票房占总电影票房的玫瑰图
图6-2的玫瑰图是通过统计2015年至2019年里评分排行靠前的电影列表中各部电影类型票房占全部电影票房的百分比。通过玫瑰图6-2 可以看到票房排行前三的分别是动作、冒险及喜剧。可见观众对于动作片的喜爱程度是十分之高的更偏向于视觉上带来的享受。
图6-3 总票房排名前20的词云图 图6-3的词云图是通过统计2015年至2019年里评分排行靠前的电影清单中对总票房里排名前20的各部电影做视觉上的突出。图中清晰地看到《战狼2》这部电影的票房是最高的。《战狼2》这部电影的成功是多方面因素的结果起决定作用的还是电影的质量电影不论是在特效的处理上还是对剧情的把握都不输好莱坞大片。同时该部电影军旅题材符合爱国主旋律上映的时机恰逢建军90周年观众对于民族文化的认同感在该部电影上得到了极大的共鸣。
图6-4 2015年至2019年总票房走势折线图
图6-4的折线图是通过统计2015年至2019年里评分排行靠前的电影清单中电影总票房在这段时期里的走势。图中清晰地看到在2018年总票房达到顶峰随之到了2019年出现下滑趋势。分析来看2019年出现下滑原因主要有三个1.许多热门的电影在2019年6月份的暑期阶段宣布了撤档这对于原本期待影片上映的许多观众都没法到影院进行观看影院票房的跌落十分明显。2.全国的银幕数量增速放缓。3.可能是热门头部电影的撤档导致了影院观影的人数大幅度下降再加上票房的上升让许多观众望而止步。
图6-5 “演员劳模”词云图 图6-5的词云图是通过统计2015年至2019年里评分排行靠前的电影清单中各个演员参演次数在总演员参演次数里出现频率最高的“演员劳模”。图中清晰地看到道恩·强森这位演员近年来参演次数是最高的。笔者认为国内外电影最大的差别就是演员的努力程度近几年参演次数最高的道恩·强森即使是参演次数很高但是一年的录制的影视也没有多于五部在保证影片质量同时也如此“高产”可见的其投入的精力之多和时间分配的合理。一部作品的好坏和演员对作品的投入程度是离不开的。演员的付出对得起来之不易的作品剧本只有这样才可以观众带来更好的作品。
四、总结 电影发展的越来越迅速如何在这块红海市场中分得一杯羹成为一个比较具有挑战性的问题因此本文基于python爬虫制作了一个爬取电影票房网站的爬虫程序成功地爬取到了电影票房的数据并且保存到了数据库中并进行分析通过这种操作使得电影的票房更加透明清晰。本文基于Python语言对电影票房网站进行信息数据爬取和分析通过利用 Python 抓取电影票房数据内容数据从MYSQL 数据库提取出来进行有效的清洗使用MySQL和pandas库等方式进行操作使用web前端网页让数据以柱状图、玫瑰图、折线图以及词云图等方式展示在大众的眼前。以数据展示的结果从而对某个时间段的电影票房的数据进行分析进而了解大众专注热点趋势进而分析了热点电影的基本情况。 该系统利用了Python丰富的标准库以及快速开发的特长其主要有这几个不错的优点1该爬取系统对于使用Python程序比较陌生或者不熟悉的人来说也能很容易上手只需要点击运行爬取程序里的get_data.py文件爬取系统就会自动爬取数据以完成复杂的爬取工作2采用相似度距离算法方式破解了猫眼电影网字体反爬其亮点是方法新颖。3在Python程序里导入time方法通过10秒的休眠时间很大程度上降低了访问请求页面的频率。让服务器误以为是人为的操作因此避免了被猫眼电影网站阻止或拒绝。4在爬虫程序里添加了头部信息headers文件伪装给web服务器让其辨别为浏览器行为。方便后续的爬取工作正常进行。
六、 目录
目录 摘 要 1 Abstract 1 一、绪论 3 1.1研究背景 4 1.2研究现状 4 1.3研究方法 4 二、系统开发工具与相关技术 5 2.1 Python网络爬虫 5 2.2系统开发工具 5 2.2.1 pycharm工具 5 2.2.2 MySQL数据库 5 2.2.3 Hbuilder X工具 6 2.3系统后台技术 6 2.4 系统前端技术 6 三、系统分析 8 3.1 系统功能分析 8 3.2 系统功能性需求分析 10 3.2.1 系统用户功能性需求分析 10 3.2.2 系统管理员功能性需求分析 12 3.3 数据获取 14 3.4 数据分析 13 3.5 数据展示 13 四、系统设计 15 4.1文件结构图 15 4.1.1前端demo文件结构图 15 4.1.2后端爬虫系统文件结构图 15 4.2前端功能模块 16 4.3登录与注册模块设计 16 4.4数据库表设计 17 4.5数据展示模块设计 18 五、系统实现 20 5.1解决网站反爬机制 20 5.2 实现网络爬虫 23 5.2.1找出url变化规则并获取链接 26 5.2.2解析并获取网页数据 26 5.2.3将数据存储至数据库 27 5.3 登录注册模块实现 28 5.4 数据展示模块实现 28 六、 票房网站信息数据爬取结果及分析 32 6.1以2019年的票房榜单Top20为例分析 32 6.2结果分析 32 七、结论与建议 36 7.1结果分析 36 7.2不足点 36 7.3对未来的展望 37 参考文献 38 致 谢 39
