建设网站需要机房吗,seo教程搜索引擎优化入门与进阶,外贸网站优化推广,大连营商建设局网站网易云音乐2018年度听歌报告—遇见你#xff0c;真好。相信有不少人在上周#xff0c;应该已经看过自己网易云音乐的年度报告了。小F也是去凑凑热闹#xff0c;瞅了一波自己的年度听歌报告。那么你在云村又听了多少首歌#xff0c;听到最多的歌词又是什么呢?2018年你的年度…网易云音乐2018年度听歌报告—遇见你真好。相信有不少人在上周应该已经看过自己网易云音乐的年度报告了。小F也是去凑凑热闹瞅了一波自己的年度听歌报告。那么你在云村又听了多少首歌听到最多的歌词又是什么呢?2018年你的年度歌手又是谁哪些又是你最爱的歌呢?不过相比去年我的票圈并没有很多发自己年度报告的朋友。不得不说版权之争开始网易云音乐似乎就在走下坡路。很多喜欢的歌听不了这应该是大家共同的痛点。最大的印象就是周董的歌在愚人节时下架了原以为只是个玩笑不想却是真的。本次通过对网易云音乐华语歌单数据的获取对华语歌单数据进行可视化分析。可视化库不采用pyecharts来点新东西。使用matplotlib可视化库利用这个底层库来进行可视化展示。一、网页分析01 歌单索引页选取华语热门歌单页面。获取歌单播放量名称及作者还有歌单详情页链接。本次一共获取了1302张华语歌单。02 歌单详情页获取歌单详情页信息信息比较多。有歌单名收藏量评论数标签介绍歌曲总数播放量收录的歌名。这里歌曲的时长、歌手、专辑信息在网页的iframe中。需要用selenium去获取信息鉴于耗时过长小F选择放弃...有兴趣的小伙伴可以试一下哈...二、数据获取01 歌单索引页from bs4 import BeautifulSoupimport requestsimport timeheaders {User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36}for i in range(0, 1330, 35):print(i)time.sleep(2)url https://music.163.com/discover/playlist/?cat欧美ℴhotlimit35offset str(i)response requests.get(urlurl, headersheaders)html response.textsoup BeautifulSoup(html, html.parser)# 获取包含歌单详情页网址的标签ids soup.select(.dec a)# 获取包含歌单索引页信息的标签lis soup.select(#m-pl-container li)print(len(lis))for j in range(len(lis)):# 获取歌单详情页地址url ids[j][href]# 获取歌单标题title ids[j][title]# 获取歌单播放量play lis[j].select(.nb)[0].get_text()# 获取歌单贡献者名字user lis[j].select(p)[1].select(a)[0].get_text()# 输出歌单索引页信息print(url, title, play, user)# 将信息写入CSV文件中with open(playlist.csv, a, encodingutf-8-sig) as f:f.write(url , title , play , user \n)获取歌单索引页信息如下共1302张华语歌单。02、歌单详情页from bs4 import BeautifulSoupimport pandas as pdimport requestsimport timedf pd.read_csv(playlist.csv, headerNone, error_bad_linesFalse, names[url, title, play, user])headers {User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36}for i in df[url]:time.sleep(2)url https://music.163.com iresponse requests.get(urlurl, headersheaders)html response.textsoup BeautifulSoup(html, html.parser)# 获取歌单标题title soup.select(h2)[0].get_text().replace(,, )# 获取标签tags []tags_message soup.select(.u-tag i)for p in tags_message:tags.append(p.get_text())# 对标签进行格式化if len(tags) 1:tag -.join(tags)else:tag tags[0]# 获取歌单介绍if soup.select(#album-desc-more):text soup.select(#album-desc-more)[0].get_text().replace(\n, ).replace(,, )else:text 无# 获取歌单收藏量collection soup.select(#content-operation i)[1].get_text().replace((, ).replace(), )# 歌单播放量play soup.select(.s-fc6)[0].get_text()# 歌单内歌曲数songs soup.select(#playlist-track-count)[0].get_text()# 歌单评论数comments soup.select(#cnt_comment_count)[0].get_text()# 输出歌单详情页信息print(title, tag, text, collection, play, songs, comments)# 将详情页信息写入CSV文件中with open(music_message.csv, a, encodingutf-8-sig) as f:f.write(title , tag , text , collection , play , songs , comments \n)# 获取歌单内歌曲名称li soup.select(.f-hide li a)for j in li:with open(music_name.csv, a, encodingutf-8-sig) as f:f.write(j.get_text() \n)获取的1302张华语歌单的详情。1302张歌单里的121118首歌。三、数据可视化可视化代码已上传GitHub点击左下角阅读原文即可访问!!!01 歌曲出现次数 TOP10榜上的十首歌除了「水星记」小F听得次数都不少。那么你又是如何的呢?在小F的印象里这些歌都曾在网易云音乐热歌榜的榜首出现过。02 歌单贡献UP主 TOP1010大歌单贡献UP主感谢这些辛勤的“搬运工”给大家带来优质的歌单。给广大懒人癌患者亦或选择困难症患者带来福利。03 歌单播放量 TOP10歌单播放量前十名单第一名7000多万播放量。其实matplotlib生成的图是挺清楚的只不过一上传就变模糊了。所以这里你可能会觉得图片质量不行...其实并不是为此小F做了相应的图表具体见文末~04 歌单收藏量 TOP10同样是好东西收藏收藏!!!有一些歌单和播放量TOP10里歌单有重复。05 歌单评论数 TOP10歌单「再见大侠武侠小说泰斗金庸逝世」评论数最多。相信不少人的阅读时光就是与金庸前辈的武侠小说一起度过。飞雪连天射白鹿笑书神侠倚碧鸳。还有由小说改编成的电视剧都是经典!!!小F武侠小说看的少武侠电视剧看的多...06 歌单收藏数量分布情况将收藏数做对数处理使得能直观看出歌单收藏数的分布。主要分布在0-15万之间(ln(150000)12)。07 歌单播放数量分布情况歌单播放数主要分布在0-1000万。其中ln(10000000)16。08 歌单标签图既然选取的是华语歌单那么华语这二字必不可少而且还占大头。那么就看看除了华语还有什么其他标签。「流行」没啥好说的。「古风」「说唱」「民谣」近些年来热度是越来越高不过也有玩坏的时候。比如「离人愁」、「一人我饮酒醉」小F作为吃瓜群众只能说且行且珍惜...09 歌单介绍词云图歌单介绍词云图希望你能找到你喜欢某首歌的原因!!!到底是希望还是青春亦或是回忆呢?四、总结最后把本次搜刮的干货分享给大家。可视化及相关代码都放「GitHub」上头了。GitHubhttps://github.com/Tobby-star/music_163作者法纳斯特Python爱好者喜欢爬虫数据分析以及可视化。
