孕妇做兼职上哪家网站,版面设计素材,低价网站建设教程,淮北百度seo最近Cloud Studio非常火#xff0c;我也去试了一下#xff0c;感觉真的非常方便#xff01;我就以Python爬取B站各区排名前一百的视频#xff0c;并作可视化来给大家分享一下Cloud Studio#xff01;应用链接#xff1a;Cloud Studio实战——B站热门视频Top100爬虫应用开… 最近Cloud Studio非常火我也去试了一下感觉真的非常方便我就以Python爬取B站各区排名前一百的视频并作可视化来给大家分享一下Cloud Studio应用链接Cloud Studio实战——B站热门视频Top100爬虫应用开发 文章目录 一、腾讯云Cloud介绍二、 B站爬虫2.1爬虫代码2.2爬虫结果 三、数据可视化部分3.1主站分析饼状图3.1.1主站分析饼状图代码3.1.2主站分析饼状图结果 3.2各站对比垂直图3.2.1各站对比垂直图代码3.2.2各站对比垂直图结果 3.3词云分析3.3.1词云分析代码 四、代码讲解4.1爬虫4.2主站分析饼状图4.3各站对比垂直图4.4词云分析 五、Cloud Studio总结 一、腾讯云Cloud介绍 点开一个工作台选择一个环节即可在里面编辑代码不用再担心本地环境不兼容的问题。腾讯云Cloud Studio是一种基于云的开发环境可以帮助开发人员更高效地进行软件开发和协作。它提供了一个集成开发环境IDE可以在任何地方通过互联网访问无需在本地安装任何软件。
腾讯云Cloud Studio的优势我总结为 灵活性Cloud Studio可以在任何设备上使用只需一个支持Web浏览器的设备即可。这使开发人员可以随时随地访问他们的开发环境无论是在办公室、家中还是旅途中。 资源可扩展性Cloud Studio在云端运行可以根据需要动态调整计算和存储资源。这意味着开发人员可以根据项目需求灵活地扩展或缩减资源而无需关注硬件设备的限制。 协作能力Cloud Studio支持多人协作开发多个开发人员可以在同一个开发环境中同时工作。这样可以提高团队的协作效率减少代码冲突和合并的问题。 安全性腾讯云提供了严格的安全措施来保护用户的数据和开发环境。Cloud Studio使用安全的传输协议并提供数据加密和访问控制等功能确保用户的代码和数据得到保护。 生态系统整合Cloud Studio与腾讯云的其他服务紧密集成如云服务器、对象存储、数据库等。这使得开发人员可以方便地使用这些服务来构建和部署应用程序。
在我看来腾讯云Cloud Studio提供了一个灵活、可扩展、安全和协作的开发环境使开发人员能够更加高效地进行软件开发和协作。
二、 B站爬虫 B站全称哔哩哔哩动画是中国知名的在线视频分享平台也是全球最大的二次元文化社区之一。B站以动画、漫画、游戏ACG为主题为用户提供高质量的原创动画、弹幕评论、直播互动和社区交流等服务。作为一个年轻人喜爱的文化社区B站汇集了大量的ACG内容创作者和粉丝形成了独特的二次元文化氛围。通过B站用户可以畅享各种精彩的动画作品、参与互动的直播活动并与志同道合的人分享兴趣爱好、交流心得。
2.1爬虫代码
import requests
import pandas as pd
url_dict {全站: https://api.bilibili.com/x/web-interface/ranking/v2?rid0typeall,动画: https://api.bilibili.com/x/web-interface/ranking/v2?rid1typeall,生活: https://api.bilibili.com/x/web-interface/ranking/v2?rid160typeall,动物圈: https://api.bilibili.com/x/web-interface/ranking/v2?rid217typeall,娱乐: https://api.bilibili.com/x/web-interface/ranking/v2?rid5typeall,影视: https://api.bilibili.com/x/web-interface/ranking/v2?rid181typeall,原创: https://api.bilibili.com/x/web-interface/ranking/v2?rid0typeorigin,
}
headers {Accept: application/json, text/plain, */*,Origin: https://www.bilibili.com,Host: api.bilibili.com,User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Safari/605.1.15,Accept-Language: zh-cn,Connection: keep-alive,Referer: https://www.bilibili.com/v/popular/rank/all
}for i in url_dict.items():url i[1] # url地址tab_name i[0] # tab页名称title_list []play_cnt_list [] # 播放数danmu_cnt_list [] # 播放数coin_cnt_list [] # 投币数like_cnt_list [] # 点赞数dislike_cnt_list [] # 点踩数share_cnt_list [] # 分享数favorite_cnt_list [] # 收藏数author_list []score_list []video_url []try:r requests.get(url, headersheaders)print(r.status_code)# pprint(r.content.decode(utf-8))# r.encoding utf-8# pprint(r.json())json_data r.json()list_data json_data[data][list]for data in list_data:title_list.append(data[title])play_cnt_list.append(data[stat][view])danmu_cnt_list.append(data[stat][danmaku])coin_cnt_list.append(data[stat][coin])like_cnt_list.append(data[stat][like])dislike_cnt_list.append(data[stat][dislike])share_cnt_list.append(data[stat][share])favorite_cnt_list.append(data[stat][favorite])author_list.append(data[owner][name])score_list.append(data[score])video_url.append(https://www.bilibili.com/video/ data[bvid])print(* * 30)except Exception as e:print(爬取失败:{}.format(str(e)))df pd.DataFrame({视频标题: title_list,视频地址: video_url,作者: author_list,综合得分: score_list,播放数: play_cnt_list,弹幕数: danmu_cnt_list,投币数: coin_cnt_list,点赞数: like_cnt_list,点踩数: dislike_cnt_list,分享数: share_cnt_list,收藏数: favorite_cnt_list,})df.to_csv(B站TOP100-{}.csv.format(tab_name), encodingutf_8_sig) # utf_8_sig修复乱码问题print(写入成功: B站TOP100-{}.csv.format(tab_name))2.2爬虫结果 得到的是一个总站、六个分区的热门视频内容存储在csv文件中。一共七个csv文件。打开全站文件可以看到
csv文件中存储这当前区的视频标题地址、作者、播放数、弹幕数、投币数等信息可以利用这些数据进行数据处理操作。
三、数据可视化部分
3.1主站分析饼状图
3.1.1主站分析饼状图代码
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
plt.rcParams[font.sans-serif][SimHei]
plt.rcParams[axes.unicode_minus]False
# 全站饼状图
Total_station pd.read_csv(B站TOP100-全站.csv)
num_dic {}
# play_num Total_station[播放数]
barrage_num Total_station[弹幕数]
coin_num Total_station[投币数]
like_num Total_station[点赞数]
share_num Total_station[分享数]
collection_num Total_station[收藏数]
# num_dic[播放数] sum(play_num)
num_dic[弹幕数] sum(barrage_num)
num_dic[投币数] sum(coin_num)
num_dic[点赞数] sum(like_num)
num_dic[分享数] sum(share_num)
num_dic[收藏数] sum(collection_num)
Num sum(num_dic.values())
# 单个数据
data list(num_dic.values())
# 数据标签
labels list(num_dic.keys())
# 各区域颜色
colors [green, orange, red, purple, blue]
# 数据计算处理
sizes [data[0] / Num * 100, data[1] / Num * 100, data[2] / Num * 100, data[3] / Num * 100, data[4] / Num * 100]
# 设置突出模块偏移值
expodes (0, 0, 0, 0.1, 0)
# 设置绘图属性并绘图
plt.pie(sizes, explodeexpodes, labelslabels,shadowTrue,autopct%3.1f%%, colorscolors)
## 用于显示为一个长宽相等的饼图
plt.axis(equal)
plt.title(主站分析饼状图,fontsize20)
# 保存并显示
plt.savefig(主站分析饼状图.png)
plt.show()3.1.2主站分析饼状图结果 3.2各站对比垂直图
3.2.1各站对比垂直图代码
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
plt.rcParams[font.sans-serif][SimHei]
plt.rcParams[axes.unicode_minus]Falseall_list [视频标题,视频地址,作者,综合得分,播放数,弹幕数,投币数,点赞数,点踩数,分享数,收藏数]
all_dic {}
Total_station pd.read_csv(B站TOP100-全站.csv)
animal pd.read_csv(B站TOP100-动物圈.csv)
animation pd.read_csv(B站TOP100-动画.csv)
original pd.read_csv(B站TOP100-原创.csv)
entertainment pd.read_csv(B站TOP100-娱乐.csv)
film_television pd.read_csv(B站TOP100-影视.csv)
life pd.read_csv(B站TOP100-生活.csv)
# all_dic[全站] sum(Total_station[播放数])
# 垂直各站对比图
all_dic[动物圈] sum(animal[播放数])
all_dic[动画] sum(animation[播放数])
all_dic[原创] sum(original[播放数])
all_dic[娱乐] sum(entertainment[播放数])
all_dic[影视] sum(film_television[播放数])
all_dic[生活] sum(life[播放数])
y1 list(all_dic.values())
x np.arange(len(y1))
plt.bar(xx,heighty1,width0.4)
a [0,1,2,3,4,5]
labels [动物圈, 动画, 原创, 娱乐,影视,生活]
plt.xticks(a,labels,rotation 10)
plt.xlabel(不同区名称,fontsize10)
plt.ylabel(播放总数,fontsize10)
plt.title(不同区前一百播放总数对比,fontsize20)
plt.savefig(垂直各站对比图.jpg, dpi300)
# plt.show()3.2.2各站对比垂直图结果 3.3词云分析
3.3.1词云分析代码
import wordcloud as wc
import jieba
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
Total_station pd.read_csv(B站TOP100-全站.csv)
f open(temp.txt,modew)
title Total_station[视频标题][:5:]
author Total_station[作者]
for i in title:f.write(i) # write 写入#关闭文件
for i in author:f.write(i) # write 写入
f.close()
with open(temp.txt, moder, encodingGBK) as fp:content fp.read() # 读取文件内容
res jieba.lcut(content) # 中文分词
text .join(res) # 用空格连接所有的词
mask np.array(Image.open(背景.jpg)) # 指定词云图效果
word_cloud wc.WordCloud(font_pathmsyh.ttc, maskmask) # 创建词云对象
word_cloud.generate(text) # 生成词语
plt.imshow(word_cloud) # 显示词云图
word_cloud.to_file(词云分析.png) # 保存成图片
plt.show() # 显示图片2.4.2词云分析结果四、代码讲解
4.1爬虫
首先那么需要在那么自己电脑上安装request和pandas库如果你们是anaconda环境的话它应该自己自带这两个库不用再另外安装没有这两个库的话要自行安装对应教程可以上或者站里面找一找教程很多跟着他后面做就能安装上。rl_dict {}是定义了一个字典这个字典的键就是分区的名字值就是对应的url你也可以理解为它的网址。Headers就是起到一个隐藏自己的作用你在本地pycharm去爬浏览器如果不加这个headers的话浏览器很容易就能判断出你是一个爬虫就把你拒之门外了。这个headers就相当于穿了一个外套或者你也可以理解为拿到了一个浏览器认可的身份证。有了这个包装你才可以顺利的去爬取指定的浏览器。接下来一个for循环ur l_dict就是我们上面定义的字典ur l_dict.items()就是获取它的所有键和值。url即为i[1]tab_name i[0]。try – except:用于捕获异常防止爬虫过程中出现异常这段指令可以让程序更加健壮。try里面的内容是整个爬虫的核心r requests.get(url, headersheaders) json_data r.json()是获取目标网站的信息返回的是一个键和值关联的嵌套字典
list_data json_data[‘data’][‘list’]是获取键为data的字典里面键为list的值返回的是一个列表。 用for循环遍历list_data将对应数据加到对应列表中这里涉及到的知识点是列表、字典的索引以及嵌套字典嵌套列表的索引。 df pd.DataFrame将对应字典转化为DataFrame格式方便之后写入csv文件中。 最后利用df.to_csv将数据写入csv文件中utf_8_sig修复乱码问题。再给个提示语句提示写入完成。
4.2主站分析饼状图
首先通过pandas读取文件将弹幕数、投币数、点赞数、分享数、收藏数依次用变量存储起来。利用字典将变量与对应变量和一一对应总和即为data list(num_dic.values())数据标签为labels list(num_dic.keys())。在设置一个颜色列表colors [‘green’, ‘orange’, ‘red’, ‘purple’, ‘blue’]。数据计算处理即求出每一部分占总体的多少expodes设置模块偏移量。plt.pie是用来绘制饼图在这个函数里面添加数据、标签、颜色等信息。再整个图片上添加标题最后将图片保存后显示出来。
4.3各站对比垂直图
首先读取各分区的数据提取不同分区的播放数据求总和作为该分区的热度。垂直对比图用plt.bar来绘制需要两个基本参数x和y。x即为不同分区的名称y即为上面求的热度值。利用plt.xlabel、plt.ylabel、plt.title分别添加xy轴的标题和整张图片标题最后将图片保存后显示出来。
4.4词云分析 首先你要安装这些依赖库 同样我们读取全站的数据title Total_station[“视频标题”][:5:]读取热度排名前五的标题author Total_station[“作者”]读取所有热门作者。 with open(“temp.txt”, mode“r”, encoding“GBK”) as fp:打开temp文件如果不存在的话就新建利用for循环将标题和作者信息输入到temp文件中并最后关闭文件。 res jieba.lcut(content)利用jieba分词器进行中文分词并用空格连接所有词。 mask np.array(Image.open(“背景.jpg”))指定词云图效果之后创建词云对象生成词语并显示词云图。 最后保存片并显示。
五、Cloud Studio总结
通过使用腾讯云Cloud Studio我成功地开发了一个应用程序用于爬取B站视频数据并进行可视化分析。这个应用程序具有以下几个关键特点 灵活性和便利性使用Cloud Studio我可以随时随地访问我的开发环境无需担心设备和软件的限制。这使得开发过程更加灵活和便利。 数据爬取通过调用B站的API接口我能够获取到所需的视频数据包括视频标题、播放量、点赞数等。这为后续的可视化分析提供了数据基础。 可视化分析我使用Python的数据分析和可视化库对爬取到的B站视频数据进行处理和分析。通过绘制图表和图形我能够更直观地展示视频数据的趋势、热门内容和用户喜好等。 实时更新借助Cloud Studio的云端环境我可以定期运行我的应用程序实时获取最新的B站视频数据并更新可视化结果。这使得我的应用程序始终保持最新和准确的数据。
总的来说腾讯云Cloud Studio为我提供了一个高效、灵活和安全的开发环境使我能够成功地开发了一个爬取B站视频并可视化的应用程序。这个应用程序不仅可以帮助我更好地了解B站视频的趋势和热门内容还可以为其他用户提供有价值的数据分析和参考。
