小说在线阅读网站怎么做,怎么删掉安装的wordpress,宿州建设企业网站公司,网站自动推广软件免费原标题#xff1a;python爬虫爬取微博评论python爬虫是程序员们一定会掌握的知识#xff0c;练习python爬虫时#xff0c;很多人会选择爬取微博练手。python爬虫微博根据微博存在于不同媒介上#xff0c;所爬取的难度有差异#xff0c;无论是python新入手的小白#xff0…原标题python爬虫爬取微博评论python爬虫是程序员们一定会掌握的知识练习python爬虫时很多人会选择爬取微博练手。python爬虫微博根据微博存在于不同媒介上所爬取的难度有差异无论是python新入手的小白还是已经熟练掌握的程序员可以拿来练手。本文介绍python爬取微博评论的代码实例。一、爬虫微博与QQ空间爬虫类似可以爬取新浪微博用户的个人信息、微博信息、粉丝、关注和评论等。爬虫抓取微博的速度可以达到 1300万/天 以上具体要视网络情况。难度程度排序网页端手机端移动端。微博端就是最好爬的微博端。二、python爬虫爬取微博评论第一步确定评论用户的id# -*- coding:utf-8 -*-import requestsimport reimport timeimport pandasas pdurls https://m.weibo.cn/api/comments/show?id4073157046629802page{}headers {Cookies:Your cookies,User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36}第二步找到html标签tags re.compile(?\w[^]*)第三步设置提取评论functiondef get_comment(url):j requests.get(url, headersheaders).json()comment_data j[data][data]for data in comment_data:try:第四步利用正则表达式去除文本中的html标签comment tags.sub(, data[text]) # 去掉html标签reply tags.sub(, data[reply_text])weibo_id data[id]reply_id data[reply_id]comments.append(comment)comments.append(reply)ids.append(weibo_id)ids.append(reply_id)第五步爬取评论df pd.DataFrame({ID: ids, 评论: comments})df df.drop_duplicates()df.to_csv(观察者网.csv, indexFalse, encodinggb18030)以上python爬虫爬取微博评论的实例对于新入手的小白可以用微博端练练手哦~原文至https://www.py.cn/spider/example/22977.html
