html5 图片展示网站,北京网站公司建设,商城分销,网络营销工具介绍大数据时代#xff0c;用数据做出理性分析显然更为有力。做数据分析前#xff0c;能够找到合适的的数据源是一件非常重要的事情#xff0c;获取数据的方式有很多种#xff0c;不必局限。下面将从公开的数据集、爬虫、数据采集工具、付费API等等介绍。给大家推荐一些能够用得…
大数据时代用数据做出理性分析显然更为有力。做数据分析前能够找到合适的的数据源是一件非常重要的事情获取数据的方式有很多种不必局限。下面将从公开的数据集、爬虫、数据采集工具、付费API等等介绍。给大家推荐一些能够用得上的数据获取方式。 一、公开数据库
1.常用数据公开网站
UCI经典的机器学习、数据挖掘数据集包含分类、聚类、回归等问题下的多个数据集。很经典也比较古老但依然活跃在科研学者的视线中。 国家数据数据来源中华人民共和国国家统计局包含了我国经济民生等多个方面的数据并且在月度、季度、年度都有覆盖全面又权威。 CEIC最完整的一套超过128个国家的经济数据能够精确查找GDP、CPI、进口、出口、外资直接投资、零售、销售以及国际利率等深度数据。其中的“中国经济数据库”收编了300,000多条时间序列数据数据内容涵盖宏观经济数据、行业经济数据和地区经济数据。 万得简要介绍被誉为中国的Bloomberg在金融业有着全面的数据覆盖金融数据的类目更新非常快据说很受国内的商业分析者和投资人的亲睐。 搜数网已加载到搜数网站的统计资料达到7,874本,涵盖1,761,009张统计表格和364,580,479个统计数据汇集了中国资讯行自92年以来收集的所有统计和调查数据并提供多样化的搜索功能。 中国统计信息网国家统计局的官方网站汇集了海量的全国各级政府各年度的国民经济和社会发展统计信息建立了以统计公报为主统计年鉴、阶段发展数据、统计分析、经济新闻、主要统计指标排行等。 亚马逊来自亚马逊的跨科学云数据平台包含化学、生物、经济等多个领域的数据集。 figshare研究成果共享平台在这里可以找到来自世界的大牛们的研究成果分享获取其中的研究数据。 github一个非常全面的数据获取渠道包含各个细分领域的数据库资源自然科学和社会科学的覆盖都很全面适合做研究和数据分析的人员。 2.政府开放数据
北京市政务数据资源网包含竞技、交通、医疗、天气等数据。
深圳市政府数据开放平台交通、文娱、就业、基础设施等数据。
上海市政务数据服务网覆盖经济建设、文化科技、信用服务、交通出行等12个重点领域数据。
贵州省政府数据开放平台贵州省在政务数据开放方面做的确实不错。
Data.gov美国政府开放数据包含气候、教育、能源金融等各领域数据。
3.数据竞赛网站
竞赛的数据集通常干净且科研究性非常高。
DataCastle专业的数据科学竞赛平台。
Kaggle全球最大的数据竞赛平台。
天池阿里旗下数据科学竞赛平台。
DatafountainCCF制定大数据竞赛平台。 二、利用爬虫可以获得有价值数据
这里给出了一些网站平台我们可以使用爬虫爬取网站上的数据某些网站上也给出获取数据的API接口但需要付费。
1.财经数据
1新浪财经免费提供接口这篇博客教授了如何在新浪财经上获取获取历史和实时股票数据。
2东方财富网可以查看财务指标或者根据财务指标选股。
3中财网提供各类财经数据。
4黄金头条各种财经资讯。
5StockQ国际股市指数行情。
6Quandl金融数据界的维基百科。
7Investing投资数据。
8整合的96个股票API合集。
9Market Data Feed and API提供大量数据付费有试用期。
2.网贷数据
1网贷之家包含各大网贷平台不同时间段的放贷数据。
2零壹数据各大平台的放贷数据。
4网贷天眼网贷平台、行业数据。
576676互联网金融门户网贷、P2P、理财等互金数据。
3.公司年报
1巨潮资讯各种股市咨询公司股票、财务信息。
2SEC.gov美国证券交易数据
3HKEx news披露易年度业绩报告和年报。
4.创投数据
136氪最新的投资资讯。
2投资潮投资资讯、上市公司信息。
3IT桔子各种创投数据。
5.社交平台
1新浪微博评论、舆情数据社交关系数据。
2Twitter舆情数据社交关系数据。
3知乎优质问答、用户数据。
4微信公众号公众号运营数据。
5百度贴吧舆情数据
6Tumblr各种福利图片、视频。
6.就业招聘
1拉勾互联网行业人才需求数据。
2中华英才网招聘信息数据。
3智联招聘招聘信息数据。
4猎聘网高端职位招聘数据。
7.餐饮食品
1美团外卖区域商家、销量、评论数据。
2百度外卖区域商家、销量、评论数据。
3饿了么区域商家、销量、评论数据。
4大众点评点评、舆情数据。
8.交通旅游
112306铁路运行数据。
2携程景点、路线、机票、酒店等数据。
3去哪儿景点、路线、机票、酒店等数据。
4途牛景点、路线、机票、酒店等数据。
5猫途鹰世界各地旅游景点数据来自全球旅行者的真实点评。
类似的还有同程、驴妈妈、途家等
9.电商平台
1亚马逊商品、销量、折扣、点评等数据
2淘宝商品、销量、折扣、点评等数据
3天猫商品、销量、折扣、点评等数据
4京东3C产品为主的商品信息、销量、折扣、点评等数据
5当当图书信息、销量、点评数据。
类似的唯品会、聚美优品、1号店等。
10.影音数据
1豆瓣电影国内最受欢迎的电影信息、评分、评论数据。
2时光网最全的影视资料库评分、影评数据。
3猫眼电影专业版实时票房数据电影票房排行。
4网易云音乐音乐歌单、歌手信息、音乐评论数据。
11.房屋信息
158同城房产二手房数据。
2安居客新房和二手房数据。
3Q房网新房信息、销售数据。
4房天下新房、二手房、租房数据。
5小猪短租短租房源数据。
12.购车租车
1网易汽车汽车资讯、汽车数据。
2人人车二手车信息、交易数据。
3中国汽车工业协会汽车制造商产量、销量数据。
13.新媒体数据
新榜新媒体平台运营数据。
清博大数据微信公众号运营榜单及舆情数据。
微问数据一个针对微信的数据网站。
知微传播分析微博传播数据。
14.分类信息
158同城丰富的同城分类信息。
2赶集网丰富的同城分类信息。
如果你是小白想通过爬虫获得有价值的数据推荐我们的体系课程——Python爬虫入门进阶 三、数据交易平台
由于现在数据的需求很大也催生了很多做数据交易的平台当然出去付费购买的数据在这些平台也有很多免费的数据可以获取。
优易数据由国家信息中心发起拥有国家级信息资源的数据平台国内领先的数据交易平台。平台有B2B、B2C两种交易模式包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。 数据堂专注于互联网综合数据交易提供数据交易、处理和数据API服务包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。 四、网络指数
百度指数指数查询平台可以根据指数的变化查看某个主题在各个时间段受关注的情况进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外还有需求分析、人群画像等精准分析的工具对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品都可以作为参考。 阿里指数国内权威的商品交易分析工具可以按地域、按行业查看商品搜索和交易数据基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况对于趋势分析、行业观察意义不小。 友盟指数友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数友盟的互联网报告同样是了解互联网趋势的优秀读物。 爱奇艺指数爱奇艺指数是专门针对视频的播放行为、趋势的分析平台对于互联网视频的播放有着全面的统计和分析涉及到播放趋势、播放设备、用户画像、地域分布、等多个方面。由于爱奇艺庞大的用户基数该指数基本可以说明实际情况。 微指数微指数是新浪微博的数据分析工具微指数通过关键词的热议度以及行业/类别的平均影响力来反映微博舆情或账号的发展走势。分为热词指数和影响力指数两大模块此外还可以查看热议人群及各类账号的地域分布情况。 除了以上指数外还有谷歌趋势、搜狗指数、360趋势、艾漫指数等等。 五、网络采集器
网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容具有很好的内容收集作用而且不需要技术成本被很多用户作为初级的采集工具。
造数新一代智能云爬虫。爬虫工具中最快的比其他同类产品快9倍。拥有千万IP可以轻松发起无数请求数据保存在云端安全方便、简单快捷。 火车采集器一款专业的互联网数据抓取、处理、分析挖掘软件可以灵活迅速地抓取网页上散乱分布的数据信息。
八爪鱼简单实用的采集器功能齐全操作简单不用写规则。特有的云采集关机也可以在云服务器上运行采集任务。
