关注小聚,数据分析不迷路
数据分析
数据获取
数据清洗
数据处理
数据分析
众所周知,数据是产生价值的原材料，这也是数据分析项目的第一步。
无论是对于初级数据分析师，还是数据分析科学家，能够找到合适的数据源都是非常重要的。特别是想要对一个新的领域进行研究和探索，拥有这个领域的数据那都是有十分重要的意义的。
那今天,小聚在这里给大家推荐一些常用的数据获取方式，有了这些资源，不仅可以在数据收集的效率上能够得到很大的提升，同时也可以学习更多思维方式。
数据来源渠道
一般来讲，数据来源主要分为两大类，企业外部来源和内部来源，其中外部来源包括外部购买、网络爬取、免费开源数据等，内部数据来源包括销售数据、考勤数据、财务数据等。
我们这里主要讲外部来源渠道。
网络爬取
数据分析师可以通过网络爬虫从网络上爬取数据。优点是数据有很高的时效性，其次数据的来源可以得到保证，毕竟网上的信息是异常丰富的。
当你在浏览网页时，浏览器就相当于客户端，会去连接我们要访问的网站获取数据，然后通过浏览器解析之后展示给我们看，而网络爬虫可以通过代码模拟人类在浏览器上访问网站，获取相应的数据，然后经过处理后保存成文件或存储到数据库中供我们使用。
这些分布在网上零散的信息，通过爬取整合之后，就有比较高的分析价值。
爬虫固然好,但是操作起来对于技术还是有一定要求的。在爬虫之前需要先了解一些 Python 的基础知识：数据类型（列表、字典、元组等）、变量、循环、函数……… 以及,如何用 Python 库（urllib、BeautifulSoup、requests等）实现网页爬虫。如果是初学，建议从 requests+xpath 开始。
公开数据
当然，并不是说公开数据就没用了，在进行分析的时候，需要一些历史数据进行对比，需要一定的行业标准进行参考的时候，公开数据的价值就体现出来了。
一些科研机构、企业、政府会开放一些数据，还有一些行业研究报告、他人的调查结果，都可以成为你的数据来源。这些数据集通常比较完善、质量相对较高。
下面就介绍一些常用公开数据库:
一、网络指数
百度指数
https://index.baidu.com/v2/index.html#/
大家都很熟悉的指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。
https://alizs.taobao.com/
国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基本能够看出国内商品交易的概况。
热搜榜单首页--百度搜索风云榜
https://top.baidu.com/board
艾曼指数
http://www.imzs.com/
适合新媒体从业者使用。
友盟指数
http://www.umeng.com/
友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。
二、公开数据库
国家数据(经济)
http://data.stats.gov.cn/index.htm
数据来源于中国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，较为全面和权威，对于社会科学的研究不要太有帮助。
中国统计信息网(经济)
http://www.tjcn.org/
企业信息—天眼查(企业工商信息查询)
https://www.tianyancha.com/
平台报告-零壹数据(金融数据)
http://data.01caijing.com/p2p/report/index.html
中国—巨潮资讯网(上市公司年报)
http://www.cninfo.com.cn/new/index
http://www.ceicdata.com/zh-hans
最完整的一套超过128个国家的经济数据，能够精确查找GDP, CPI, 进口，出口，外资直接投资，零售，销售，以及国际利率等深度数据。
http://www.soshoo.com/
汇集了中国资讯行自92年以来收集的所有统计和调查数据，并提供多样化的搜索功能。
三、行业数据库
数据中心-世界汽车统计(汽车数据)
http://www.caam.org.cn/data/
世界卫生组织 | 规划和项目(医疗数据)
https://apps.who.int/iris/
今日国际原油价格-油价网(工业指数)
http://youjia.chemcp.com/YuanYouJiaGe.asp
四、其他数据
https://figshare.com/
研究成果共享平台，在这里你会发现来自世界的大牛们的研究成果分享，同时get其中的研究数据，内容很有启发性，网站颇具设计感。
github
https://github.com/caesar0301/awesome-public-datasets
如果觉得前面的数据源还不够，github上的大神已经为大家整理好了一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，简直是做研究和数据分析的利器。
小结
这些只是网站，具体用法太多了，就没有分享单个教程。
强调：网站用的好，真的能用出花来，比如百度指数+百度新闻=客户和竞品的传播节奏。具体网站的功能多试试，不要执着于网站，要多变通思路，希望能找到想要的数据。