网站排名优化各公司的,珞凡wordpress,顺德网站建设教程,个人网站的设计和建设在此大概用口水话简单叙述一下他们几个概念#xff1a;
#xff08;1#xff09;DB/Database/数据库——这里一般指的就是OLTP数据库#xff0c;在线事物数据库#xff0c;用来支持生产的#xff0c;比如超市的买卖系统。DB保留的是数据信息的最新状态#xff0c;只有一…在此大概用口水话简单叙述一下他们几个概念
1DB/Database/数据库——这里一般指的就是OLTP数据库在线事物数据库用来支持生产的比如超市的买卖系统。DB保留的是数据信息的最新状态只有一个状态比如每天早上起床洗脸照镜子看到的就是当时的状态至于之前的每天的状态不会出现的你的眼前这个眼前就是db。 2DW/Data Warehouse/数据仓库——这里保存的是DB中的不同时间点的状态比如每天早上洗完照镜子时都拍一张照片天天这样这些照片放入到一个相册中之后就可以查看每一天的状态了这个相册就是数据仓库他保存的是数据在不同时间点的状态对同一个数据信息保留不同时间点的状态就便于我们做统计分析了。 3ETL/Extraction-Transformation-Loading——用于完成DB到DW的数据转存它将DB中的某一个时间点的状态“抽取”出来根据DW的存储模型要求“转换”一下数据格式然后再“加载”到DW的一个过程这里需要强调的是DB的模型是ER模型遵从范式化设计原则而DW的数据模型是雪花型结构或者星型结构用的是面向主题面向问题的设计思路所以DB和DW的模型结构不同需要进行转换。 4OLAP——在线分析系统简单说就是报表系统销售报表统计报表等等这个大家都熟悉当然OLAP的统计要更复杂更丰富一些比如切面钻取等等。 5DM/Data Mining/数据挖掘——这个挖掘不是简单的统计了他是根据概率论的或者其他的统计学原理将DW中的大数据量进行分析找出我们不能直观发现的规律比如如果我们每天早上照相量身材的时候还记录下头一天吃的东西黄瓜猪腿烤鸭以及心情如果记录上10年形成了3650天的相貌和饮食心情的数据我们每个人都记录有20万人记录了那么我们也许通过这些记录可以分析出身材相貌和饮食的客观规律再说一个典型的实例就是英国的超市在积累了大量数据之后对数据分析挖掘之后得到了一个规律将小孩的尿布和啤酒放在一起销量会更好——业务专家在得到该结论之后仔细分析知道了原因因为英国男人喜欢看足球的多老婆把小孩介绍男人看管小孩尿尿需要尿布而男人看足球喜欢喝酒所以两样商品有密切的关系放在一起销售会更好 6BI/Business Intelligence/商业智能——领导决策者在获取了OLAP的统计信息和DM得到的科学规律之后对生产进行适当的调整比如命令超市人员将啤酒喝尿布放在一起销售这就反作用于DB修改存货数据了——这就是整个BI的作用
整体结构
在具体分析数据仓库之前先看下一下数据中心的整体架构以及数据流向 数据中心整体架构.png
DB 是现有的数据来源可以为mysql、SQLserver、文件日志等为数据仓库提供数据来源的一般存在于现有的业务系统之中。ETL的是 Extract-Transform-Load 的缩写用来描述将数据从来源迁移到目标的几个过程 Extract数据抽取也就是把数据从数据源读出来。Transform数据转换把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下Transform也包含数据清洗清洗掉噪音数据。Load 数据加载把处理后的数据加载到目标处比如数据仓库。ODS(Operational Data Store) 操作性数据是作为数据库到数据仓库的一种过渡ODS的数据结构一般与数据来源保持一致便于减少ETL的工作复杂性而且ODS的数据周期一般比较短。ODS的数据最终流入DW DW (Data Warehouse)数据仓库是数据的归宿这里保持这所有的从ODS到来的数据并长期报错而且这些数据不会被修改。DM(Data Mart) 数据集市,为了特定的应用目的或应用范围而从数据仓库中独立出来的一部分数据也可称为部门数据或主题数据。面向应用。
数据仓库
数据仓库(Data Warehouse) 简称DW顾名思义数据仓库是一个很大的数据存储集合出于企业的分析性报告和决策支持目的而创建对多样的业务数据进行筛选与整合。它为企业提供一定的BI商业智能能力指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库存储是一个面向主题移动的用户分析也可做为一个主题的反映历史变化数据用于支撑管理决策。
特征
效率足够高要对进入的数据快速处理。数据质量高数据仓库是提供很多决策需要的数据支撑DW的数据应该是唯一的具有权威性的数据企业的所有系统只能从DW取数据所以需要定期对DW里面的数据进行质量审保证DW里边数据的唯一、权威、准确性。扩展性企业业务扩展和降低企业建设数据仓库的成本考虑面向主题数据仓库中的数据是按照一定的主题域进行组织的每一个主题对应一个宏观的分析领域数据仓库排除对决策无用的数据提供特定主题的简明视图。数据仓库主要提供查询服务并且需要查询能够及时响应DW的数据也是只允许增加不允许删除和修改数据仓库主要是提供查询服务删除和修改在分布式系统.
操作性数据
操作性数据(Operational Data Store) 简称ODS作为数据库到数据仓库的一种过渡形式与数据仓库在物理结构上不同。ODS存储的是当前的数据情况给使用者提供当前的状态提供即时性的、操作性的、集成的全体信息的需求。ODS作为数据库到数据仓库的一种过渡形式能提供高性能的响应时间ODS设计采用混合设计方式。ODS中的数据是实时值而数据仓库的数据却是历史值一般ODS中储存的数据不超过一个月而数据仓库为10年或更多。
特征
ODS直接存放从业务抽取过来的数据这些数据从结构和数据上与业务系统保持一致降低了数据抽取的复杂性。转移一部分业务系统的细节查询功能因为ODS存放的数据与业务系统相同原来有业务系统产生的报表现在可以从ODS中产生。完成数据仓库中不能完成的功能ODS存放的是明细数据数据仓库DW或数据集市DM都存放的是汇聚数据ODS提供查询明细的功能。ODS数据只能增加不能修改而且数据都是业务系统原样拷贝所以可能存在数据冲突的可能解决办法是为每一条数据增加一个时间版本来区分相同的数据。
数据集市
数据集市(Data Mart)简称DM是为了特定的应用目的或应用范围而从数据仓库中独立出来的一部分数据也可称为部门数据或主题数据subjectarea。在数据仓库的实施过程中往往可以从一个部门的数据集市着手以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是在实施不同的数据集市时同一含义的字段定义一定要相容这样再以后实施数据仓库时才不会造成大麻烦。 数据集市以某个业务应用为出发点而建设的局部DW,DW只关心自己需要的数据不会全盘考虑企业整体的数据架构和应用每个应用有自己的DM
特征
DM结构清洗针对性强扩展性好因为DM仅仅是单对一个领域而建立容易维护修改DM建设任务繁重公司有众多业务每个业务单独建立表。DM的建立更多的消耗存储空间单独一个DM可能数据量不大但是企业所有领域都建立DM这个数据量就会增加多倍。Power BI是微软最新的商业智能BI概念它包含了一系列的组件和工具。话不多说先上图
