建立网站要多少钱,小地方的旅游网站怎么建设,美剧网站怎么做,网站建设公司排名转载自 玻璃猫 算法与数据结构一个故事
在很久很久以前#xff0c;世界上生活着许多种族#xff0c;有人类#xff0c;有矮人#xff0c;有精灵......他们有着不同的信仰#xff0c;不同的文化#xff0c;彼此相安无事。可是#xff0c;有一个猥琐男却偏偏想要统治整个世…转载自 玻璃猫 算法与数据结构一个故事
在很久很久以前世界上生活着许多种族有人类有矮人有精灵......他们有着不同的信仰不同的文化彼此相安无事。可是有一个猥琐男却偏偏想要统治整个世界。如何统治这么多不同文化信仰的种族呢猥琐男想出一个馊主意打造出几枚拥有魔力的戒指免费送给不同种族的领袖让他们可以更好地统治各自的族人。当各个种族的领袖美滋滋地戴上各自的魔戒走上人生巅峰的时候猥琐男又打造出一枚独一无二的至尊魔戒。他利用至尊魔戒的力量控制了所有的魔戒从而控制了各个种族的领袖继而控制了整个世界。这个故事告诉我们数据库和数据仓库之间的关系。
如果说那个世界的每一个生命个体都是一条数据记录那么普通的魔戒的地位就好比是数据库而至尊魔戒的地位就好比是数据仓库。什么是数据仓库
数据仓库英文名称Data Warehouse简写为DW。数据仓库顾名思义是一个很大的数据存储集合出于企业的分析性报告和决策支持目的而创建对多样的业务数据进行筛选与整合。它为企业提供一定的BI商业智能能力指导业务流程改进、监视时间、成本、质量以及控制。
数据仓库的输入方是各种各样的数据源最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。那么数据仓库都有什么特点呢
1.主题性
不同于传统数据库对应于某一个或多个项目数据仓库根据使用者实际需求将不同数据源的数据在一个较高的抽象层次上做整合所有数据都围绕某一主题来组织。
这里的主题怎么来理解呢比如对于滴滴出行“司机行为分析”就是一个主题对于链家网“成交分析”就是一个主题。
2.集成性
数据仓库中存储的数据是来源于多个数据源的集成原始数据来自不同的数据源存储方式各不相同。要整合成为最终的数据集合需要从数据源经过一系列抽取、清洗、转换的过程。
3.稳定性
数据仓库中保存的数据是一系列历史快照不允许被修改。用户只能通过分析工具进行查询和分析。
4.时变性
数据仓库会定期接收新的集成数据反应出最新的数据变化。这和特点并不矛盾。什么是ETL
ETL的英文全称是 Extract-Transform-Load 的缩写用来描述将数据从来源迁移到目标的几个过程
1.Extract数据抽取也就是把数据从数据源读出来。
2.Transform数据转换把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下Transform也包含数据清洗清洗掉噪音数据。
3.Load 数据加载把处理后的数据加载到目标处比如数据仓库。主流的数据仓库有哪些这个Hive又是何方神圣呢
确切地说Hive是基于Hadoop的数据仓库工具可以对存储在HDFS上的文件数据集进行查询和分析处理。Hive对外提供了类似于SQL语言的查询语言 HiveQL在做查询时将HQL语句转换成MapReduce任务在Hadoop层进行执行。这里有几个名词需要解释
1.HDFS
Hadoop的分布式文件系统在这里作为数据仓库的存储层。图中的Data Node就是HDFS的众多工作节点。
2.MapReduce
一种针对海量数据的并行计算模型可以简单理解为对多个数据分片的数据转换和合并。
关于HDFS和MapReduce的具体知识这一期暂时不做展开小灰会在后续的漫画中详细介绍。Teradata数据仓库配备性能最高、最可靠的大规模并行处理 (MPP) 平台能够高速处理海量数据其性能远远高于Hive。
它使得企业可以专注于业务无需花费大量精力管理技术因而可以更加快速地做出明智的决策实现 ROI投资回报率 最大化。几点补充
1.对于大数据方向小灰也仅仅了解皮毛漫画中若存在错误或是描述不全面的地方还请大家多多指正补充。
2.关于Teradata小灰曾经有幸在这里工作过虽然不是从事数据仓库领域。Teradata 的确是一款很强大的商业数据仓库对此有兴趣的同学可以百度学习一下具体知识。—————END—————一个故事在很久很久以前世界上生活着许多种族有人类有矮人有精灵......他们有着不同的信仰不同的文化彼此相安无事。可是有一个猥琐男却偏偏想要统治整个世界。如何统治这么多不同文化信仰的种族呢猥琐男想出一个馊主意打造出几枚拥有魔力的戒指免费送给不同种族的领袖让他们可以更好地统治各自的族人。当各个种族的领袖美滋滋地戴上各自的魔戒走上人生巅峰的时候猥琐男又打造出一枚独一无二的至尊魔戒。他利用至尊魔戒的力量控制了所有的魔戒从而控制了各个种族的领袖继而控制了整个世界。这个故事告诉我们数据库和数据仓库之间的关系。如果说那个世界的每一个生命个体都是一条数据记录那么普通的魔戒的地位就好比是数据库而至尊魔戒的地位就好比是数据仓库。什么是数据仓库数据仓库英文名称Data Warehouse简写为DW。数据仓库顾名思义是一个很大的数据存储集合出于企业的分析性报告和决策支持目的而创建对多样的业务数据进行筛选与整合。它为企业提供一定的BI商业智能能力指导业务流程改进、监视时间、成本、质量以及控制。数据仓库的输入方是各种各样的数据源最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。 那么数据仓库都有什么特点呢1.主题性不同于传统数据库对应于某一个或多个项目数据仓库根据使用者实际需求将不同数据源的数据在一个较高的抽象层次上做整合所有数据都围绕某一主题来组织。这里的主题怎么来理解呢比如对于滴滴出行“司机行为分析”就是一个主题对于链家网“成交分析”就是一个主题。2.集成性数据仓库中存储的数据是来源于多个数据源的集成原始数据来自不同的数据源存储方式各不相同。要整合成为最终的数据集合需要从数据源经过一系列抽取、清洗、转换的过程。3.稳定性数据仓库中保存的数据是一系列历史快照不允许被修改。用户只能通过分析工具进行查询和分析。4.时变性数据仓库会定期接收新的集成数据反应出最新的数据变化。这和特点并不矛盾。什么是ETLETL的英文全称是 Extract-Transform-Load 的缩写用来描述将数据从来源迁移到目标的几个过程1.Extract数据抽取也就是把数据从数据源读出来。2.Transform数据转换把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下Transform也包含数据清洗清洗掉噪音数据。3.Load 数据加载把处理后的数据加载到目标处比如数据仓库。主流的数据仓库有哪些这个Hive又是何方神圣呢确切地说Hive是基于Hadoop的数据仓库工具可以对存储在HDFS上的文件数据集进行查询和分析处理。Hive对外提供了类似于SQL语言的查询语言 HiveQL在做查询时将HQL语句转换成MapReduce任务在Hadoop层进行执行。这里有几个名词需要解释1.HDFSHadoop的分布式文件系统在这里作为数据仓库的存储层。图中的Data Node就是HDFS的众多工作节点。2.MapReduce一种针对海量数据的并行计算模型可以简单理解为对多个数据分片的数据转换和合并。关于HDFS和MapReduce的具体知识这一期暂时不做展开小灰会在后续的漫画中详细介绍。Teradata数据仓库配备性能最高、最可靠的大规模并行处理 (MPP) 平台能够高速处理海量数据其性能远远高于Hive。它使得企业可以专注于业务无需花费大量精力管理技术因而可以更加快速地做出明智的决策实现 ROI投资回报率 最大化。几点补充1.对于大数据方向小灰也仅仅了解皮毛漫画中若存在错误或是描述不全面的地方还请大家多多指正补充。2.关于Teradata小灰曾经有幸在这里工作过虽然不是从事数据仓库领域。Teradata 的确是一款很强大的商业数据仓库对此有兴趣的同学可以百度学习一下具体知识。—————END—————
