推广网站排名优化seo教程,网站开发和软件开发哪个难,徐州新沂网站建设,苏格网站建设作者 | 彭锋 宋文欣 孙浩峰来源 | 大数据DT头图 | 下载于视觉中国传统大数据平台和数据仓库是数据中台的数据来源#xff0c;建设数据中台是为了更好地服务于业务部门。下图展示了信息化系统、数据仓库、传统大数据平台、数据中台之间的关系#xff0c;其中的箭头表示数据的主… 作者 | 彭锋 宋文欣 孙浩峰来源 | 大数据DT头图 | 下载于视觉中国传统大数据平台和数据仓库是数据中台的数据来源建设数据中台是为了更好地服务于业务部门。下图展示了信息化系统、数据仓库、传统大数据平台、数据中台之间的关系其中的箭头表示数据的主要流向。▲图1-1 数据中台与传统大数据平台、数据仓库的关系数据中台与传统大数据平台到底有什么区别为了叙述方便我们先给出传统大数据平台的架构见图1-2。▲图1-2 传统大数据平台大数据基础能力层Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、 Elasticsearch等。在大数据组件上搭建的 ETL流水线包括数据分析、机器学习程序。数据治理系统。数据仓库系统。数据可视化系统。可以看到这些是传统大数据平台的核心功能。在很多大数据项目里只要把这些系统搭起来每天可以生成业务报表包括实时大屏就算大数据平台搭建成功了。但数据中台应该是大数据平台的一个超集。我们认为在大数据平台的基础之上数据中台还应该提供下面的系统功能。1. 全局的数据应用资产管理这里所说的数据应用资产管理包括整个生态系统中的数据和应用。传统的数据资产管理绝大部分只包括关系型数据库中的资产包括Hive而一个数据中台应该管理所有结构化、非结构化的数据资产以及使用这些数据资产的应用。如果传统的数据资产管理提供的是数据目录那么数据中台提供的应该是扩展的数据及应用目录。要避免重复造轮子首先要知道系统中有哪些轮子因此维护一个系统中数据及数据应用的列表是很关键的。2. 全局的数据治理机制与传统的数据治理不一样数据中台必须提供针对全局的数据治理工具和机制。传统数据仓库中的数据建模和数据治理大多针对一个特定部门的业务部分原因是全局数据建模和治理周期太长由于存在部门之间的协调问题往往难度很大。数据中台提供的数据治理机制必须允许各个业务部门自主迭代但前提是要有全局一致的标准。阿里提出的OneID强调全局统一的对象ID例如用户ID就属于这个机制。3. 自助的、多租户的数据应用开发及发布现有的绝大部分大数据平台要求使用者具备一定的编程能力。数据中台强调的是为业务部门赋能而业务人员需要有一个自助的、可适应不同水平和能力要求的开发平台。这个开发平台要能够保证数据隔离和资源隔离这样任何一个使用系统的人都不用担心自己会对系统造成损害。4. 数据应用运维用户应该可以很方便地将自己开发的数据应用自助发布到生产系统中而无须经过专门的数据团队。因为我们需要共享这些应用及其产生的数据所以需要有类似于CI/CD的专门系统来管理应用的代码质量和进行版本控制。在数据应用运行过程中产生的数据也需要全程监控以保证数据的完整性、正确性和实时性。5. 数据应用集成应该可以随时集成新的数据应用。新的大数据应用、人工智能工具不断涌现我们的系统应该能够随时支持这些新应用。如果数据中台不能支持这些应用各个业务部门可能又会打造自己的小集群造成新的数据孤岛及应用孤岛。6. 数据即服务模型即服务数据分析的结果不管是统计分析的结果还是机器学习生成的模型应该能够很快地使用无代码的方式发布并供全机构使用。7. 数据能力共享管理大部分数据能力应当具有完善的共享管理机制、方便安全的共享机制以及灵活的反馈机制。最后决定数据如何使用的是独立的个人他们需要一套获取信息的机制因此在机构内部必须要有这样的共享机制才能真正让数据用起来。8. 完善的运营指标数据中台强调的是可衡量的数据价值因此对于数据在系统中的使用方式、被使用的频率、最后产生的效果必须要有一定的运营指标才能验证数据的价值和数据中台项目的效率。综合上面的讨论除了阿里巴巴提出的OneID、OneModel、OneService之外我们认为数据中台还应该满足以下两个要求。1. TotalPlatform所有中台数据及相关的应用应该在统一平台中统一管理。如果有数据存储在中台管理不到的地方或者有人在中台未知的情况下使用数据我们就无法真正实现对数据的全局管理。这要求数据中台能快速支持新的数据格式和数据应用便于数据工具的共享而无须建立一个分离的系统。2. TotalInsight数据中台应该能够理解并管理系统中数据的流动提供数据价值的定量衡量明确各个部门的花费和产出。整个中台的运营是有序可控的而不是一个黑盒子用户可以轻松理解全局的数据资产和能力从系统中快速实现数据变现。如图1-3所示数据中台可以说是按照一定的规范要求建设的数据能力平台在数据仓库、大数据平台、数据服务、数据应用的建设中实现了符合OneID、OneModel、OneService的数据层。这个数据层加上在其上建立的业务能力层以及运营这个数据中台需要的TotalPlatform、TotalInsight形成我们看到的数据中台。▲图1-3 数据中台的五大要求微软每年豪砸安全研发 10 亿美元聊聊背后的技术密码
何为“边缘计算”“一学就会”的微服务架构模式
除了 k8s留给 k 和 s 中间的数字不多了
到底是谁发明了物联网
再见 Nacos我要玩 Service Mesh 了
点分享点收藏点点赞点在看
