石家庄外贸网站建设,h5浏览器,手机网站特效代码,杭州网站维护概念 元数据是关于数据的数据#xff0c;元数据对于数据管理和数据使用来说是必不可少的。所有大型组织都会产生和使用大量的数据#xff0c;在整个组织中#xff0c;不同的人拥有不同层面的数据知识#xff0c;但没有人知道关于数据的一切。因此#xff0c;必须将这些信息…概念 元数据是关于数据的数据元数据对于数据管理和数据使用来说是必不可少的。所有大型组织都会产生和使用大量的数据在整个组织中不同的人拥有不同层面的数据知识但没有人知道关于数据的一切。因此必须将这些信息记录否则组织可能会丢失关于自身的宝贵知识元数据管理提供了获取和管理组织数据的主要方法。如果没有元数据组织可能根本无法管理其数据。要实现数据驱动组织必须先实现元数据驱动。
元数据管理的目标包括
记录和管理与数据相关的业务术语的知识体系以确保人们理解和使用数据内容的一致性收集和整合来自不同来源的元数据以确保人们了解来自组织不同部门的数据之间的相似和差异确保元数据的质量、一致性、及时性和安全提供标准途径使元数据使用者可以访问元数据推广或强制使用技术元数据标准以实现数据交换。
元数据管理的原则
组织承诺战略企业视角潜移默化访问质量审计改进
元数据的类型 元数据通常有三种类型业务元数据、技术元数据和操作元数据
业务元数据是实体、属性的非技术名称和定义、属性的数据类型和其他特征如范围描述、计算公式、算法和业务规则、有效的阈值及其定义其中包括业务规则、转换规则、计算公式和推导公式数据质量规则和检核结果数据的更新计划数据溯源和数据血缘数据的安全/隐私级别技术元数据提供有关数据的技术细节、存储数据的系统以及在系统内和系统之间数据流转过程的信息。技术元数据包括物理数据库表名和字段名访问权限数据CRUD规则物理数据模型包括数据表名、键和索引ETL作业详细信息源到目标的映射文档数据学院文档程序和应用的名称和描述恢复和备份规则操作元数据描述了处理和访问数据的细节其中包括批处理程序的作业执行日志操作日志备份、保留、创建日期、灾备恢复预案、数据归档、保留规则和相关归档文件、清洗标准、数据共享规则和协议。
ISO/IEC 11179元数据注册标准 ISO的元数据注册标准ISO/IEC 11179提供了用于定义元数据注册的框架旨在基于数据的精确定义从数据元素开始实现元数据驱动的数据交换。
业务术语表 业务术语表的作用是记录和存储组织的业务概念、术语、定义以及这些术语之间的关系业务术语表应用程序的构建需要满足三个核心用户的功能需求
业务用户数据管理专员技术用户
数据字典 数据字典定义数据集的结构和内容通常用于单个数据库、应用程序或数据仓库在数据模型的开发过程中会解释许多关键业务流程、关系和术语。数据字典可以帮助组织确保此信息不会完全丢失以及在生产部署之后逻辑模型与物理模型保持一致。
元数据的架构形式 集中式元数据架构、分布式元数据架构、混合式元数据架构。 集中式元数据架构优点是
高可用性因为它独立于元系统快速的元数据检索因为存储库和查询功能在一起解决了数据库结构的问题使其不受第三方或商业系统特有属性的影响抽取元数据可进行转换、自定义或使用其他源系统中的元数据进行补充提高了元数据的质量 集中式元数据架构缺点是
必须使用复杂的流程确保元数据源头的更改能够快速同步到存储库中维护集中式存储库的成本可能很高元数据的抽取可能需要自定义模块或中间件验证和维护自定义代码会增加内部IT人员和软件供应商要求 分布式元数据架构优点是
元数据总是尽可能保持最新且有效查询是分布式的可能会提高相应和处理的效率来自专有系统的元数据请求仅限于查询处理而不需要详细了解专有数据结构因此最大限度地减少了实施和维护所需的工作量自动化元数据查询处理的开发可能更简单只需要很少的人工干预减少了批处理没有元数据复制或同步过程
分布式元数据架构缺点是
无法支持用户定义或手动插入的元数据项因为没有存储库可以放置这些添加项需要通过统一的标准化的展示方式呈现来自不同系统的元数据查询功能受源系统可用性的影响元数据的质量完全取决于源系统。 混合元数据架构结合了集中式和分布式架构的特性元数据仍然直接从源系统移动到集中式存储库但存储库设计仅考虑用户添加的元数据、重要的标准化的元数据以及通过自手工来源添加的元数据。 元数据综合解决方案由以下功能需求点组成
更新频率同步情况历史信息访问权限存储结构集成要求运维要求管理要求质量要求安全要求
元数据的质量控制活动
质量保证数据更新频率缺失元数据报告未更新的元数据报告
元数据管理的几个一般原则描述了管理元数据质量的方法
责任认识到元数据通常通过现有流程产生因此流程的执行者对元数据的质量负责标准制定、执行和审计元数据标准简化集成过程并且适用改进建立反馈机制保障用户可以将不准确的或已过时的元数据通知元数据管理团队
