网站前置审批项,工信部网站域名备案,万虹点读机如何做系统下载网站,alexa排名官网数据质量管理简介
数据质量管理是一个持续性的管理动作#xff0c;有些人在做数据质量管理的时候会陷入一步到位的误区#xff0c;想要通过一个工具、平台#xff0c;或者一套质检规则就完成整体的数据质量管理#xff0c;而实际数据质量管理从数据接入的那一刻就需要介入…数据质量管理简介
数据质量管理是一个持续性的管理动作有些人在做数据质量管理的时候会陷入一步到位的误区想要通过一个工具、平台或者一套质检规则就完成整体的数据质量管理而实际数据质量管理从数据接入的那一刻就需要介入干预到最后数据在场景中展示均需要定期质检。因为数据本身就是流动可持续更新的且经过数仓分层之后中间的环节均需要埋入检测点位这样对于数据质量才有了初步保障。
“数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题进行识别、度量、监控、预警等一系列管理活动并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理的终极目标是通过可靠的数据提升数据在使用中的价值并最终为企业赢得经济效益。”
——以上内容摘自百度百科
“数据质量管理不单纯是一个概念也不单纯是一项技术、也不单纯是一个系统更不单纯是一套管理流程数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。通过有效的数据质量控制手段进行数据的管理和控制消除数据质量问题进而提升企业数据变现的能力。在数据治理过程中一切业务、技术和管理活动都围绕这个目标和开展”。 石老师在本篇文章中对于数据质量的影响因素和需要配套的制度管理和支撑工具都讲的比较清晰各位感兴趣可以查看文章详情。数据治理系列5浅谈数据质量管理 根据GB/T 36344-2018《信息技术 数据质量评价指标》的标准文档当前数据质量评价指标框架中包含6评价指标在实际的数据治理过程中存在一个关联性指标。7个指标中存在4个定性指标3个定量指标 定性指标规范性、准确性、唯一性、可访问性 定量指标完整性、时效性、关联性 规范性--数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度 完整性--按照数据规则要求,数据元素被赋予数值的程度 准确性--数据准确表示其所描述的真实实体(实际对象)真实值的程度 一致性--数据与其他特定上下文中使用的数据无矛盾的程度 时效性--数据在时间变化中的正确程度 可访问性--数据能被访问的程度 关联性--数据记录的实体与实体、实体与时间、实体与地理信息等维度之间的关系构建程度 本章开始我们逐一讲解每一个指标在实操过程中怎么去落到数据生产和使用环节并且形成量化的指标最后形成质量报告
今天重点讲解定性指标规范性怎么进行数据监测和指标量化
官方定义规范性是指数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度
作用的环节数据生产环节事前规范上线后定时监督
数据质量管理依据在实际落地过程中数据标准、业务规则、权威参考数据的程度三类分别散落在数据治理过程中的治理规则和在数据资源设计之初的数据资产建设手册中。
数据标准、业务规则
数据监测方法其中「数据标准、业务规则」可以在输出数据治理规则的同时输出反向质检语句当语句中出现查询结果时则意味着规范性不满足100%
量化标准规范性的量化标准既可以按照数据集的记录数占比作为分数也可以按照查询结果数据记录数分级作为赋分依据
方法一
方法二第一步需要识别数据等级按照字段维度识别出核心数据、重要数据、一般数据并基于不同的等级给出不同的判断依据比如核心数据不符合记录数超过100条则赋分99分核心数据不符合记录数超过1000条则赋分90分重要数据不符合记录数超过1000条则赋分99分一般数据不符合记录数超过10000条则赋分99分等 权威参考数据
权威参考数据的程度则是需要作为数据质量管理的事前监督在设计这类业务数据的时候就需要给出参考依据和估算参考比例
最后基于字段的规范性得分均值赋值为表的规范性得分
下一章完整性怎么进行数据监测和指标量化
