自己做门户网站,网络推广活动方案策划,网络科技公司名字起名大全,郴州公司网站建设今年年初#xff0c;蚂蚁金服ATEC城市峰会在上海举办。金融智能专场分论坛上#xff0c;蚂蚁金服数据平台部高级数据技术专家李俊华做了主题为《蚂蚁金服数据治理之数据质量治理实践》的精彩分享。
演讲中#xff0c;李俊华介绍了蚂蚁金服数据架构体系的免疫系统——数据质…今年年初蚂蚁金服ATEC城市峰会在上海举办。金融智能专场分论坛上蚂蚁金服数据平台部高级数据技术专家李俊华做了主题为《蚂蚁金服数据治理之数据质量治理实践》的精彩分享。
演讲中李俊华介绍了蚂蚁金服数据架构体系的免疫系统——数据质量治理体系此外还着重介绍了数据质量实施的相关内容以及蚂蚁的数据质量治理实践与所面对的实际挑战。 蚂蚁金服数据平台部高级数据技术专家李俊华
一、数据治理概况
近年来蚂蚁金服不断在数据架构上进行升级改造其目的在于解决蚂蚁所面临的数据物理孤岛问题。如今蚂蚁以及整个阿里巴巴集团的底座都统一到了同一个平台上这样当实现第五代数据架构体系升级时就降低了一站式研发的整体门槛并使得蚂蚁金服的所有工程师都可以在平台上轻松玩转数据。如今在蚂蚁的数据架构中已经能够很好地解决数据孤岛问题而如今在数据治理体系中所需要关注的就是逻辑的孤岛。 在对数据治理展开论述之前先谈一谈数据价值。
之前的情况是当数据首先需要经过专门团队负责处理删除没有价值的数据负责上线或者下线数据。但是对于数据价值的判断也是一个非常令人头疼的问题大部分的数据只会上线不会下线这样就造成了大量没有价值的数据的堆积。而如今蚂蚁不仅关心下线没有价值的数据同时也侧重数据资产的价值最大化。
在数据价值方面蚂蚁有一套完整的数据资产等级以及数据资产的易用模型这样就能够驱动自身充分利用数据资产来创造更多的价值。但是如果这些数据被使用了但是质量却很低这样就会使得数据资产的价值大打折扣。
数据质量产生分析
接下来将重点介绍蚂蚁金服在数据治理质量领域的实践思路和方案并与大家分享两个案例。如下图所示的是抽象数据抽取的全流程图。
当某个业务同学录入数据的时候出现一点错误就会造成数据的质量问题比如把客户的行业信息填错或者打错了一个字都会造成数据质量问题而这样的问题很容易出现。
在基于传统数据库资产开发数据应用的时候基本都是从数据源端产数据过来经过加工、分析再将数据发送出去也就是“从业务中来最后回到业务中去”。现在的方案与之前存在很大区别以前做数据处理时从数据生产的采集数据来加工之后就给出去了而如今蚂蚁很多数据应用将数据处理之后还会回到数据系统中。比如芝麻信用分的计算中存在很多大家看不到的场景这些数据处理之后还会回到系统之中而这个过程中每个环节都可能存在数据质量问题。
二、数据质量治理的挑战
在下图中的左侧展示了蚂蚁的业务形态。 如今蚂蚁的业务场景已经不再仅限于统计分析而在蚂蚁的芝麻分、花呗、借呗以及“310”放款的背后都是数据在进行支撑并驱动着其发展。今天蚂蚁的业务形态成为了“技术数据算法”三者的融合来追求价值最大化。与此同时数据质量治理也存在着诸多挑战它们来自于业务方面、数据方面、用户方面。
三、数据质量治理实践
数据质量治理思路
从事金融业务的同学往往深有感触互联网金融时代业务的生命周期缩短了很多并且变化也非常频繁相比于原本银行的节奏显得非常快。
此外目前无论是蚂蚁金服还是阿里巴巴都在谈“数据业务化、业务数据化”数据和业务一同共同发展和前进并且已经进入了发展的深水区。之前的几年蚂蚁在业务上偏向于“T1”而如今原来的架构体系不足以支撑蚂蚁未来继续发展以及高时效性的诉求。同时如今蚂蚁的数据体量很大而数据业务也驱动蚂蚁的整个人才体系的升级。现在除了本身做数据算法研发的同学之外其他的技术同学也都会在平台上使用数据这些同学可能对于数据的认知不同那么在数据驱动下真正保证数据质量就显得异常重要。
那么如何实现数据质量治理呢
首先需要有一套明确的组织这是持续建设企业文化的土壤而数据质量治理文化的建设一定是一个确定的、有组织的并且需要长期持续推进的事情。在组织保障和质量文化的基础之上蚂蚁还侧重了研发流和数据流。在金融领域研发流的管控更严格也更严谨。而对于如今的互联网金融而言也需要进行强管控这是因为业务形态决定了研发周期很短现在蚂蚁在研发流做了强管控在一站式数据研发平台上使用了分级管控。需求提出之后就会被等级管理并且进行打标进而走入不同流程。此外研发流上还侧重分级管控在同一套标准上定义级别拉平不同的研发流。对于数据流而言当一个应用发布到生产环境之后大部分精力花费在数据流中每天需要从生产环境将数据采集到处理平台然后运行算法计算之后将数据返回到生产环境中走这样的闭环。
如今蚂蚁在数据流链路上做了很多事情也建设了很多能力。对于数据流而言如果源头被污染了如果不能控制其污染到下游那么越往下修复成本就越大。
基于以上的数据质量治理思路蚂蚁金服做了很多有意思的东西在数据平台运行时会将整个体系监控起来如果出现数据质量故障就能够及时进行修复。
此外从研发到生产的各个环节蚂蚁都做了大量的工作这是因为基于平台进行数据研发的同学很多需要尽量降低使用门槛。对于全数据流而言主要建设了四大能力包括感知能力、识别能力、智愈能力和运营能力。
平台需要能够感知发布任务的故障问题以及数据质量问题此外平台需要能够识别出潜在风险因为需要非常及时地了解被破坏的数据。当风险被识别出来之后就需要智愈能力之所以使用“智”是因为原本数据处理任务往往是离线的可能从凌晨开始到早上8点钟左右属于数据生产高峰在这段时间里会有人员参与质量保障任务。而智愈能力就希望通过AI算法来配合数据处理工作使得感知能力叠加算法能力能够对于数据感染进行自愈。
最后是运营能力数据质量不会被展现在前台如果数据质量足够好完全可以实现无感知使用者不用再担心数据能不能用也不会出现敢不敢用的疑惑因此数据质量对于运营而言也非常重要。其实数据质量问题既不仅属于研发也不仅属于业务而是需要全员参与共同来解决这就是数据治理的思路。
蚂蚁数据质量治理架构
如下图所示的是蚂蚁金服的数据质量治理架构体系。
在系统层按照上述所谈到的具体思路研发阶段主要集中在数据测试、发布管控以及变更管理等方面的建设这里着重提及变更问题数据的变更不仅仅设计到系统层的变更管理也会涉及到在线系统的相互打通。如今在线数据源的变更也会使得数据运营发生变更更可能会导致数据运营的数据质量问题。
在线研发部分为数据运营系统提供了一些相关的接口能够通知使用者线上的哪些变更会影响到数据运营。对于发布管控能力而言蚂蚁投入了大量精力进行研发。目前在蚂蚁已经没有专职负责数据测试的同学基本上全部都是全栈工程师所以对于研发而言可能管控不是非常强但却实现了强大的发布管控能力将与经验、规范、性能以及质量相关的检测全部在这部分执行。
在生产阶段则主要侧重于质量监控、应急演练以及质量治理这三个系统能力。质量监控告警系统能力在大部分的数据系统架构中应该都有其功能类似于汽车的刹车功能因此肯定是存在的。而蚂蚁却做了一件很有意思的事情——数据攻防演练工程师会人为创造故障然后测试系统能否在短时间内发现故障并进行有效修复这部分也是目前蚂蚁在重点进行建设的能力。在质量治理部分会根据不同应用的级别发布到生产环境之后进行定期巡检分析是否会影响数据质量。总之对于数据质量架构体系的系统层而言不仅原数据非常重要如今更是结合机器学习来自动配置一些相关策略。
数据质量治理方案
如下图所示的是蚂蚁金服在实践中的事前、事中、事后的数据质量质量方案。
整体而言事前包括需求、研发、和预发三个阶段而如今蚂蚁在事前可以做到的可管控、可仿真、可灰度。在事中监控问题是重点建设的出现问题不可怕但是需要实现自主发现问题。而为了使得防御能力更强蚂蚁实现了主动的攻击演练而正是通过攻防演练帮助蚂蚁发现了自身很多薄弱的地方。除此之外还在事中提供了强大的应急能力某些事件将会触发应急预案在这部分保证数据质量其实就是把不确定的数据风险变成确定的东西。在事后数据质量也非常重要事后需要通过有效的指标和管控手段来进行审计和度量以此发现整个链路上不完善的地方并持续完善。
数据质量治理案例
最后为大家分享蚂蚁金服在数据质量治理方面的两个案例
案例1在蚂蚁数据治理架构体系下的发布环节实现了一个发布强管控的流程。任何脚本在提交时都需要经过检测然后发布到线上并再进行一次检测。
案例2数据治理涉及到整个链路而针对不同链路上的数据版本数据采集主要是将数据从一端搬运到另一端不存在加工的过程此时可以人为注入一些故障分析数据质量治理体系能否发现问题并作出修改因此这就产生了“攻”与“防”双方。数据加工处理又另外一套体系结构其涉及逻辑的加工更多地需要考虑注入怎样的故障需要面临什么。如今在蚂蚁真正落地数据质量治理体系的时候在攻防演练环节投入了大量精力。
#阿里云开年Hi购季#幸运抽好礼 点此抽奖https://www.aliyun.com/acts/product-section-2019/yq-lottery?utm_contentg_1000042901
原文链接 本文为云栖社区原创内容未经允许不得转载。
