韩雪冬模板网站,建设母婴网站的总结,网站关键词库怎么做有什么效果,建筑材料网文 ‖ 中信建投证券股份有限公司 马丽霞 高宇航 李可 许哲 李海伟 近年来#xff0c;数据的分析和应用对各行各工业的业务模式和竞争形态进行重塑#xff0c;而积极应对挑战和顺应时代变化是各个市场参与者的必选项。作为资本市场数字化转型的领航者#xff0c;中信建投证券…文 ‖ 中信建投证券股份有限公司 马丽霞 高宇航 李可 许哲 李海伟 近年来数据的分析和应用对各行各工业的业务模式和竞争形态进行重塑而积极应对挑战和顺应时代变化是各个市场参与者的必选项。作为资本市场数字化转型的领航者中信建投证券重视数字化转型机遇陆续启动了各业务领域的数字化转型建设。
DataOps 作为近年来数据管理领域兴起的工程文化和实践借用了 DevOps 敏捷交付的基础框架揉合了 DAMA 数据治理理念强调在如此激烈竞争的商业环境下最大限度地快速匹配业务部门的需求和资源开展交付加速业务价值的试验与试错持续实现数据价值。
为高质量服务公司数字化转型中信建投证券于 2021 年正式启动 DataOps 能力建设结合公司现状打造了 DataOps 研发管理创新体系梳理优化需求、设计、开发、测试、投产的全过程及相关支撑工具的整合逐步建立了标准化、全线上流水线支持数据持续集成和交付为数据供给提供效率和质量的双重保障支撑公司数字化转型。
基于DataOps的券商数据平台与应用服务体系建设
1. 面向“汇聚共享”的数据底座
中信建投证券建设了信创化的云原生湖仓一体数据底座。该平台是将数据湖的灵活性和数仓的易用性、规范性、高性能结合起来的融合架构是公司打造的新代数据底座满足了数据高效汇聚、数据算力灵活扩展、资源隔离的需求。 通过建设数据底座打破了公司数据“烟囱”壁垒将公司内外部的数据汇聚在一起并参考证券行业SDOM数据模型结合公司数据标准规范和实际情况对数据进行重新清洗、整理、组织和联系逐步形成公司级的高质量、可信的、标准化的产品、客户、机构等共性数据为经营分析、风控等数据消费提供数据供给。
同时探索建立指标标签管理体系在共性数据的基础上数据底座还构建了指标标签工厂。一方面推动指标标签的定义归集、计算(结果)归集和服务归集 ;另一方面通过解耦指标标签需求与数据开发通过提供统一语义层下游数据消费者可以方便地将业务语言转换为技术语言快速实现业务服务。
2. 建设“服务化”的数据中台
搭建企业级数据能力框架弥合数据供需鸿沟用户不需关注数据架构和技术只需关注业务实现快速响应数据需求数据中台服务化分为数据技术服务化和数据服务化。
数据技术服务化通过搭建数据基础能力平台为用户提供开箱即用的数据开发能力。为此数据中台构建了数据开发中心和数据基础服务中心。
数据开发中心:构建统一、标准化的一站式数据开发协作平台完成采集、建模、加工、测试、调度、发布、监控功能的整合和集成降低数据开发门槛提升开发运维效率。中信建投联合白鲸开源基于WhaleScheduler产品基础上打造了全栈信创化的数据开发平台实现统一数据开发、任务编排、任务调度更好地完成了离线批处理、实时流处理等任务有效峰低了数据加工处理成本真正实现精益敏捷的数据运营。
数据基础服务中心:数据中台搭建了AI、BI、图计算、OLAP、实时计算等基础服务集群封装了对应的数据服务能力满足各种业务场景对计算能力的要求帮助下游系统快速构建数据应用。
“数据服务化” 体现为封装数据底座数据应用的数据接口提供服务化的数据调用介入方式。为此数据中台构建了数据服务中心和数据资产中心。
数据服务中心:在数据安全合规的前提下将数据以API、文件等形式开放供业务流程调用、下游系统交换数据使用。
数据资产中心:建设数据门户提供企业级数据资源访问入口和数据工作展示服务窗口。将数据资产目录建设为公司级的数据资产查询和操作系统解决数据“是什么在哪里”的问题具备向数据服务引流的能力支持数据应用。同时整合公司各项数据能力打造数据工具箱面向不同用户提供不同的数据能力服务着力解决数据“怎么用”的问题。
3. 打造“敏捷高效”的数据产品交付中心
数据需求方面通过“两归口”实现需求统筹管理。一方面发挥SI制度优势由业务部门SI归口本部门数据需求从源头上规范数据需求:另一方面组织数据专家形成评审委员会对重点项目重点需求开展评审借助专家经验不断提升交付质量。
数据研发方面通过一站式数据开发协作平台与公司DevOps持续交付体系结合起来数据开发协作平台统一对接Gitlab进行代码托管将各种数据任务类型构建数据研发流水线提高数据研发效率和交付能力。同时数据研发过程引入数据模型管控通过对接数据模型管理工具实现数据模型设计标准化。
CI/CD方面数据流水线通过持续集成插件自动化进行代码规范扫描、业务规则测试、测试报告生成满足数据测试质量要求版本后运维人员可以一键确认和发布极大节省了测试和运维工作量提升了版本发布效率和成功率实现了数据产交付的标准化规范化。数据研发流水线可以实现开发、测试和部署的多重保障降本增效提升大规模数据需求交付能力实现数据价值快速输出。
4.面向“自助消费”的数据服务体系
传统的企业数据需求很大一部分是通过内部数据查询单的模式触发数据分析工作由于开发人员工作排期及需求理解等问题分析需求需要多轮迭代才能完成导致数据分析的时效性低。针对这一问题中信建投证券探索建立自主消费的数据服务体系。
从工具层面基于数据中台打通了数据探源、整合及分析展现的整个链路构建自助分析体系通过可视化低代码开发代替专业工具代码开发将以往的开发门槛大大降低。通过数据自助分析业务用户可以更快速地进行数据探查和分析模型迭代极大提高了数据分析的时效性。
从制度文化层面持续开展数据分析师培训帮助更多人建立数据思维。从人力资源层面以数据中台为依托举办数据分析师培训及作品评比比赛通过作品评选挖掘发现潜在种子用户、种子部门逐步建立企业数据分析师团队。
5.构建“智能”数据管理与运营平台
(1)价值驱动的数据交付。倡导由数据价值驱动的数据开发运营评估数据产品的业务价值和经济价值。企业数字化的目标是要建立长期目标和规划的以关键项目为抓手集中最优势的资源攻坚克难解决业务发展中最迫切的数智化要求。
(2)开发治理一体化。遵从源头管控的原则积极开展数据治理并将相关动作尽量前置并与数据的研发工艺有机结合.在数据产生阶段即开展数据治理。通过数据开发和治理的统一规划管理推动数据汇聚和标准化强化大数据融合分析。
(3)运营管理一体化。数据产品的强大生命力一方面依赖于高质量的数据数据研发;另一方面通过收集和挖摇用户需求以及实际的使用效果和反馈不断优化迭代数据产品将其建设为业务级甚至是公司级的重量级数据产品实现数据运营与研发管理的协同。
未来展望
DataOps能力体系的建设是一个不断打磨、精益求精的过程中信建投证券将在不断探索和总结中持续前行为公司数字化转型提供更多动力和支持。
一是加强业务赋能。围绕关键数据应用和场景、数据组织借助DataOps开展持续集成交付提高数据仓库、数据中台等平台类工程建设的ROI实现数据组织协作效能最大化帮助企业实现数字化转型。
二是聚焦内功、不断进化。目前DataOps理念和方法论还在不断演进中因此需积极对标最佳实践完善我司DataOps体系同时也会积极参与相关标准的制定和推广工作。 文章来源于金融电子化第355期期刊 本文由 白鲸开源科技 提供发布支持
