做网站好还是做程序员好,wordpress技术性博客主题,邵阳网站建设公司,wordpress 加关注插件一般标准数据架构有(ODS、DWD、DWS、DIM、ADS)
一般数据构架问题#xff1a; 1.架构定位与边界不清楚#xff0c;导致ADS烟囱化开发#xff1b; 2.ADS集市缺少统一规划、混乱低效#xff1b; 3.ADS集市指标口径急需要统一#xff1b; 4.缺少高质量的设计标准#xff0c;…一般标准数据架构有(ODS、DWD、DWS、DIM、ADS)
一般数据构架问题 1.架构定位与边界不清楚导致ADS烟囱化开发 2.ADS集市缺少统一规划、混乱低效 3.ADS集市指标口径急需要统一 4.缺少高质量的设计标准模型千人千样事后问题频发; 5.规划缺少配套的产品化工具落地保障。 解决方案 1.需求调研、2.数据域划分、3.构建总线矩阵、4.明确统计指标、5.模型设计(规范定义/明细模型设计/汇总模型设计)、6.代码开发、7.部署运营。 数据层划分
主要划分三层应用数据层、公共数据层、操作数据层。应用数据层: ADS(集市层)面向上层应用按照业务划分数据快速响应数据。目的:专注支持业务(研发效率/口径一致性/稳定性)。 在应用层可以有MDS层抽象下沉
公共层数据: 以维度模型方法为理论基础采用维度退化方法。目的:抽象复用提升效率(全局一致性/易用性/稳定性)。
DWD(明细层)DWS(汇总层)DIM(维表)
操作数据层:ODS层一般指线上技术同步过来的表。目的:数据接入合规高效(接入效率/性能稳定)。 一些设计原则
贴源层设计原则 ODS主要统一接入在合规基础上接入效率和性能稳定性。公共层设计原则 数据域并不是一成不变数据域随着业务也需要迭代。公共层准入门槛是否有共性逻辑。公共层复用抽象以提高抽象。成本与效率平衡。易用性考量和提升应用层研发效率。稳定性且满足应用层时效性。应用层设计原则 按集市域划分降低各集市复杂度。扁平化设计提升稳定性降低运维成本。按需求来设计应用层不做过度扩展设计。减少对贴源层依赖。应用层也需要进行共性抽象下沉提升效率和口径一致性。比如造一个MDS层
