装饰公司营销网站模板,做游戏必备的几个网站,wordpress英文版改中文,沈阳网站建设管理11 月 16 日#xff0c;OceanBase 在北京顺利举办 2023 年度发布会#xff0c;正式宣布#xff1a;将持续践行“一体化”产品战略#xff0c;为关键业务负载打造一体化数据库。其中#xff0c;在“数字化转型升级实践专场”#xff0c;我们有幸邀请到了茄子科技大数据技术…
11 月 16 日OceanBase 在北京顺利举办 2023 年度发布会正式宣布将持续践行“一体化”产品战略为关键业务负载打造一体化数据库。其中在“数字化转型升级实践专场”我们有幸邀请到了茄子科技大数据技术总监张韶全进行《跨多云大数据平台 DataCake 在 OceanBase 的实践》主题演讲以下为演讲全文 大家下午好非常荣幸受到 OceanBase 组委会的邀请跟大家分享茄子科技大数据平台 DateCake 与 OceanBase 的合作实践。 首先介绍一下茄子科技。我们是第一批出海的互联网公司公司的业务场景从最开始工具类 APP 扩展到内容、游戏、支付等多个场景月活跃用户数量达到数亿级别正是因为这种级别的用户体量同时还有复杂的使用场景我们很早便开启了大数据平台 DateCake 的自研通过挖掘数据价值支撑业务高速发展。 因为我们是一家出海企业所以很早就把大数据平台做到了彻底的云原生化。2018 年开始大数据平台完全摆脱了传统的 Hadoop 架构全部采用了云原生架构。我们在支撑内部业务的同时发现在大数据方面的技术和积累可以很好的帮助其他行业、不同场景更好地解决数字化转型过程中的问题和需求。所以我们决定将大数据平台作为独立的产品商业化去赋能外部企业希望能够帮助外部企业拥有低门槛、低成本的大数据解决方案能够落实数据方法论帮助企业在竞争中获得一些优势。 我们的大数据平台名字叫“DateCake”[1]从整体架构上分成三层从底层 IaaS、中层 PaaS到上层 SaaS。 Iaas 层是完全的云原生架构同时也支持多云。可以充分利用不同云的特点。比如可以充分利用云上 Spot 实例通过自研 PVC Reuse 技术[2]把 Spot 实例当成 On-demand 实例来使用大幅降低使用成本同时还可以充分利用底层云厂商提供的弹性存储和计算保证业务只在使用时付费进一步降低成本。 中层是 PaaS 层采用湖仓一体架构可以做到一份数据支撑不同的场景例如数据分析、数据科学、数据开发这样就可以避免数据从不同的系统导入导出的复杂流程造成数据孤岛。另外我们也自研了 Catalog 管理系统通过该系统做到统一的数据资产视图并能够做到细粒度数据管控、数据血缘和审计现在该系统也对外开源[3]。 再到 SaaS 层按照不同模块从数据分析到数据开发再到数据治理。第一在数据分析里可以用统一的 SQL 完成不同的数据源的数据查询不管数据是在湖里面、仓里面还是在外部数据源的关键数据库里面可以用一条 SQL 把全部数据查询出来。第二通过非常低门槛的高性价比数据开发的模块化解决方案不管用户是数据分析师还是数仓工程师都可以用模块化非常简单地完成整个数据链路的构建。第三还提供智能化、完善的 FinOPS 解决方案。 OceanBase 在 DateCake 中主要在两个场景中使用。第一个场景利用OceanBase 的 OLAP 能力把 OceanBase 作为一个轻型数仓来使用围绕OceanBase构建完整的数据开发链路。第二个场景利用 OceanBase 的 OLTP 能力把 OceanBase 作为服务的数据库支持高并发查询包括事务和一些复杂 SQL 查询。 茄子科技为什么要选择 OceanBase首先最看中的一点是OceanBase 经过了线上复杂系统的验证我们非常相信经过复杂系统验证的数据库的能力同时OceanBase 支持多基础设施、高性价比、高兼容的特性这些特性也非常契合我们 DateCake 本身的产品特点。 第一个特点跨多云架构轻松运维。 因为我们是完全的云原生大数据平台同时支持多云策略。为了能够支撑统一的服务和下面不同的云进行对接我们研发了一套可以做到承上启下的作用且能够对底层环境透明化的系统。同时该系统可以对查询做智能分析、智能路由保证用户提交的查询都可以命中到准确的集群和高性价比的集群上。 此外为了让平台管理人员很好地运维多云系统、多云集群我们也自研了一套多云集群的管理和监控系统专门用来对多云的集群进行创建、管理、监控同时对集群上的任务进行管理、对多云的任务做实时不同维度的分析。这样就可以非常容易地帮助系统管理人员轻松管理多云的集群、多云的环境。 第二个特点一个平台覆盖 Data Workflow。 在一个平台上轻松构建从数据源到业务场景端到端的 Data Workflow支持数据集成、数据导入、数据 ETL同时提供了非常低门槛方式让用户通过模板化方式通过 SQL低代码非常快速地构建一套完整的系统。比如我们公司的一个数据分析师就可以在平台上管理几百号的数据开发任务。 数据开发方案基于云的弹性资源只需为使用付费同时把云厂商的一些特点吃得很透有非常强的技术积累保证比传统的 Hadoop 解决方案低 70% 以上的成本。用户只需要通过简单配置就可以把数据链路中比如数据集成、数据处理、数据导出场景中一些非常具体的案例通过简单的配置就可以完成不需要写非常复杂的代码。 OceanBase 在 Data Workflow 里主要有两个场景。第一个是 BI 场景从数据集成入湖之后经过湖上数据的处理通常数据量比较大处理完之后把数据导入到OceanBase用 OceanBase 来支撑 BI 的可视化图表、仪表盘等。第二个是实时分析场景相当于把 OceanBase 当成实时数仓省去ETL的步骤做实时的数据分析。 DateCake 可以通过可视化的方式查看历史实例运行详情包括历史实例的运行状态、时长、上下游实例的运行状态等信息。进一步支持对实例进行重算、Mark Success/Failed 的操作。同时DakeCake 还提供数据血缘和链路分析的功能可以快速查看任务间的依赖关系方便定位任务延迟或发生故障时的原因。 第三个特点实时成本分析。 现在都在讲数字化转型其中数字化转型解决方案最重要的一点就是能够让企业评估投入产出比要知道投入的成本是什么样的得到的回报是什么样的。 现在我们的平台支持实时化任务级的成本分析一个任务运行完之后立马可以知道这个任务的用量和成本是什么样的。相比云厂商“T-2”的成本费用计算方式可以做到实时地任务级的成本分析。有了任务级的成本分析后企业就可以做很多工作延伸比如成本监控一个任务的成本波动如果有显著变化可以及时通知业务。 同时我们的平台还提供了任务级成本的归因分析。任务成本有波动可以分析出它是因为数据本身的波动、任务的变更还是因为集群波动导致成本有波动。上图展示对实时成本从不同维度做多维分析这是一个典型的海量数据的多维分析场景。 在数据多维分析场景我们之前使用 RDS愈发感觉力不从心当我们迁移到 OceanBase 后借助 OceanBase 的 OLAP 能力在千万级数据分析上OceanBase 的分析时间降低 60%-70%。 之后我们也把实时成本数据分析后的数据库完全切到 OceanBase整个迁移过程因为 OceanBase 本身的高 MySQL 兼容性以及只要稍微简单配置一下就可以完成非常丝滑。 我今天分享的内容就到这里希望跨多云大数据平台 DataCake 在 OceanBase 的实践分享能对大家有所帮助。未来 DataCake 会在云原生大数据方向上和大家一起继续奔跑和伙伴们一起打赢数字化转型之役谢谢大家 [1] DataCake: https://www.datacake.cloud/
[2] Spot最佳实践https://aws.amazon.com/cn/blogs/china/the-practice-of-shareit-big-data-platform-datacake-in-spark-on-eks/
[3] Polycat: https://github.com/DataCakeCloud/Polycat
