西安免费做网站机构,天猫建设网站的目的,免费设计企业logo,外链网址Moonbox是一个DVtaaS#xff08;Data Virtualization as a Service#xff09;平台解决方案。 Moonbox基于数据虚拟化设计思想#xff0c;致力于提供批量计算服务解决方案。Moonbox负责屏蔽底层数据源的物理和使用细节#xff0c;为用户带来虚拟数据库般使用体验#xff0… Moonbox是一个DVtaaSData Virtualization as a Service平台解决方案。 Moonbox基于数据虚拟化设计思想致力于提供批量计算服务解决方案。Moonbox负责屏蔽底层数据源的物理和使用细节为用户带来虚拟数据库般使用体验用户只需通过统一SQL语言即可透明实现跨异构数据系统混算和写出。此外Moonbox还提供数据服务、数据管理、数据工具、数据开发等基础支持可支撑更加敏捷和灵活的数据应用架构和逻辑数仓实践。
开源地址GitHub - running-elephant/moonbox: Moonbox is a DVtaaS (Data Virtualization as a Service) Platform
设计理念 随着大数据技术在企业应用日益广泛以及越来越多数据系统的出现解决各种不同的场景问题基于全景数据的快速查询计算成为了迫切的需求和挑战。目前的主流方式是建立以Hadoop为核心的数据仓库/数据湖某种程度上解决了异构数据系统及数据分散的问题但依然有数据归集带来的维护成本和时效损失问题。另外数据开发人员也面临着业务频繁变更和结果快速交付的问题。在这样的挑战下计算服务化、数据虚拟化提供了很好的解决思路。Moonbox正是基于大数据场景的数据虚拟化计算服务化的一种实践设计思想主要体现在以下几个方面 计算服务化 Moonbox提供多种查询接口以及定时任务将计算资源变成一种服务终端用户可以自助注册数据源编写SQL实现需求只需要关心业务逻辑而不用关心作业如何提交运行的。 数据虚拟化 Moonbox提供虚拟表到物理表之间的映射终端用户无需关心数据的物理存放位置和底层数据源的特性即可操作数据体验类似操作一个虚拟数据库。 统一入口 统一查询语言 Moonbox对用户提供统一的SQL语法标准屏蔽异构数据系统查询语言的差异用户只需编写SQL即可查询各种数据系统也可使用SQL进行跨异构数据系统混算降低多数据系统的学习成本。 统一元数据服务 Moonbox能够对接多种数据系统可以拿到各个数据系统数据表的schema信息Moonbox并不存储schema信息每次都是实时从数据源获取所以不存在元数据变更不及时需要同步更新等问题。Moonbox对外提供统一的元数据服务接口用户无需为了获取各种数据源的元数据而调用多种接口。 统一权限控制 每种数据源都有各自特有的安全机制用户在使用这些数据系统的时候就需要多付出一定的学习成本。Moonbox在逻辑层提供了统一的安全访问机制在接入时提供认证登录功能在查询时通过拦截分析查询SQL实现列级别的数据权限控制。如果查询统一从Moonbox接口进入那么Moonbox就为各种数据源加上了一把安全锁用户无需再学习各种数据源特有的安全机制。
系统架构 Moonbox总体上由四部分组成分别是客户端、接入层、Grid以及存储计算层。 客户端 客户端有如下几种 rest api 以restful api的方式提供batch作业提交、查询作业执行状态、取消作业服务。 jdbc 提供jdbc驱动可以使用jdbc编程访问, 使用户拥有数据库般的使用体验。 odbc 提供odbc支持用户可以使用sas连接moonbox进行数据分析。 cli 命令行工具基于jline实现。通过cli可以完成DDLData Definition Language、DMLData Manipulation Language、DCLData Control Language以及Query操作。 zeppelin 提供zeppelin moonbox interpreter可以使用zeppelin快速进行原型验证和SQL开发。 davinci 通过jdbc支持ABD Stack敏捷大数据技术栈中数据可视化平台davinci的接入进行数据查询并展示。 接入层 接入层包括http server、tcp server和thrift server实现客户端接入并进行用户登录认证。 分布式服务层 Grid是Moonbox分布式服务层。Grid使用master-slave集群工作模式支持master主备切换。Grid有Master、Worker、App三种角色 Master负责接收所有的用户请求根据请求模式adhoc/batch将请求调度到合适的App上。 Worker向Master注册,负责该节点上App的启动和停止每个Worker节点可以启动多个不同种类的App。 App也会向Master注册,App是真正处理计算的角色,可以是一个Spark App, 也可以是其他自定义的App。 计算/存储层 Moonbox默认使用Spark作为计算引擎将一个常驻的Spark作业称之为一个App, 支持standalone和yarn运行模式。Spark App处理用户发过来的请求包括用户体系管理操作、权限管理操作、SQL解析、下推优化、执行引擎选择等并提交真正的计算任务。当计算逻辑可以完全下推到数据源计算时Moonbox将计算任务直接mapping成数据源的查询语言进行下推计算以减小启动分布式作业的开销。数据源除了可以是hdfs这种纯存储系统mysql、elasticsearch这种带计算能力的存储系统还可以是presto等计算引擎Moonbox将他们统一视为数据源。
特性 用户体系 Moonbox建立了一套完整的用户体系引入了Organization的概念用于划分用户空间。系统管理员ROOT账号可以创建多个Organization并在Organization中指定该Organization的管理者SA可以是一个或者多个。SA负责创建管理普通用户。Moonbox将普通用户的能力抽象出六大属性分别是是否可以执行Account管理语句是否可以执行DDL语句是否可以执行DCL语句, 是否拥有可以授权其他用户执行Account类语句的能力是否拥有可以授权其他用户执行DDL语句的能力是否拥有可以授权其他用户执行DCL语句的能力。通过属性的自由组合可以构建出满足多种角色多种需求的用户体系模型并可借此实现多租户。 扩展SQL Moonbox将查询语言统一为Spark SQL使用Spark SQL语法进行查询操作同时扩展了一套DDL、DCL语句。包括对用户的创建删除和授权数据表或者数据列的访问授权挂载卸载物理数据源或者数据表创建删除逻辑数据库创建删除udf/udaf创建删除定时任务等。 优化策略 Moonbox基于Spark进行混算Spark SQL是支持多数据源的但是Spark SQL在从数据源中进行数据拉取的时候只进行了project和filter算子的下推并没有考虑数据源的算力特性比如elasticsearch对于聚合操作是很友好的如果聚合操作能下推到elasticsearch中进行计算会比将数据全部拉回Spark计算快的多比如limit算子如果下推到数据源计算能大大减少返回的数据量节省拉取数据和计算的时间。Moonbox对Spark Optimizer优化后的LogicalPlan作进一步的优化根据规则拆分出可以进行下推的子树将子树mapping成数据源查询语言将下推结果拉回Spark参与进一步的计算。如果LogicalPlan可以整体下推计算那么Moonbox将不采用Spark进行计算直接使用数据源客户端运行LogicalPlan mapping出来的查询语句以减少启动分布式作业的开销并节省分布式计算资源。 列权限控制 数据安全越来越受到企业的重视我们希望在方便快捷提供计算服务和数据服务的同时还希望实现数据的安全。Moonbox定义了DCL语句来实现数据列级别权限控制。Moonbox管理员通过DCL语句将数据表或者数据列授权给用户Moonbox会将用户和表以及列的权限关系保存到catalog中。当用户在使用SQL查询时会被拦截分析出SQL被解析后的LogicalPlan中是否引用了未被授权的表或者列如果有就报错返回给用户。 多种形式的UDF/UDAF Moonbox除了支持以jar包的形式创建UDF/UDAF外还支持以源代码的形式创建包括Java语言和Scala语言这给UDF开发验证带来了便捷性。 定时任务 Moonbox提供了定时作业的功能用户使用DDL语句定义定时任务以crontab表达式的形式定义调度策略后台内嵌quartz进行任务定时调度。
