昆明双鼎网站制作,平面设计有哪些公司,王烨,做网站必须购买空间吗云数据库概述 说明云数据库厂商概述Amazon 云数据库产品Google 的云数据库产品Microsoft 的云数据库产品 云数据库系统架构UMP 系统概述UMP 系统架构MnesiaRabbitMQZooKeeperLVSController 服务器Proxy 服务器Agent 服务器日志分析服务器 UMP 系统功能容灾 读写分离分库分表资源… 云数据库概述 说明云数据库厂商概述Amazon 云数据库产品Google 的云数据库产品Microsoft 的云数据库产品 云数据库系统架构UMP 系统概述UMP 系统架构MnesiaRabbitMQZooKeeperLVSController 服务器Proxy 服务器Agent 服务器日志分析服务器 UMP 系统功能容灾 读写分离分库分表资源管理资源调度资源隔离 说明
本文参考自林子雨老师的《大数据技术原理与应用(第三版)》教材内容仅供学习和交流
云数据库厂商概述
云数据库厂商主要分为三类。 ① 传统的数据库厂商如 Oracle、IBM DB2 和 Microsoft SQL Server ② 涉足数据库市场的云数据库厂商如 Amazon、Google、阿里、百度、腾讯 ③ 新兴厂商如 Vertica、LongJump 和 EnterpriseDB
Amazon 云数据库产品
Amazon 是云数据库市场的先行者。Amazon 除提供著名的 S3(Simple Storage Service) 存储服务和 EC2(Elastic Compute Cloud) 计算服务以外还提供基于云的数据库服务 SimpleDB 和 DynamoDB。 S3 (Simple Storage Service): S3对象存储服务旨在提供可扩展、安全、耐用的存储解决方案。它允许用户通过网络存储和检索任意数量的数据每个对象可以达到 5TB并且支持多种数据类型包括文本、图像、视频和其他多媒体文件。S3 提供高可用性和持久性通过在不同的数据中心和设备之间复制数据来保护数据的安全性并提供多种安全功能如访问控制列表 (ACL)、存储桶策略和加密选项。 EC2 (Elastic Compute Cloud): EC2 基于云的虚拟服务器服务允许用户租用虚拟计算资源以运行应用程序。它提供了可伸缩性和灵活性用户可以根据需要快速启动、配置和管理虚拟机实例。EC2 实例的规格和配置可以根据用户需求进行调整包括计算能力、内存、存储和网络性能等方面。用户可以选择不同类型的实例如通用型、计算优化型、存储优化型等以满足不同类型的工作负载需求。 云的数据库服务 SimpleDB 和 DynamoDB。
SimpleDB SimpleDB 是 Amazon 公司开发的一个可供查询的分布式数据存储系统是 Amazon 网页服务Amazon Web ServiceAWS上的第一个 NoSQL 数据库服务集合了 Amazon 的大量 AWS 基础设施SimpleDB 是一种非关系型的数据库服务旨在提供简单而灵活的数据存储解决方案。它适用于需要快速构建和迭代的应用程序特别是那些需要动态模式和可扩展性的应用。SimpleDB 使用简单的数据模型其中包含项目Item、属性Attribute和值Value。这种结构使得它更容易处理半结构化数据并且能够以高可用性和可扩展性存储大量数据。 DynamoDB DynamoDB 一种全管理的、多区域、高可扩展的 NoSQL 数据库服务专为云规模应用程序而设计。它提供快速的性能、无限制的扩展性和灵活的数据模型可满足各种应用程序的需求。DynamoDB 采用键-值对数据模型同时支持文档和列族数据模型。它提供了自动化的数据复制、备份和恢复以及内置的安全性和可用性功能使得开发人员可以专注于应用程序的逻辑而无需担心基础设施的管理。DynamoDB 采用“键值”存储其所存储的数据是非结构化数据不识别任何结构化数据需要用户自己完成对值的解析。Dynamo 系统中的键key不是以字符串的方式进行存储的而是采用 md5_key通过 MD5 算法转换后得到的方式进行存储的因此它只能根据 key 去访问不支持查询。DynamoDB 使用固态盘实现恒定、低延迟的读写时间旨在扩展大容量的同时维持数据库的一致性。
Google 的云数据库产品
Google Cloud SQL 是谷歌推出的基于 MySQL 的云数据库所有的事务都在云中并由谷歌管理用户不需要配置或者排查错误仅依靠它来开展工作即可。由于数据在谷歌多个数据中心中复制因此它永远是可用的。谷歌还将提供导入或导出服务方便用户将数据带进或带出云。
Microsoft 的云数据库产品
Microsoft微软公司通过 SDSSQL Data Service提供 SQL Server 的关系数据库功能。微软公司对SDS 功能进行了扩充并且重新命名为 SQL Azure。微软公司的 Azure 平台提供Web 服务集合可以允许用户通过网络在云中创建、查询和使用 SQL Server 数据库云中的 SQL Server服务器的位置对于用户而言是透明的。SQL Azure 具有以下特性 ① 属于关系数据库。支持使用 Transact-SQL 来管理、创建和操作云数据库。 ② 支持存储过程。它的数据类型、存储过程和传统的 SQL Server 具有很大的相似性 ③ 支持大量数据类型。包含了几乎所有典型的 SQL Server 的数据类型。 ④ 支持云中的事务。支持局部事务但是不支持分布式事务。SQL Azure 的体系架构中包含了一个虚拟机簇可以根据工作负载的变化动态增加或减少虚拟机的数量。每台 SQL Server 虚拟机Virtual Machine安装了SQL Server数据库管理系统并以关系模型存储数据。通常一个数据库会被分散存储到 35 台 SQL Server VM 中。每台 SQL Server VM 同时安装 SQL Azure Fabric 和 SQL Azure 管理服务。不同 SQL Server VM 内的 SQL Azure Fabric 和管理服务之间会彼此交换监控信息以保证整体服务的可监控性。SQL Azure负责数据库的数据复写工作以保障 SQL Azure 的基本高可用性要求。
云数据库系统架构
以阿里巴巴核心系统数据库团队开发的 UMPUnified MySQL Platform系统为例进行介绍。
UMP 系统概述
UMP 系统是低成本和高性能的 MySQL 云数据库方案。开发者通过网络从平台上申请 MySQL 实例资源利用平台提供的单一入口来访问数据。UMP 系统把各种服务器资源划分为资源池并以资源池为单位把资源分配给 MySQL 实例。系统中包含了一系列组件这些组件协同工作以对用户透明的形式提供主从热备、数据备份、迁移、容灾等一系列服务。系统内部将用户划分为 3 种类型数据量和流量比较小的用户、中等规模用户以及需要分库分表的用户。多个小规模用户共享一个 MySQL 实例中等规模用户独占一个 MySQL 实例需要分库分表的用户的多个 MySQL 实例可以共享同一台物理机UMP 系统通过这些方式实现了资源的虚拟化降低了整体成本。UMP 系统通过“用 Cgroup限制 MySQL 进程资源”和“在 Proxy 服务器端限制 QPS”两种方式实现了资源隔离、按需分配以及限制CPU、内存和 I/O 资源同时UMP 系统还支持在不影响提供数据服务的前提下根据用户业务的发展进行动态扩容和缩容。 UMP 系统架构设计遵循了以下原则。 ① 保持单一的系统对外入口并且为系统内部维护单一的资源池。 ② 消除单点故障保证服务的高可用性。 ③ 保证系统具有良好的可伸缩性能够动态地增加、删减计算与存储节点。 ④ 保证分配给用户的资源也是弹性可伸缩的资源之间相互隔离确保应用和数据的安全。
UMP 系统架构
UMP 系统中的角色包括 Controller 服务器、Web 控制台、Proxy服务器、Agent 服务器、日志分析服务器、信息统计服务器、愚公系统依赖的开源组件包括 Mnesia、RabbitMQ、ZooKeeper 和 LVS。 Mnesia
Mnesia 是一个分布式数据库管理系统适合需要持续运行和具备软实时特性的Erlang 应用是构建电信应用的控制系统平台—开放式电信平台Open Telecom PlatformOTP的一部分。 Erlang 是一种结构化、动态类型的编程语言内建并行计算支持非常适合构建分布式、软实时并行计算系统。 Mnesia 支持事务支持透明的数据分片利用两阶段锁实现分布式事务可以线性扩展到至少 50 个节点。Mnesia 的数据库模式schema可在运行时动态重配置表能被迁移或复制到多个节点来改进容错性。Mnesia 的这些特性使其在开发云数据库时被用来提供分布式数据库服务。
RabbitMQ
RabbitMQ 是一个用 Erlang 开发的工业级的消息队列产品作为消息传输中间件来使用可以实现可靠的消息传送。UMP 集群中各个节点之间的通信不需要建立专门的连接都是通过读写队列消息来实现的。
ZooKeeper
ZooKeeper 是高效和可靠的协同工作系统提供分布式锁之类的基本服务用于构建分布式应用减轻分布式应用程序所承担的协调任务。在 UMP 系统中ZooKeeper 主要发挥 3 个作用 作为全局的配置服务器UMP 系统把多台服务器相同的配置信息交给 ZooKeeper 来管理把配置信息保存在 ZooKeeper 的某个目录节点中然后在所有需要修改的服务器中对这个目录节点设置监听监控配置信息的状态一旦配置信息发生变化每台服务器就会收到 ZooKeeper 的通知然后从 ZooKeeper 获取新的配置信息提供分布式锁UMP 集群中部署了多个 Controller 服务器为了保证系统的正确运行对于某些操作在某一时刻只能由一个服务器执行而不能由多台服务器同时执行监控所有 MySQL 实例UMP 系统借助于 ZooKeeper 实现对所有MySQL 实例的监控。每个 MySQL 实例在启动时都会在 ZooKeeper 上创建一个临时类型的目录节点当某个 MySQL 实例挂掉时这个临时类型的目录节点也随之被删除。
LVS
UMP 系统借助于 LVS 来实现集群内部的负载均衡。Linux 虚拟服务器Linux Virtual ServerLVS是虚拟的服务器集群系统。LVS 采用 IP负载均衡技术和基于内容的请求分发技术。调度器是 LVS 集群系统的唯一入口点。调度器具有很好的吞吐率将请求均衡地转移到不同的服务器上执行且调度器自动屏蔽服务器的故障从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的而且无须修改客户端和服务器端的程序。
Controller 服务器
Controller 服务器向 UMP 集群提供各种管理服务。Controller 服务器上运行了一组 Mnesia 分布式数据库服务其中存储了各种系统元数据主要包括集群成员、用户的配置和状态信息以及用户名与后端 MySQL 实例地址的映射关系或称为“路由表”等。当其他服务器组件需要获取用户数据时可以向 Controller 服务器发送获取数据请求。 为了避免单点故障保证系统的高可用性UMP 系统中部署了多台 Controller 服务器然后由 ZooKeeper 的分布式锁功能来帮助选出一个“总管”负责各种系统任务的调度和监控。
Proxy 服务器
Proxy 服务器向用户提供访问 MySQL 数据库的服务。它完全实现 MySQL 协议用户可以使用已有的 MySQL 客户端连接到 Proxy 服务器Proxy 服务器通过用户名获取用户的认证信息、资源配额的限制如 QPS、IOPS、最大连接数等以及后台 MySQL 实例的地址然后用户的 SQL查询请求会被转发到相应的 MySQL 实例上。Proxy 服务器中还实现了很多重要的功能主要包括屏蔽 MySQL 实例故障、读写分离、分库分表、资源隔离、记录用户访问日志等。
Agent 服务器
Agent 服务器部署在运行 MySQL 进程的机器上用来管理每台物理机上的 MySQL 实例执行主从切换、创建、删除、备份、迁移等操作同时还负责收集和分析 MySQL 进程的统计信息、慢查询日志Slow Query Log和 bin-log。
日志分析服务器
日志分析服务器存储和分析 Proxy 服务器传入的用户访问日志并支持实时查询一段时间内的慢日志和统计报表
UMP 系统功能
UMP 系统构建在一个大的集群之上通过多个组件的协同作业整个系统实现了对用户透明的容灾、读写分离、分库分表、资源管理、资源调度、资源隔离和数据安全等功能。
容灾
为了实现容灾UMP 系统会为每个用户创建两个 MySQL 实例一个是主库一个是从库而且这两个 MySQL 实例之间互相把对方设置为备份机任意一个 MySQL 实例上面发生的更新都会复制到对方。同时Proxy 服务器可以保证只向主库写入数据。主库和从库的状态是由 ZooKeeper 负责维护的ZooKeeper 可以实时监听各个 MySQL 实例的状态一旦主库死机ZooKeeper 可以立即感知到并通知 Controller 服务器。Controller 服务器会启动主从切换操作在路由表中修改用户名与后端 MySQL 实例地址的映射关系并把主库标记为不可用同时借助于消息队列中间件 RabbitMQ 通知所有 Proxy 服务器修改用户名与后端 MySQL 实例地址的映射关系。通过这一系列操作后主从切换完成用户名就会被赋予一个新的可以正常使用的 MySQL 实例而这一切对于用户自己而言是完全透明的。
读写分离
由于每个用户都有两个 MySQL 实例主库和从库因此 UMP 系统可以充分利用主从库实现用户读写操作的分离实现负载均衡。UMP 系统实现了对于用户透明的读写分离功能当整个功能被开启时负责向用户提供访问 MySQL 数据库服务的 Proxy 服务器就会对用户发起的 SQL语句进行解析。如果该 SQL 语句属于写操作就直接发送到主库如果该 SQL 语句属于读操作就会被均衡地发送到主库和从库上执行。特殊情况用户刚刚写入数据到主库数据还没有被复制到从库之前用户从库读这个数据导致用户要么读不到数据要么读到数据的旧版本。为避免这种情况的发生UMP 系统在每次用户写操作发生后都会开启一个计时器如果用户在计时器开启的 300 ms 内读数据不管是读刚写入的这些数据还是其他数据都会被强行分发到主库上去执行读操作。
分库分表
UMP 支持对用户透明的分库分表Shard / Horizontal Partition但是用户在创建账号的时候需要指定类型为多实例并且设置实例的个数系统会根据用户设置来创建多组 MySQL 实例。当采用分库分表时系统处理用户查询的过程如下首先Proxy 服务器解析用户 SQL 语句提取重写和分发 SQL 语句所需要的信息其次对 SQL 语句进行重写得到多个针对相应 MySQL实例的子语句然后把子语句分发到对应的 MySQL 实例上执行最后接收来自各个 MySQL实例的 SQL 语句执行结果合并得到最终结果。
资源管理
UMP 系统采用资源池机制来管理数据库服务器上的 CPU、内存、磁盘等计算资源所有的计算资源都放在资源池内进行统一分配资源池是为 MySQL 实例分配资源的基本单位。
资源调度
UMP 系统通过 MySQL 实例的迁移来实现资源调度。借助于阿里巴巴中间件团队开发的愚公系统UMP 系统可以实现在不停机的情况下动态扩容、缩容和迁移。
资源隔离
当多个用户共享同一个 MySQL 实例或者多个 MySQL 实例共存在同一台物理机上时为了保护用户应用和数据的安全必须实现资源隔离。
