门户网站建设实施方案,有创意的工作室名字大全,电子政务网站建设流程,虎嗅模板 wordpress毋庸置疑#xff0c;数据已经成为信息化社会最关键的基础元素之一。离开数据的支持#xff0c;大数据、人工智能等技术就都没有了用武之地#xff0c;信息化、智能化也就成了空谈。而数据库则是存储和承载数据的重要场所#xff0c;因此#xff0c;其重要性不言而喻。随着… 毋庸置疑数据已经成为信息化社会最关键的基础元素之一。离开数据的支持大数据、人工智能等技术就都没有了用武之地信息化、智能化也就成了空谈。而数据库则是存储和承载数据的重要场所因此其重要性不言而喻。随着云计算的飞速发展云端数据库技术开始被普遍应用。云端数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法它极大地增强了数据库的存储能力消除了人员、硬件、软件的重复配置让软、硬件升级变得更加容易而且具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点。可以说掌握云端数据库技术将是现在以致未来数据库技术人员所必备的技能。10月27日为了帮助数据库技术人员能够更好的掌握云端数据库技术腾讯云携手中国专业的IT技术社区CSDN在深圳市腾讯大厦2楼多功能厅举办“赋能业务创新-云数据库最佳应用实践”沙龙以云端数据库具体的应用实践为与会的众多数据库技术人员分享了包括如何设计出高可用的MySQL系统解读最流行的Redis缓存类数据库在云端的技术运用以及Elassticsearch调优在内的应用实践并深度结合小程序和珍爱网在利用腾讯云云数据库过程中的实践经验介绍如何在降低开发与运维成本的情况下打造爆款应用程序。 腾讯高级工程师王甲坤首先为挤满整个会场的观众介绍了如何设计高可用的MySQL系统王甲坤认为高可用的关键指标是RPO和RTO而设计高可用的MySQL系统通常有三种模式模式一Shared Everthting方式:基于单机存储的模式一般是针对单个主机完全透明共享CPU/MEMORY/IO并行处理能力是较差的。模式二Shared Disk方式基于共享存储的模式各个处理单元使用自己的私有CPU和Memory共享磁盘系统。典型的代表Oracle Rac它是数据共享可通过增加节点来提高并行处理的能力扩展能力较好。模式三Shared Nothing方式基于数据复制的模式各个处理单元都有自己私有的CPU/内存/硬盘等不存在共享资源类似于MPP大规模并行处理模式各处理单元之间通过协议通信并行处理和扩展能力更好。 对于基础设施的高可用通常采用同城双活、两地三中心等方式而对于MySQL系统的高可用首先备份是最基础最保底的保障建议必须保留。MySQL备份分为逻辑备份、物理备份和快照三类。腾讯云主要采用基于xtrabackup开发的实现可并行备份加流式压缩的物理备份成功率与速度都比较高。另外腾讯云MySQL基础版架构于CVM和CBS之上支持快照备份功能。其次基于数据复制模式是MySQL高可用的常见热备方案通过MySQL复制协议和故障自助发现与转移来实现数据在节点间的一致性。 腾讯云MySQL先支持最多挂载5个只读实例来满足读写分离的场景。王甲坤还介绍了复制相关的Binlog知识主从复制的大体流程以及三种复制方式异步、半同步、强同步。而对于在复制中SQL线程的瓶颈通过各个版本MySQL的并行复制功能也能得到解决。但DRBD(Distributed Replicated Block Device)这款基于块设备级在远程服务器直接同步和镜像数据的工具则是MySQL官方文档手册中作为推荐的高可用的方案之一。 王甲坤提到由于MySQL并没有提供故障转移功能一般需要借助第三方工具进行故障恢复。业界普遍采用的方案是Keepalived、MMM和MHA但都有一定的缺点而腾讯云用的是自己实践的一套故障检测不存在单点的问题能做到故障检测恢复到30秒钟以内大大提高了MySQL的高可用。王甲坤最后还介绍了保证PXC、 MGC、MGR等另外三种MySQL高可用架构。腾讯云云数据库Redis产品负责人邹鹏针对大规模Redis集群架构设计进行了讲解他表示Redis的使命就是更快更简单遵循这个使命的Redis数据库的排名已经超过了ES了位列第七。Redis的特点第一是快可以达到单核10W QPS第二是in-memory cache即Redis不用建表。邹鹏认为Redis主要场景还是在于缓存如果抛开游戏的场景80%的场景都是缓存所以它还是缓存数据库。邹鹏接着介绍了腾讯云基于社区4.0版本自研打造的Redis4.0 Cluster分布式数据库。Redis官方的Cluster具有两个特征Sharding以及自治管理。而腾讯认为Redis Cluster一定要做一个Proxy方案第一源生集群版必须有一个智能客户端支持这是因为智能客户端支持有限无法直接迁移到集群版而客户端需要感知后端架构并进行网络流量隔离承载更丰富的功能减少对Redis代码的入侵而如果没有代理这些都不容易实现。腾讯云采用的Smart Proxy 方案后端是官方源生的Cluster完全是自治的版本并进行了一些优化。前端的智能客户端会完成代理转发做大量定制化监控以及数据、节点的选择判断的情况再往前面就是LB把所有细节都屏蔽到了后端。 在数据迁移方面针对大Key和热Key的迁移难题腾讯云通过采用访问监控、Key分析、指标监控、慢查询、告警配置、流量隔离等手段充分发挥Proxy的作用从而解决了数据迁移中大Key和热Key的问题最终的架构如图所示。 邹鹏还介绍了腾讯云CKV它是一种原生分布式的集群解决方案突破单线程时延只有0.2毫秒但可以使内存使用率提升1525%。腾讯云产品经理李晓慧以MongoDB在小游戏中的实践应用分享了MongoDB在小游戏开发方面为开发者带来的便利。李晓慧表示游戏开发中一个最主要的特点是需求变化非常快因为在游戏和开发不同的阶段会加入一些新的元素黏住用户像一种道具的场景就需要在游戏上线的不同阶段加载不同的道具用传统的关系型数据库则需要对表结构进行修改的DDL操作而MongoDB不需要改变表结构这对开发者是非常友好的。李晓慧强调现在大多数游戏都会添加社交元素增强用户的活跃度黏住用户。腾讯云提供了地理位置索引以及配套的API不需要在业务层操作就可获得数据库层的支持。对于海量数据腾讯云提供了分片的功能例如游戏开始上线时其实并不知道业务上线需要的数据量。而当游戏上线后期由于数据量的增多如果用关系型数据库的话就避免不了进行分部分表扩容而MongoDB提供了分片集群可以在不影响业务的同时进行水平的扩容这对运维来说是非常好的解决方案。至于运营分析MongoDB源生即支持开发者可以直接套用。更重要的是MongoDB支持JavaScript全栈MERN、MEAN。因此MongoDB特别适合游戏开发场景。李晓慧还介绍了如何优化MongoDB的连接她表示首先腾讯云对MongoDB的连接进行了优化。MongoDB的连接其实分为两部分第一部分是Mongos对前端的连接第二部分是Mongos对后端的连接有两个关键参数最小连接数参数minConnections 和连接IdleTime参数refreshRequirement的设置对于MongoDB的连接效率非常重要针对这两个参数腾讯云为开发者提供了可计算的公式并建议对于refreshRequirement的参数设置至少是包含两个连接峰值的头。其次腾讯云MongoDB通过读写分离策略减少了慢查询 从而将MongoDB的读延时从官方版的85毫秒左右缩短到10毫秒左右效率提升了将近9倍。 第三通过分片群集提供灵活可扩展的特性从而大大减轻了运维人员的负担。 第四对于令游戏运维非常头疼的库表回档方面 腾讯云MongoDB是唯一提供库表回档的而且可以支持细化到一定级别对运维人员是非常方便的功能。第五在监控方面腾讯云MongoDB也是唯一支持表级监控表级监控内容比较分散有CRUD操作监控请求时延监控包括10毫秒到50毫秒50毫秒到100毫秒以及超过100毫秒三种力度。请求个数也有监控还有比较重要的容量和记录监控腾讯云MongoDB都支持。针对目前火热的小程序开发李晓慧介绍了腾讯云的TCB小游戏解决方案该方案可以为开发者提供完整的云端流程弱化后端和运维概念无需开发者搭建后端服务。开发者可以直接使用小程序的 JS-API 进行核心业务开发即可实现小游戏快速上线和迭代还可以根据自身需求创建多个环境以用于开发、测试及生产等多种场景并且每个环境的资源是独立且相互隔离的。这种方案特别适合个人开发者、初创团队对于成熟团队的项目的话可以立即使用。腾讯高级工程师陈曦则分享了Elasticsearch的调优经验陈曦首先介绍了Elasticsearch的基本原理。Elasticsearch是一个搜索引擎它具有高性能、高可靠、易管理、易使用的特点有很强大的综合分析能力可以通过脚本进行复杂的计算。Elastic Stack是集数据采集、清洗、存储、可视化为一体的完整解决方案。ES有比较广泛的应用领域主要的应用场景是日志分析、数据分析统计还有全文检索功能比较强大。Elasticsearch的数据模型如下图所示。陈曦表示Elasticsearch的调优主要基于三个层面降低存储成本、提升集群稳定性和提高集群性能。在降低成本方面也包括两方面一方面是对字段存储的优化另一方面是对字符串字段的优化在对倒排索引、行存、列存三个字段的存储中对于CPU监控这种场景可以通过关闭索引字段来进行存储优化对于统计分析场景只需列存即可。而对于日志类场景则仅需行存即可。通过这样的优化行存的成本能够降低40%左右。 对于字符串字段的优化也是分两部分text和keywordtext可以做分词然后对每个词都可以高排索引拿一个词可以搜到一整段话。如果仅仅是想把文本存进去并且取出来的话后面都是可以去掉的。至于keywork可以模糊匹配但不能拿一个词搜索整段话由于它不需要做分词所以速度会比较快。要提升集群稳定性方面最有效的方法就是控制index的分片数陈曦介绍一个index是由多个shard组成的一个index有三个shard分布在不同节点上一个请求写几百个几千个文档在里面当请求到达ES某个节点的时候会计算对于几千个文档分别属于哪个shard然后这个时候会放到BulkQueue存储中。BulkQueue的默认值是100如果shard数量过大BulkQueue就很容易被填满shard数值过小的话就无法充分利用节点资源陈曦给出的建议是100GB以下的index设置3-5个shard但这并不是可以适用每个场景具体还要看业务的实际情况。在提升集群性能方面分为四方面一方面是控制index的副本数量另一个是优化持久性参数第三方面是写入方式优化第四方面是查询优化。而腾讯云是通过云管平台、降低存储成本、提升集群稳定性和提高集群性能等四方面对ES进行优化。首先腾讯云的云管平台是一套自动化运维系统、它本身可以预装一些插件包括中文分词插件、SQL插件、数据导出插件等系统会自动按照一定时间间隔创建index而不需关心有多少index。此外还通过Kibana、跨机房容灾、Dedicated Master等方式提升集群的稳定性。 在降低存储成本方面通过倒排索引内存优化、冷热分离对存储成本进行优化。实际上在查询过程中有一个词典和一个倒排表ES为了加速查询过程把词典华分成一个个的block前缀相同的词可以放到block里面前缀相同的前缀数会指向block而实际上在这个小范围内一个匹配词典就可以了这样就可以快速加大性能。 冷热分离是指ES本身可以对于每个NODE加一些属性在里面通过ES的一个命令可以强制把一个表所有数据搬迁到指定的一个属性的节点上面所以在集体上架的时候可以同时上两个用户可以在WEB界面配置哪类的index多久之后降低使用成本腾讯云后台就有这样一个调速器会发送命令从而降低用户的使用成本。 在提升集群稳定方面通过集群均衡策略优化、自研限流功能使得集群稳定性得到较大的提升。 集群均衡策略是指在通常情况下随着业务的增长ES默认会把大的Shard放在小的节点上面新增的shard读写压力就会比较大这种情况下就会造成单点过热的问题腾讯云对此进行了优化去掉重复上报的shardfailed信息从而大大降低了Master的压力。 自研限流功能主要针对ES本身对于JVM判断不准在写入量大的情况下会导致OOM的情况而推出的为此腾讯云做了一个曲线限流的功能。通过这个优化有效避免了OOM情况的出现。 在查询优化方面腾讯云ES系统可以根据查询到的数据量进行预估超过一定量就不做缓存从而避免了加载过大缓存拖慢查询速度的问题。 来自珍爱网的DBA周耀荣最后一个登场他分享了珍爱网云数据库的使用经验周耀荣首先谈了自己对于云数据库与DBA之间关系的看法并以几个实例说明了云数据库的作用他认为 云上提供的服务就是重复性高的工作的标准化和自动化。对于DBA来说周耀荣认为应该考虑六方面的问题第一是从业务整体运维的角度就是说当购买云服务的时候差异性体现在哪里需要考虑清楚。第二是异常的处理就是DBA需要具有异常处理的能力这样才能在云数据库时代仍然有竞争力。第三是性能容量管理DBA要从整个业务的视角对性能容量进行管理。第四是故障透视能力故障的透视能力是作为DBA管理员很重要的能力。第五架构规划比如高可用架构要怎么拆分容灾如何考虑这都是需要DBA考虑的问题。第六SQL上线审核。当公司业务发生变更的时候怎么把控上线的风险会不会对数据造成误删除这些都是需要DBA考虑的。周耀荣总结到规划类的、优化类、主动管理类的工作在未来比较长的一段时间内还是需要DBA解决的因此DBA大可不必担心失业问题。周耀荣最后给到场的观众分享了珍爱网目前在数据库方面正在做和计划要做的事情谈到了涉及的相关技术并为到场的观众展示了珍爱网在数据库建设方面的成果。 最后沙龙活动在一片热烈的掌声中落下了帷幕而腾讯云社区技术沙龙活动将会继续延续下去而下一站将是对此感兴趣的朋友们可千万不要错过啊1.微信群添加小编微信color_ld备注“进群姓名公司职位”即可加入【云计算学习交流群】和志同道合的朋友们共同打卡学习2.征稿投稿邮箱liudancsdn.net微信号color_ld。请备注投稿姓名公司职位。推荐阅读技术争鸣七大主题报告四大技术专题AI开发者大会首日议程全回顾AR热度不在? NO! 三星开发者大会将聚焦AR人工智能进行时人类的未来与未来的人类为了释放AI在边缘计算的力量 英特尔又出手了全面梳理百度世界大会李彦宏又新吹了几个牛腾讯将创办腾讯云启商学院马化腾任荣誉院长扎堆出海的抖音、今日头条、UC 头条们后来怎么样了创业者老板被程序员「割」了韭菜唇语识别技术的开源教程听不见声音我也能知道你说什么月薪30k项目分红哥大教授带你探索“区块链AI”抓紧时间投简历吧手慢无她说真的没事别嫁程序员扫描以下二维码即可参与“2018 年 CSDN 软件开发者大调查活动”我们还为你准备了精美的礼品华为 nova3 智能手机、小爱智能音箱、CSDN 背包、CSDN 定制T恤、数百本技术图书等你来拿参与即有机会获赠还等什么快来试试吧↓↓↓ 点击【阅读原文】查看「CSDN云计算」往期精彩内容
