网站模块建设中,二级医院做网站,蔡徐坤网页小游戏,兼职网页设计怎么报价简介#xff1a; 2009年#xff0c;阿里巴巴首先提出用分布式架构替代传统商业数据库#xff0c;成功用自主开源的AliSQL支撑双11数据洪流#xff1b;2016年#xff0c;为应对超大规模业务场景#xff0c;阿里云开始自研分布式数据库。十余年间#xff0c;阿里巴巴数据库…简介 2009年阿里巴巴首先提出用分布式架构替代传统商业数据库成功用自主开源的AliSQL支撑双11数据洪流2016年为应对超大规模业务场景阿里云开始自研分布式数据库。十余年间阿里巴巴数据库完成了从商用、开源到自研的发展路径并以迅猛之势形成山河但其在技术上的投入从未停止。 作者 | 津辰 来源 | 阿里技术公众号
《三国演义》第一回“话说天下大势分久必合合久必分。”
这是阿里云原生多模数据库负责人天梧最喜欢的一句话。“就像我们数据库的研发一样从集中式到分布式再到多模的出现和发展。”
2009年阿里巴巴首先提出用分布式架构替代传统商业数据库成功用自主开源的AliSQL支撑双11数据洪流2016年为应对超大规模业务场景阿里云开始自研分布式数据库。十余年间阿里巴巴数据库完成了从商用、开源到自研的发展路径并以迅猛之势形成山河但其在技术上的投入从未停止……
不久前的阿里云开发者大会上阿里云带来了其自研云原生多模数据库Lindorm的最新应用及其背后的故事。 一 互联网时代数据井喷式增长
上世纪70年代末到90年代初是数据库从理论到实践逐渐成熟的黄金时代。
数据库是承载数据的基础好比数字化社会的交通设施概念不新但是刚需。
最开始数据库部署在小型机上解决一些企业内部的信息管理问题。随着互联网web2.0网站的兴起传统关系数据库在处理超大规模和高并发场景时已显力不从心。
同时数据时代管理业务数据已经不是对数据库唯一的诉求了。
从海量数据中挖掘价值成为新的方向数据需求变得多元非关系型数据库NoSQL应运而生。
NoSQL数据库种类繁多最大的特点是——不再局限于关系数据库的事务约束和关系模型。
在这些数据库中有些特别擅长处理文档类数据有些偏向于KV类数据……大神们一个个登场产品越来越垂直和多样。
当然伴随着多样性一个令人头疼的问题也出现了。
比如今天要开发一个应用可能需要四五个数据库来满足需求。对于任何一个应用它会变得很重开发的敏捷度也会变低成本也很高。
类似于过去家里既要买一台电话机又要买台照相机可能还要买专业影机乌压压一大堆不仅笨重还占地方掌握所有设备更是令人抓狂。
到物联网时代产生数据的设备指数级增长应对业务所需的数据库种类也越来越多这种抓狂到了难以忍受的地步。 物联网数据的特点 在这样的背景下多模数据库横空出世。
“多模数据库”的概念最早起源于2012年的全球NoSQL大会上设想一个系统可处理多种类型数据以简化应用数据架构减少开发维护成本。
“业务使用的多套数据库之间有些数据是需要联动的简单看多模就是在其上再封装一层统一调动不同数据引擎来承接最上面的业务。”天梧说。
就这样拥有不同能力的葫芦娃合体成了全能选手——金刚葫芦娃。
二 “用户需要一个智能电视机你却给他一个全家桶”
“我们希望自己把复杂的多套数据库组合封装的业务逻辑做掉打造一个智能的多模数据库。”天梧举了个例子
以前相机拍好照需要通过电脑上传后再用社交软件发出去。有了智能手机拍照后立马就能分享这背后就是IM通信跟摄像的融合。
在天梧的设想里多模数据库要做的就是成为数据库里的智能手机。
当然理想很丰满现实很骨感。
想要把并不糅合的两类数据放在一起并不容易。
对于数据库来说融合相当于自己理解数据特点和需求自己融合数据。
所以原来应用层会碰到的问题都下沉给了数据库团队。
比如光是一个一致性的问题就搞得天梧愁眉不展。 阿里云原生多模数据库负责人天梧 不仅天梧业界所有尝试多模技术的老哥们都累得够呛。大佬的提法虽然不错逻辑上也过得去但实操起来一堆Bug。
琢磨来琢磨去大家默认得那就整个组合包吧。参考业界组合式数据库方案多模数据库孵化版初现雏形。
孵化版最早是在阿里云HBase上做天梧团队把基于HBase搭建的四个数据库组合了起来统一的产品界面看上去似乎有了一个多模数据库的概念。
但其实就像一套家庭智能影音系统电视机是电视机、音响是音响不过都基于阿里云平台有一个统一的购买渠道、产品界面和售后而已。
“实际上本质还是多套系统”。天梧心里比谁都清楚“用户需要一个智能电视机却发现卖给他的是一个全家桶”。
而且这套“全家桶”还有个最大的BUG。
在最核心的数据处理存储这一层这四套数据库是独立的。这点在物联网的场景里尤为致命。
过去Lindorm的客户阿里云IoT平台在公共云的架构方案是基于多套数据库实现的虽然复杂一点但毕竟每套系统背后都有体系化的支撑资源上也能够弹性业务还是能work的但是当用这个方案去做混合云输出的时候就特别痛苦因为每一套数据库的背后都是一个庞大的系统及其资源开销。
为解决这个不同客户公共云用阿里云HBase等多套数据库到了线下混合云不得不换一套小一点的、轻量灵活些的架构且完全得自己维护。每个应用最起码要腾出两个人来专门做数据的处理、衔接成本极大还没法做到可靠性和一致性。
“如果能提供一个公共云混合云线上线下的统一架构将会是一个巨大的提升。”做一个真正的多模数据库的想法在天梧心里生根发芽。
三 “我们背后是整个阿里云分布式系统”
事实证明“缝缝补补带不来真正的技术革新”。
想要做到线上线下统一架构构建真正的多模需要投入大量人力资源从顶层设计到落地推进大刀阔斧进行革新。
“让我们下定决心要去做真正的多模数据库的原始动力正是我们接触到了更多的人他的确有这种需求。”这些迫切的渴求给了天梧极大的鼓舞。
2019年近百人的队伍被拉起来浩浩荡荡投入Lindorm研发。 Lindorm项目团队成员 和阿里很多被业务倒逼催生的庞然大物不同在天梧看来Lindorm的诞生源于技术人对更先进技术的探索和对革新的使命感。
当然力求创新的阿里云给了它生长勃发的土壤。
“iPhone不产生我们世界也活好好的。但它的到来可以让世界更美好。”天梧说这话的时候眼里有微光在闪动。然而现实是残酷的。
造“iPhone”的过程比想象中难得多。
首先是顶层设计。到底要造一个什么样的多模数据库对数据的需求要抽象在哪一层。只往上走一点不能解决业务的问题往下沉太多复杂性会很大。
以在多模开发的过程中最核心要去解决的几个问题为例。
垂类数据库按种类来分多达十几种选哪几个模型进行融合用笛卡尔积原理每多一种模型就会多出海量的处理。第二是选择模型数据后怎么融合
对于这些问题的解法团队经历过不下数十次的争辩。
“这是我们最大的痛点我们不知道是走对了还是走错了。”天梧说如果前面有一个领路的权威者至少我们做得会比较坚定。
纷纷扰扰求而无门几度挫败。
那个如空中楼阁一样飘在天上的多模数据库真的存在吗
天梧不是没有怀疑但他更相信自己作为老技术人的嗅觉以及真切感受到的客户需求。“今天我们做多模革新技术但并不是完全从零开始的。”一次例行周会上天梧环顾团队年轻的同事们说。
在阿里云漫长的12年里今天在做的这件事有宽表HBase上的积累、时序上的积累、云原生存储上的积累。“我们背后是整个阿里云分布式系统。”
无人引路又有何惧这种敢为人先的斗志本来就镌刻在阿里云的基因里。
“没有一个总的设计架构我们就围绕着客户的需求去对。”最终团队选择了业务场景里高频使用的3种模型宽表、时序和文件引擎进行融合。同时将场景聚焦在IOT和APM两类方向。
“我们就追着垂直做这两个大的方向。把这两个方向打通后其实建立的能力是相对也是通用的。”天梧坚信。
四 真正的多模数据库成了
Lindorm团队核心做了两件事情第一统一数据管理。第二研发多模引擎。
首先把整个产品变成统一的数据入口统一数据存储统一交互管理统一但底下数据的组织和流转是多样的。利用多模引擎数据可以从A流到B从B流到C自由畅行。
举个例子Lindorm就像是一个巨大的仓库多模引擎则是多种类型的仓格客人入店想要拿什么东西。只需告诉伙计伙计依据仓格取出所需。
在复杂的IOT场景下伙计勤勤恳恳分毫不差。真正的多模数据库成了
2020年9月Lindorm在万人集聚的云栖大会上被重磅推出。 很快东软睿驰、江铃汽车、长城汽车等多家车企采用了Lindorm产品。
东软云科技云解决方案和服务事业部副总经理傅春江表示“数据是车联网赋能车厂和车联网服务提供商提升客户体验构建技术竞争力的关键阿里云原生多模数据库Lindorm具备极具竞争力的数据存储性价比和技术优势做到了让车联网数据存得起、看得见。” 不久前上海市新能源汽车数据平台引入Lindorm其是全国首个、上海市唯一的新能源汽车市级监管平台已经接入新能源汽车41.8万辆涉及车企95家品牌107个车型777款。由于车辆接入信息种类和结构呈现多样化给平台的运营和维护提出了技术挑战并且推高了成本。为此平台运营方在关键数据库上选用了LindormLindorm的高并发写入、弹性扩展、实时检索分析等能力使得数据的写入查询性能提升3倍以上、成本降低20%以上对于流量突增等情况也可以从容应对很好地支撑了业务快速发展。
如今Lindorm被全面应用于阿里各大业务板块服务的客户多达两千家。
一位原先用BigTable的国际客户称使用Lindorm后的性能效率提高3倍。
这让天梧受宠若惊“在数据库领域BigTable是鼻祖一样的存在。”
不过对于团队而言最高兴的莫过于随着客户体量的增多他们再也不是摸着石头过河了源源不断的用户需求和反馈是最好的指引。
一个做监控SaaS的客户主动找到团队滔滔不绝提了好多需求。
天梧回忆当时的场景就像有人拿了一床大棉被里面裹了各种文件啪丢给你让你去分门别类规划。
“我觉得这个需求也很合理。实际上数据产生的时候它就是这样糅合在一起的。客户希望交给你去处理这样它可以减少很多一致性的工作。”
虽然这些需求今天团队的设计理念和能力还不一定能达到。在天梧看来正是Lindorm的理念激发了用户客观真实的需求。而需求又会推进Lindorm更加的完善和强大。
这本身就是一个相互迭代和认证的过程。
五 Lindorm给开发者带来更多可能
Lindorm的强大能力给开发者带来了更多可能。
“我们把之前应用需要花大力气去做的事情都做掉了。”天梧说“用一句俗话就是把复杂留给自己把简单留给别人。”
对用户而言他不需要再自己处理海量数据而是可以直接利用数据带来的价值提升效率促进生产。
这种简单而朴素的愿景伴随着技术的迭代发展。
从单机数据库到分布式数据库再到如今分而合之的多模数据库Lindorm一个收口可以表达对多类数据统一处理的需求。
同时Lindorm不希望用户在多模数据库与多套数据库之间去做取舍其每一个模型引擎都是原生设计可以当成一个专业的垂直类数据库。
“今天我们定义了什么是多模数据库从顶层设计架构定义这种真正融合和统一。”在天梧看来兼容并济集各家之所长的Lindorm的诞生正是技术进步的必然。
数据库技术发展几十年的每一次跃升都向着越来越强和综合的能力进发。
对于天梧和所有Lindorm研发的技术人来说能在进程中参与和促进这场变革是一件有着莫大成就感的事情。 最后说回Lindorm名字取自西方神话是一条迅猛的飞龙。
“因为我们要处理的都是海量的数据我们不希望处理数据的时候很笨重我们希望是很敏捷的灵动的。”天梧释义这是属于程序员的浪漫。
如今这条飞龙正辗转腾挪风驰电掣直上云霄九万里。
原文链接 本文为阿里云原创内容未经允许不得转载。
