网站开发修改端口,雄安做网站价格,学做网站需要学哪些软件,东莞招聘网站有哪些阿里江湖中#xff0c;很多资源和技术#xff0c;如神龙服务器、OceanBase、POLARDB等等#xff0c;在开源、自研、云这三架马车上形成协同效应#xff0c;既是内功也是武器。
“不是任何一朵云都能撑住这个流量。中国有两朵云#xff0c;一朵是阿里云#xff0c;一朵叫…阿里江湖中很多资源和技术如神龙服务器、OceanBase、POLARDB等等在开源、自研、云这三架马车上形成协同效应既是内功也是武器。
“不是任何一朵云都能撑住这个流量。中国有两朵云一朵是阿里云一朵叫其他云。”11月11日晚阿里巴巴集团CTO行癫张建锋不久前表示。
除云之外要深入了解阿里的武功路数必须知道每个花名背后的武器与绝技。旭卿、观涛、鸣嵩、日照、褚霸、孤星、龙现、行易、镭铭11月18日在阿里举办的“双11 背后的技术力量”沙龙活动这9位阿里技术大牛展示了路数全面解读双十一背后的武功秘籍。 整个天猫的成交额是2684亿零点订单峰值达到54.4万笔/秒。这是华山论剑的结果。
自研数据库POLARDB和OceanBase分别处理8700万、6100万笔/秒峰值请求、实时计算处理峰值每秒25.5亿笔、计算平台单日处理970PB数据、12亿笔物流智能化等……2019年双11期间阿里巴巴打破了诸多技术纪录。
核心交易系统100%迁移到云第三代神龙服务器定义IT行业新的计算范式
双11一个个闪亮的数字的背后有一个比较重要的事情那就是今年阿里把核心交易系统100%迁移到阿里的公共云上这是史无前例的、世界级的挑战。
要实现100%的迁移必须提到阿里云的神龙服务器。神龙架构负责人的旭卿张献涛介绍“神龙服务器是阿里云近三年来投入巨大的资源研发的新一代适合云计算的计算架构的服务器具备高弹性、高稳定和高性能的能力。”
阿里云从2016年开始投入相关研发2017年10月发布了第一代神龙云服务器。三年内阿里云从自研芯片开始、到自研设备Hypervisor、最后成功自研神龙服务器打通芯片、软件、服务器硬件之间的断层首次实现了云计算行业性能、资源的零损耗。 阿里云智能基础产品事业部 张献涛旭卿
为什么阿里云要研发这样一个神龙服务器
旭卿谈到在过去十几年间整个服务器的架构没有太大的变化。因此在云计算、甚至整个IT系统层面业界都面临历史遗留问题比如性能损失。
究其根本原因就是做芯片、服务器、软件的厂商之间没有太多的协同缺乏一个顶层的设计每一个领域每一个厂商都是希望把自己的东西做得很强但做强之后对整体系统效率的提升不一定有帮助这是我们可以感受到的。
从这个角度来看我们需要对整个计算架构做一些改变、革新和提升提升整体的计算效率这是阿里做神龙最初的初衷。
为什么是阿里云做成了这件事
“规模到达一定程度的时候才会真切的感受到它是一个需要解决的问题你可能将来只有10台、20台、甚至200台、2000台服务器的时候资源还跑不满在这种情况下没有太大的动力去投入上亿资金解决这样一个问题而今天阿里云的整体规模已经让我们必须直面这个问题并且解决这个问题。”旭卿解释道。
旭卿认为今天神龙正在定义IT行业新的计算范式它不仅仅能实现阿里云的核心系统100%上云解决虚拟化的性能、资源的开销并且也能够实现软件、硬件完美融合它的综合表现在很多业务场景下都是超越物理机的性能表现。
说到物理机旭卿还介绍了第三代神龙架构它可以提供的性能非常高“我们网络的性能可以做到每秒2500万PPS的转发这个已经是业界标杆的5倍存储性能其实也做到了100万IOPS是业界标杆的3倍所以有了这样一个东西之后我们承载双11大促这种业务的话其实已经比物理机的性能要高很多了。” “当然最后我们还是认为云是IT的集大成者真正的云计算厂商有责任也有义务引导今天软硬件方面的一些创新回馈未来的IT技术变革打下基础。”旭卿表示。
AliNLP平台赋能700多个核心业务客服AI搭载KAN-TTS技术处理70%问题
在语音和视觉方向阿里也有所准备。达摩院实验室的雷鸣就介绍了阿里的客服AI和视觉AI。
这是基于阿里巴巴真实客服人员的声音定制的电话客服AI基于今年发布的新一代语音合成技术——KAN-TTS技术这个技术可以使语音合成的效果和真人录音的接近程度达到97%。阿里通过技术可以把整个定制周期压缩到20天录音周期就2天左右这有效减轻了人工客服的负担。 这种AI会不会完全取代人工客服呢其实这种AI并不是完全替代人工而是人工跟AI协同工作。AI可以解决常规问题剩下30%的问题则需要人工客服来解决这是一个比较好的人机协同模式。
从数据来看阿里巴巴AI每天调用超过1万亿次服务全球10亿人日处理图像10亿张日处理视频120万小时日处理语音55万小时日处理自然语言5千亿句。
达摩院在自然语言处理、智能语音、视觉计算等领域夺得40多项世界第一同时自然语言处理在SQuAD机器阅读评比中精确阅读率首次超过人类智能语音入选MIT Technology Review2019年全球十大突破性技术。这些技术在双十一的贡献有以下三个方面。
首先是自然语言处理方面通过AliNLP平台赋能淘宝、天猫、盒马、国际化等数十个BU的700多个核心业务。双十一重点支持23个业务方包括阿里妈妈、阿里云、小蜜、菜鸟、新零售、天猫精灵等在双十一当天在线调用量超过11亿。
其次是客服AI阿里小蜜承接了淘宝天猫平台97%的在线服务需求换算过来相当于8.5万名人工客服小二工作量其次阿里小蜜今年推出了多项新功能包括直播小蜜、基于图片的智能问答、多样性文本生成。另外阿里小蜜并不是一个单方向的能力更多的是综合了语音、语言、视觉、翻译等能力而且小蜜与用户的交互已经朝着文本、图像、语音等多模态的方向发展。
在视觉方面拍立淘日处理图片10亿张今年双十一视觉AI对拍立淘做了技术升级从一图一物到一图多物的升级比如之前只识别一个元素到今天全身穿搭一次性识别而且这个技术在计算机视觉领域顶级会议上ICCV 2019上赢得一个冠军。
飞天大数据平台和飞天AI以技术实现商品和消费者最优匹配
AI不仅帮助商品识别、客服与顾客之间的沟通同样最重要的消费关系中也有大数据和AI的支撑。
阿里云智能计算平台事业部研究员关涛观涛表示双十一的挑战从商务角度看是商品和消费者最优化匹配的问题往下则是大数据和AI能力的挑战
从数据来看今年双11数据量达到970 PB这大概是一个什么量级央视网所有的电视剧和新闻节目的数据量是80 PB左右对比来看阿里巴巴通过大数据和AI技术分析出来大概是央视数据量的10倍以上。
这样的数据能力背后的平台是什么就是阿里十年前开始做的飞天大数据平台。在双11中阿里使用了全自研的一整套平台平台包括超过10万台规模服务器集群10数据中心、10EB级别存储、每天千万级别的大数据和AI计算作业。
在AI方面关涛介绍了后台的流计算系统它是一个数据实时计算系统通过实时计算的模式能够给系统、商家和消费者非常实时的数据的能力。流计算系统可以通过实时计算和AI预测支持商家的商业决策。据统计去年2018年双十一的时候这样的实时推荐给商家的智能决策90%都会被商家采用。
实时计算的系统层面能够支持TPS、每天有超过万级别的在线实时在跑每天处理超过10 Trillions of Records包括实时分析、实时预警、实时搜索、在线机器学习、广告实时推荐这些都是大数据和AI在做的。
另外还有飞天AI平台通过处理音频和视频元素不仅可以做到千人千面对于同一件商品还能提供上千种不同的视频封面。
20个工程师贷出3000亿贷款网商银行融合算力、算料、算法形成核心竞争力
商家能够上新产品和作出商业决策的一大前提是资金到位这就涉及到网商银行的业务了。
“网商银行其实大家不一定多么熟悉我去之前都不清楚在做什么。”蚂蚁金服网商银行研究员褚霸说到。
网商银行成立于2009年前身是阿里小贷。10年后的今天网商银行总共贷出去3000亿的贷款而这3000亿贷款就是20个算法工程师完成的。褚霸认为“20个人就能很漂亮的把这件事完成我觉得科技是最大的功臣。”
能够完成这样一个业绩的网商银行褚霸却笑称其为“傻子银行”“因为网商其实是一家银行不是做技术的我们是一个技术的整合者前面几位介绍那些技术都是被我们很好的去整合到今天的系统里面去。”
但其实并不是“傻子”在新的技术比如说像云延伸的技术引入方面网商银行其实还是走在前面的。
还有实时反欺诈技术这样一整套的技术能够将不良率做到1%或者更低。从金融风险看业界不良率是5%。“因为今天我们有各种各样的大数据AI的计算能力还有非常优秀的算法工程师能够把这些算力、算料、算法串联起来形成一个比较核心的竞争力。”褚霸解释道。
在交易中不可或缺的是记录交易的数据库其中一大重点的POLARDB不容忽视。
阿里云智能数据库事业部资深技术专家曹伟鸣嵩介绍了阿里巴巴数据库发展的历史经过三个阶段第一个阶段是使用IOE使用Oracle到了2015、2016年开始自主研发POLARDB再到今年100%上云所有阿里的核心的交易还有库存等等业务都会使用POLARDB以及我们的生态就是物流云都在POLARDB支持今年双十一。 鸣嵩介绍道我们2010年做了去IOE这件事情2013年开始起我们把所有的Oracle系统下掉换成AliSQL今年我们做了POLARDB而POLARDB在今年双十一达到8700万次每秒的这么一个峰值TPS在它的背后我们有在VLDB、SIGMOD、ICDE上发表的创新技术。
IOT技术、自动化技术和智能算法实现数字化和智能化的仓储物流
而在物流领域那些我们看的见的包裹中都蕴含着哪些看不见的技术。
双11的包裹量从1.52亿到今年的12.98亿大概提升了8倍然后双11包裹签售破亿时间点从原来的9天到今天我们只需2.4天就可以完成一个包裹的投递。
“今年我们双11整个备货量足可以塞满1000个鸟巢或者16000架A380飞机。菜鸟到现在为止成立了大概6年的时间这6年其实菜鸟已经把科技塞到未来的每个毛细血管。”菜鸟北京技术中心资深技术专家陈罡花名行易说道。 首先在包裹产出也就是仓库上。“菜鸟”用三个技术来达成数字化即IOT技术、自动化技术和智能算法确保实现数字化和智能化的仓储能力。
例如每年双十一仓库会招收很多临时工但因业务熟练度问题临时工培训和熟练完成工作需要耗费大量时间而今年IOT技术就包含了一个lemo设备能够让一个临时工在几分钟之内学会怎么操作通过这个设备临时工可以在一天之内达到99%的熟练度。
11月12日阿里巴巴的董事长兼CEO张勇就在仓库里花了5分钟时间使用了Lemo他亲自点选了一些订单并且在10分钟之内就把整个工作流程做完了。
目前菜鸟在全国的自动化流水线已经超过了5000公里自动化设备比去年增加了50%以上。在无锡还有一个机器人的生产线在驿站这边“秒取快递”技术自助可以通过刷脸取快递等一系列的。另外电子面单使用率超过99%大幅度的减少了整个中国的物流成本。
绿色数据中心、开放式网络架构、RDMA高性能网络、弹性跨域访问和自研数据平台5项绝技纵横江湖
以上大多技术都需要基础设施去支撑。在基础设施的人眼中双十一是什么
阿里云智能基础设施事业部资深技术专家 唐陵波花名龙现谈道“我们认为双十一就是华山论剑阿里毫无疑问是世界第一。但是我们认为所有的武功都不是一天练的创新的内功和赋能的武器才是我们在华山之巅拿到的利器、基石。”
阿里是怎么练内功的呢这就要看阿里绿色数据中心里一个比较创新的技术叫液冷服务器这个技术在2016年上线了1.0版本现在是2.0已经在阿里做了大规模的部署。今年双十一液冷技术能够把每万笔交易量的耗电量降到2度左右。如果所有的交易都放在液冷上实现的话双11当天可以节约15万度左右的电。 目前阿里巴巴数据中心已经遍布了200多个国家和地区。这样分布广泛的数据中心被看作是易筋经一样的肋骨是驱动阿里一切商业行为和商业流量的基础不仅能够支持双十一的峰值而且能够提供弹性的服务。另外液冷技术近期将会开源。
练完内功再来看屠龙宝刀也就是阿里的自研服务器它能够优化阿里应用场景促进产业生态研进。在存储场景中龙现重点介绍了AliFlash它已经广泛运用在存储场景里面通过硬件的创新和软件技术的结合阿里现在做到了软件一体化上下的协同设计在性能和功能上都有突破性的创新。
在阿里百万级的服务器规模背后怎么让资源能够充分利用龙现说道“我觉得极致弹性和自动化是我们能够支撑这么大规模的服务器放在我们自己的数据中心里面的一个最重要的原因。”
还有被龙现比作倚天剑的自研交换机自研交换机就是阿里在网络领域的一个重大的技术创新实际上是就是网络界的去IOE它承担了大部分的核心流量、网络流量能够让大家感知不到网络的减速或“晃动”使双11平滑过去。 另外RDMA网络也是一个重点技术今年像存储计算分离之后的云盘和核心数据库的核心交易量在去年的基础上发展了3倍所有的这一切就是阿里在数据中心网络里面做的几个比较突出的工作。
供应链中也蕴含着太极拳。“大家都知道太极拳是以静制动的放在企业层面它更多强调的是人的协同。从当初集团决定双11上云使用神龙到最后上线只有两个月时间供货、备货、测试都非常紧张但是供应链的同事通过优化库存、优化流程然后去帮助供应链厂商优化资源共享极大的提高了供应链的交付情况取得了较为满意的结果有效的支持了双11上云这个目标。”龙现解释道。
总结来看支持云上双十一的硬核基础设施共有5项绝技纵横江湖绿色数据中心、开放式的网络架构、RDMA高性能网络、弹性跨域访问和自研数据平台。
未来将持续拥抱开源拥抱云原生技术以技术效率提升商业效率
在过去十几年电商的发展的背后是技术力量的持续发展电商的发展带给技术巨大的挑战技术的突破和变革也支撑起电商业务规模的不断壮大和商业场景的拓宽。
阿里巴巴淘系技术部资深技术专家洪海花名孤星谈道我们经历了系统架构从集中式到分布式从中心化到去中心化从私有云到混合云今天全面进入阿里云的公有云的过程。在这个业务的高速发展的过程中一个个难题放在了技术人的面前最大的挑战来自双十一在这个巨大的商业盛况的背后是一层层技术的突破。
网络、服务器、存储这些基础设施多年来发生了翻天覆地的变化微服务容器化数据库等一系列的底层技术和框架的持续演进带动了电商技术今天在搜索个性化推荐视频互动消息等各个应用领域支撑和连接着数亿消费者。
解决了业务规模增长的技术瓶颈之后成本的问题摆在了阿里人的眼前。为此电商开始尝试混合云的架构在大促时短时间内租用云的机器进行扩容进而形成了云单元另一方面又利用离线大数据集群和在线集群的错峰互补形成了混布技术。在这个阶段我容器化技术飞速发展Pouch容器和Sigma调度系统成为了整个资源管理调度的基石支撑了数百万的容器的管理和运行。通过这一系列手段应对双十一峰值的计算资源的成本得到了有效的控制。 在成本问题之后阿里借助神龙服务器、云的弹性能力、秒级扩容技术、云端一体研发等实现了更有效率和更加开放。
最后孤星表示“未来我们将持续拥抱开源拥抱云原生技术全面上云。通过技术效率的提升推动商业更有效率生态更加开放让技术创造新商业。” 原文链接
本文为云栖社区原创内容未经允许不得转载。
