网站设计制作开发公司,中国网站优化公司,手机网站建设行业现状,帮企业外卖网站做推在11月6日召开的Techo开发者大会上#xff0c;腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。
经过10年的积累#xff0c;腾讯大数据平台的算力资源池目前已有超过20万台的规模#xff0c;每天实时数据计算量超过30万亿条#…在11月6日召开的Techo开发者大会上腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。
经过10年的积累腾讯大数据平台的算力资源池目前已有超过20万台的规模每天实时数据计算量超过30万亿条随着资源管理平台核心TKE和分布式数据库TBase正式对外开源腾讯正在成为大数据领域开源全面的公司。 标题腾讯云副总裁、腾讯数据平台部总经理蒋杰腾讯的数据量在短短5、6年时间增长了几千倍目前每天产生的数据量超过几十万亿条数据在产生。为了应对这种爆炸式增长腾讯走出了一条技术引进改造自研的道路。经过长达十年的不断升级和完善腾讯大数据平台已经经历了四代演进。针对最新的大数据和人工智能技术发展趋势正在下一代计算平台中探索批流融合、ABC融合以及数据湖和联邦学习等前沿技术。 十年四次升级 建立“大数据AI”双引擎技术架构 腾讯内部目前有超过100万台服务器腾讯云联合所有业务部门利用业务空闲资源打造一套算力共享平台该算力弹性资源池有20万的规模大数据平台每天有1500万的分析任务、30万亿次的实时计算量并且每天数据接入条数达35万亿条数据。此外腾讯云的分布式机器学习平台能支撑1万亿维度的数据训练。
能支撑如此大规模数据的接入和运算是腾讯在大数据技术领域超过10年的积累其核心的大数据平台已经完成了三次迭代。从以Hadoop为核心的离线计算时代到以Spark、Storm、Flink为核心的实时计算时代再到如今的机器学习和深度学习时代腾讯从无到有研发了分布式的机器学习引擎Angel以及一站式AI开发平台智能钛TI用来解决数据训练和算法的问题。目前腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。
据了解为支撑海量业务发展腾讯已经建立了“大数据AI”的双引擎技术架构其中最底层为分布式存储层存储结构化及非结构化数据第二层是资源调度层做CPU、GPU和FPGA的管理第三层是计算层、分析层、数据采集层而顶层则是业务应用层。通过四层完整的技术架构自下而上为腾讯的整个应用生态保驾护航保障亿万用户能安全顺畅地享受到腾讯的优质服务。 从局部优化到自主研发 在实践中不断创新 从开始的技术引进、局部优化到如今的自主创新腾讯的大数据技术在实践中不断完善、不断创新。十年前腾讯管理几百个节点都很困难调度性能差规模上不去。为了有效解决计算能力和大规模集群问题腾讯自研调度器相对原生调度器性能提升150倍大大提升了集群可扩展性。2016年腾讯打破Sort Benchmark四项世界纪录标志着算力已经达到世界领先水平。
由于腾讯20万台弹性资源池的机器分布在多个数据中心不同地区甚至是不同国家为了降低数据使用壁垒去年自研了漂移计算引擎SuperSQL作为统一的数据分析入口通过智能CBO优化器将计算下推到分布在各地的异构数据源数据分析性能提高很多倍并且数据量越大优势越明显。
数据应用越来越深入腾讯对数据挖掘的需求也越来越多。随着模型的增大最初用来做数据训练的MR、Spark已经不能满足上亿的模型维度的需求。2015年初腾讯开始自研高性能的分布式机器学习平台Angel采用PS架构能支持10亿维度。目前Angel发展到3.0版本能支持万亿维度也可以兼容Spark、PyTorch、TensorFlow等生态进一步降低了使用门槛。此外Angel今年还新增了对深度学习、图计算等的支持。 腾讯正成为大数据领域开源全面厂商 技术迭代不断加速企业建设大数据平台和机器学习平台不仅成本高昂而且缺乏相应的专业人才面临种种问题。
云时代这些问题得到有效解决。目前腾讯已经把网络、存储、数据库等IaaS能力大数据、机器学习等PaaS的能力以及上层的图像、语音、NLP、BI等SaaS能力通过腾讯云对外开放。在大数据和AI两个领域腾讯推出了以TBDS和智能钛TI为首的双引擎。让每个企业不需要专业的大数据和AI团队也能便捷用上领先的大数据和AI的能力。
另外腾讯也通过开源和广大开发者共享技术成果。从2014开始将第一代平台的核心腾讯版的Hive进行了开源2017年更是把第三代平台的核心Angel开源。今年腾讯加快了开源的脚步在内部推开源协同的战略推动下腾讯所有的技术栈后续会越来越开放。
2个月前腾讯在ApacheCon 2019上面向全球开发者正式宣布开源自身核心平台——实时数据采集平台TubeMQ并捐献给Apache社区。此次在Techo大会现场再次重磅宣布正式开源资源管理平台核心TKE和分布式数据库TBase随着在大数据开源领域的开源逐步加速腾讯正在成为中国大数据领域开源最全面的厂商。
“目前已经有数百万的开发者在腾讯云上构建应用相信后面会有越来越多开发者加入我们将和所有开发者一起共建云上的应用生态”蒋杰表示。
