注册微信号的网站,寿光网站建设推广,上海专业做网站公司电话,网络营销和网络推广有什么区别简介#xff1a; Ganos空天数据库引擎是李飞飞带领的达摩院数据库与存储实验室研发的新一代位置智能引擎#xff0c;采用了平台即服务、多模融合、计算下推和云原生全新处理架构#xff0c;为政府、企事业单位、泛互联网客户提供移动对象、空间/时空、遥感多模态数据混合存储…简介 Ganos空天数据库引擎是李飞飞带领的达摩院数据库与存储实验室研发的新一代位置智能引擎采用了平台即服务、多模融合、计算下推和云原生全新处理架构为政府、企事业单位、泛互联网客户提供移动对象、空间/时空、遥感多模态数据混合存储、查询与分析服务解决空天大数据使用流程复杂、使用门槛高、应用效率低等问题主要应用于城市管理、交通物流、自然资源、航空航天、物联信息等领域。 作者 | 谢炯 来源 | 阿里技术公众号
Ganos空天数据库引擎是李飞飞带领的达摩院数据库与存储实验室研发的新一代位置智能引擎采用了平台即服务、多模融合、计算下推和云原生全新处理架构为政府、企事业单位、泛互联网客户提供移动对象、空间/时空、遥感多模态数据混合存储、查询与分析服务解决空天大数据使用流程复杂、使用门槛高、应用效率低等问题主要应用于城市管理、交通物流、自然资源、航空航天、物联信息等领域。
一 研发背景
1 什么是空天大数据
随着移动互联网、位置感知技术、对地观测技术的快速发展以移动对象、空间/时空、遥感为代表的空天传感数据呈爆发式增长成为新基建和数字化框架的重要基础。
狭义上空天数据aerospace data主要来自天基和空基例如基于天基平台的GNSS全球导航卫星系统数据等基于空基平台的航拍影像、视频数据等。广义上我们将空天数据定义为涵盖Spatial空即地理空间和Space天即宇宙空间的地海空天各类与位置相关数据也即本文所述空天大数据。天问一号携祝融号在火星的登陆将为我们传来大量火星遥感影像和空间信息使大家最直观地感受到来自地球之外的空天大数据。
以空天大数据助力疫情防控为例我们可以利用人、车等移动对象的轨迹数据进行传播源追踪和疑似人群排查利用海事通信卫星提供的AIS船舶动态数据分析疫情对港口贸易的影响等等。在这类复杂分析场景中遥感影像、移动对象、物联通信等新型空天传感数据的快速获取、存储与高效查询处理为智能辅助决策起到关键作用。
2 空天大数据面临的挑战
数据结构复杂多样难以管理
相比文本型、图片型等非结构化数据空天数据具有类型多样、高度非结构化、大单体、多维度等特征给一体化数据管理和高效查询检索提出了极大挑战。例如
百万点构成的超大复杂实体化对象如长江/黄河、复杂建筑、灌区等千万点构成的移动对象时空轨迹如车、船、航空器等超长行程数据万亿像素构成的大范围高分辨遥感影像连续覆盖……
数据动态变化要求更高维度计算
传统空间数据更多表达静态地物如河流、铁路、建筑等。随着移动APP和IoT等技术的普及应用以时空移动对象人、车、船等为代表的动态数据越来越多。记录位置的动态变化需要系统提供时空建模、时空索引和时空分析计算能力。
大数据和大计算场景性能不佳
非结构化、大对象和动态性决定了空天数据的潜在大体量单表小则千万级大则百亿级场景将不再是个别现象因此对系统的存储成本、弹性能力、读写效率必将提出更高要求。当大规模数据要求提供在线化分析计算服务传统基于离线预处理如离线切片方式的生产和应用流程将面临极大挑战。
智能化需要多模态数据融合管理
文本、时序、时空、图Graph等多模态数据融合管理和跨模查询分析是智能化的重要基础。单模态数据智能化无法有效支撑复杂业务知识发现并真正探寻事物发展规律和趋势因此从局部模型专业化到全局多模通用化仍存在较大鸿沟需要从基础数据库形态层面发展全新架构。
3 达摩院首创空天数据库
针对此达摩院研发新一代空天数据库引擎Ganos从数据库与存储最底层解决空天数据的一体化管理、快速交叉融合查询以及高效分析处理挑战实现 “亿级规模”地物多边形全图快显访问、秒级效率的“千万平方公里”遥感影像时空动态拼图等先进技术具有“一体化融合管理、大规模弹性服务、核心技术自主可控”等优势可面向空、天、地、海全域空间应用成为支撑天联网和星云产业发展的新型数据库基础设施。
二 空天数据处理架构演进
1995年美国ESRI公司为了满足2B市场需求革命性地推出了空间数据引擎SDE——基于商业关系数据库中间件架构建模我们的世界影响了一代人。20多年过去了随着Hadoop、Spark以及分布式数据库技术的演进分布式空间数据引擎近年来得到了快速发展在一些大规模空间数据分析处理场景中发挥了独特优势。那么空间数据处理的下一站演进将去哪里
我们认为将空天信息处理融入PaaS服务Platform as Services以云数据库与存储平台为核心解决空天数据的实时接入、高效存储和弹性计算是支撑时空信息云化架构向纵深发展的必然趋势。我们将之分解为平台即服务、多模融合、计算下推和云原生四个方向的架构演进。
1 平台即服务
与传统基于通用数据库作为存储外置中间件形态的时空数据引擎方案不同新一代空天数据库引擎采用了平台即服务架构。该架构将空天引擎内置于云上OLTP数据库、OLAP数据仓库、数据湖以及NoSQL多模数据库等不同系统相比传统方案在易用性、计算效率和事务一致性处理上存在先天优势且未来基于SQL标准化也能快速建立跨平台能力。通过产品组合可提供从在线处理到在线分析到离线计算再到离线存储的海量空天大数据解决方案。 2 多模融合
传统时空数据处理以地理信息系统GIS或遥感图像处理平台软件为核心强调平台专业性但由于专业强化形成专业度较高的半封闭系统也会反向弱化和其他多模类型数据的融合处理能力从IT视角出发空天/时空数据将去中心化成为各类多模数据的一类并借助数据库建立普适关联降低专业门槛。通过普适关联将空天/时空数据与通用数据、文本、时序、图等多模数据一体化管理和处理这种泛时空求解能力为大数据复杂业务开发将提供更大灵活性。 3 计算下推
计算下推是IT技术架构演进的一个重要趋势。将空间信息系统业务关键计算下推数据库与大数据系统让计算离数据更近可以直接利用存储计算下推、并行化处理、GPU/FPGA异构计算加速能力实现数据本地计算不但能降低因大量中间结果数据网络传输导致的IO延迟也能简化业务逻辑并整体提升业务系统性能。 4 云原生
新一代空天数据库引擎脱胎于公有云并由公有云走向混合云。我们认为数据要灵活算法补算法要灵活算力补。举个例子传统空天数据应用需要大量做切片预处理导致数据应用不灵活。为了数据更灵活业界引入了预先静态缓存动态切片的算法但这种算法显然很复杂那么算法要灵活必须要算力补即借助足够弹性的算力来保障单一算法的纯粹性和普适性。这就要借助云原生能力。云原生的本质是资源池化即通过资源池化实现弹性服务和规模化。云服务的本质就是算力经济。 三 积沙成塔做好底座
遵循平台即服务、多模融合、计算下推和云原生理念达摩院设计并实现了新一代空天数据库引擎Ganos。我们在全球空天网格编码、空天多模并行查询处理、大规模矢量图形快显加速等空天数据处理关键技术上不断探索并技术突破建立了数据存储、索引、查询、分析和可视化支撑技术体系在空天多模态数据处理核心领域形成差异化竞争力。
1 整体框架
Ganos取名于大地女神盖亚Gaea和时间之神柯罗诺斯Chronos代表空间时间的深度结合。它并不是一款独立的云产品而是一套空天\时空\多维数据存储与处理解决方案。系统底层提供了支撑海陆空天大规模数据存储能力包括批量快速写入、空天多维表达、多维时空索引和冷热多级存储等上层提供数据管理、交批查询处理以及分析计算与操作。 Ganos能力框架 从产品结构上Ganos将空天数据处理能力融入云关系型数据库RDS PG、云原生关系型数据库PolarDB、云原生数据仓库AnalyticDB PostgreSQL、多模数据库Lindorm、数据湖分析DLA基于产品组合构建空天数据库大数据一体化底座。进一步联合AI Earth达摩院发布的首个泛自然资源行业AI引擎、OSS对象存储、以及微服务框架等技术生态体系为用户构建免切片存储、时空一体、动态计算、智能分析全新架构的云原生空天大数据平台提供了核心能力支撑可广泛应用于城市管理、自然资源、应急管理、交通物流等不同行业。 Ganos生态系统 2 空天多模与全球网格编码
单一化模型已无法满足当前数字化新场景应用Ganos从底层开发空天多模型引擎已原生支持10多大类空天数据的存储、查询和分析计算。在此基础上基于与多模数据库Lindorm集成实现键值、宽表、时序、时空、搜索、文件等多模数据的一体化管理和处理。 空天多模型引擎 在此基础上Ganos基于GeoSOT全球网格剖分理论结合PolarDB引入了一种全新的网格数据类型geomgrid支持空天对象打码和网格对象计算等操作。空天网格码是在GeoSOT地球空间剖分理论基础上发展出的一种离散化、多尺度区域位置标识和度量体系。该体系的核心是用一种新的方法将地心至地上6万公里的地球空间剖分成数以兆亿个大小不等、多尺度、高精度的网格群同时为每一个网格赋予全球唯一的整形数标识编码。系统可以无缝对接北京大学/旋极伏羲基于GeoSOT的网格大数据平台构建空天数据库-网格大数据一体化解决方案。原生网格数据类型的引入增强了空天数据库的统一时空标识能力、空天计算加速能力和基于地球空间网格的数据共享能力。 空天网格剖分示意图 3 存计分离与多级并行计算加速
基于PolarDBGanos采用了存计分离和分布式共享存储架构。计算和存储分离将原有一体化设计的数据库的各个组件计算/内存/存储完全解耦形成可独立伸缩的资源池。同时为降低存计分离带来的写入和查询延迟共享存储系统采用了端到端全用户态模式融合了 RDMA、SPDK 等高速数据传输和存取软硬件技术以及与近存储计算介质硬件结合的DB处理下推技术有效地提升了空天数据的存储规模和处理能力 。
基于存计分离和分布式共享存储架构Ganos进一步将两阶段查询增强和多节点并行查询有机结合实现了跨节点空天并行查询处理框架。其中三管齐下提升数据并行处理性能
采用分布式共享存储架构有效避免了数据跨节点shuffle带来的网络IO开销基于拓扑索引的粗过滤加精过滤两阶段查询大幅提升空天数据查询过滤性能跨节点并行、节点内并行加算子级并行形成多级并行框架。经权威第三方测评结果表明2亿级图斑做叠加分析并统计面积采用80进程并行计算10分钟即可出结果中间包含裁剪出7800万超大结果集比传统大数据方案至少快出一个数量级。基于两阶段优化的跨节点并行查询处理框架 4 在线动态处理服务智能化
要构建空天“最强大脑”需建立基于动态计算的数据组织、处理和应用模式。以大规模遥感影像数据处理为例Ganos综合了PolarDB的空天索引、Lindorm的空天多模存储和DLA Serverless Spark的空天计算能力为用户提供单元化存储、时空化组织和像素级调用的全新处理框架
单元化存储是以每一幅遥感影像为单元进行存储避免做更多预处理从而使数据保持足够灵活时空化组织是以原始影像为单位将时间维植入体系结构从而使全量数据实现时空结构化像素级调用设计理念上保留影像原始像元矩阵确保每一寸像元信息精准包括时间、空间和光谱信息为智能化服务提供最鲜活原料。用户划定时间和空间边界等条件Ganos借助弹性云算力实现动态并行计算。
内部测试表明基于Serverless弹性算力千景遥感影像时空拼图效率可达到秒级革新传统预处理/预切片模式为按需时空动态并行计算模式节约至少50%存储和处理成本。 栅格动态时空拼图 5 视算统筹打破服务边界
空天数据是一种特殊的图形图像数据同一套数据存储结构很难同时满足快计算和快显示需求以往用户从查询分析计算延伸到数据大场景显示不得不经历数据结构大幅重构的复杂“熵增”过程。
Ganos的另一个设计述求是将计算和可视化进行统筹数据库端将存储、计算和可视化打通。大体量的矢量数据入库后即时全局浏览一直是业界难题额外找工具切图发布又耗时耗力。Ganos通过设计一种稀疏矢量金字塔索引客户端可通过与数据库实时交互秒级快速可视化访问“亿级规模”多边形地物而创建索引仅需分钟级并消耗仅5%的额外存储空间。这种以数据库索引结构加速数据可视化方法极大降低了用户数据处理复杂度。这一技术可方便集成到PGAdmin等数管工具亿级几何图形数据导入即可秒级全局可视化解决了传统数管工具针对矢量大图“可查不可看”的历史难题。 基于【捷泰天域】提供亿级多边形真实数据实现终端快显访问 四 构建生态解决方案
1 DB for AI——与AI Earth数知地球集成
阿里巴巴达摩院自研AI Earth数知地球产品用于融合分析卫星影像、无人机影像、实时视频流、气象数据、IoT数据等多源地球观测数据智能解译和实时感应建筑、土地、植被、河流等多种目标信息的变化为地球环境生态多领域提供专业服务。
Ganos和AI Earth数知地球正在用创新的方式解决地球空天地海数据的管理与计算问题。这是一种DB for AI的产品组合Ganos提供智能化存储与管理大规模空天数据能力向上服务于AI Earth数知地球支撑变化检测、地物分类和目标提取等操作实现智能化计算分析与信息深度挖掘。 DB for AI: Ganos AI Earth 2 DB for GIS——与GIS平台共建
GIS平台是空间数据处理的专业化系统。DB for GIS将改变二十多年来GIS与通用数据库的传统对接模式。GIS的核心空间计算下推以云原生数据库为核心的云基础平台实现计算加速将是下一代GIS系统可行的发展路径。Ganos已与SuperMap超图、ArcGISESRI、MapGIS中地等主流GIS基础平台软件完成兼容适配可支撑已有GIS应用的无缝迁移。GIS平台空间数据引擎可以将空间查询和分析计算下推Ganos利用空天数据库引擎的多模处理、高效索引、多级并行计算、资源弹性调度实现计算加速。反过来Ganos也借助GIS平台工具实现地上地下、室内室外、陆地海洋全空间建模与数据展现。 DB for GIS架构 与GIS平台的深度融合践行了阿里云的被集成战略顺应了“一横一竖”的平台策略。通过“一竖”完成垂直整合即GIS平台借助技术集成Ganos提升了系统整体性能而Ganos借助GIS平台拓宽了空间业务能力宽度。“一横”是通过品牌叠加共同构建了平台生态为强GIS数字化领域应用提供专业的全空间数字化解决方案能力。“一横一竖”整合扩大了空间数据服务的“面积”。
五 支撑空天地海应用
站在云端传统空间信息行业的边界在逐渐打破空天应用的涵盖不断外延。空天数据库引擎Ganos已在天、空、地、海全域空间获得应用覆盖自然资源、灾害应急、交通物流、航空航天、出行、安全、农业、海洋、水利、科教以及社交、健身、游戏、O2O等不同行业方向。 与飞常准及超图合作实现25亿全球航班轨迹点毫秒级时空回放与展示 支撑阿里巴巴数字星球引擎使PB级大规模遥感数据的时空动态组织、按需逻辑拼接和像素级快速访问调用成为可能 在农业信息化领域以国源科技为代表的农业地理大数据平台通过2B业务转型依托Ganos管理地理信息资源融合云上的人工智能和大数据技术为现代化农业建设提供农业大数据新型产品和服务 与DataV集成为阿里云三维城市渲染引擎专业版DataV.CityPro提供空天数据检索和多维地形分析能力 与北大旋极网格大数据平台建立深度对接建立网格数据库大数据一体化解决方案 联合达摩院数知地球AI Earth形成遥感大数据管理与AI一体化智能平台应用于自然资源、环保、水利等领域省部级应用 赋能全球自然灾害风险大数据服务平台完整支撑全球地震、台风、滑坡、林草火灾等12个灾种时空过程建模和风险图发布 六 结语
在云计算和大数据时代空天大数据将成为位置智能化的基础核心。让卫星“天眼”更显神通让IoT设备更具智能需建立全新的空天数据组织、处理和应用模式。未来我们将位置信息、时态信息和多模态信息实现进一步融合管理和处理拓展计算智能并将场景延伸到深地、深海、深空。Ganos将始终立足云空天基础设施能力建设解构空天多模与编码、分布式并行计算加速、在线动态处理等关键技术为企业构建空天“最强大脑”提供基础云服务推动时空云计算作为数字化转型的基础引擎普惠到更多客户。
原文链接
本文为阿里云原创内容未经允许不得转载。
