做网站除了域名还需要什么,wordpress从指定目录获取文章,公司网站域名怎么取,有域名了如何建网站8月16日#xff0c;KaiwuDB 受邀亮相第十四届中国数据库技术大会 DTCC 2023。KaiwuDB CTO 魏可伟接受大会主办方的采访#xff0c;双方共同围绕“数据库架构演进、内核引擎设计以及不同技术路线”展开深度探讨。 以下是采访的部分实录 ↓↓↓
40 多年前#xff0c;企业的数…8月16日KaiwuDB 受邀亮相第十四届中国数据库技术大会 DTCC 2023。KaiwuDB CTO 魏可伟接受大会主办方的采访双方共同围绕“数据库架构演进、内核引擎设计以及不同技术路线”展开深度探讨。 以下是采访的部分实录 ↓↓↓
40 多年前企业的数据量还没有如此庞大会选择把关键业务数据放在关系型数据库中。随着软硬件的发展计算和存储成本不断降低数据库技术进入新的发展阶段。以 IoT 场景为例这是一个由各种新技术相互交错形成的“泛”行业看似宽口进实则门槛高。
IoT 与 5G、工业 4.0、工业物联网、车联网、人工智能等形成“组合拳”为各个行业的数字化转型赋能但也导致业务系统的复杂性攀升。当数据来自时序、文档、空间、图等多个数据源各数据源又面向不同的数据库系统、接口服务等导致最终的数据采集不完整出现数据不一致的现象。
所谓“术业有专攻”专库专用在一段时间里成为“专宠”但也造成了数据孤岛。通常情况下一家企业使用的关系型数据库是 A 家时序数据库又是 B 家同时可能还有 C 家的 AI 平台。这意味着企业需要拥有身兼多种技能的开发运维人才否则一旦涉及到新功能及多个产品之间的协同就会影响迭代速度。
如果能用一套数据库去替换原来多套不统一的数据库类型来解决业务的复杂性以及开发和运维成本不断攀升的问题那企业面临的很多问题也将迎刃而解。多模数据库可能就是一个好答案。
一、多模架构用“小而全”为用户减负
“从传统关系型数据库主导市场到 NoSQL 数据库兴起再到时序数据库图数据库向量数据库百花齐放今天的多模数据库旨在化繁为简支持多种数据模型统一管理。”魏可伟表示多模式数据库是数据管理系统不断演进的结果多种类型的数据库系统混用带来的开发和运维压力使得企业不得不做出新的选择。
当前业内主流的多模数据库可大致归结为 2 种路线
粘合式
即大而全的平台式多模把各种不同类型的数据处理引擎包括关系引擎集成在一起上层以中间件的形式对外提供一个统一接口进行数据的分发、转换等工作。
然而现实情况是很多大而全的功能在实际业务场景中根本用不上。具体到上层的引擎为了实现多模的能力粘合式路线会把所有引擎都拉到一个中间层再做数据搬动给开发和运维带来极大的压力。
生长式
以关系型数据库为主为了处理图、文档等 NoSQL 数据扩展出新的能力同时除了关系型数据库厂商图数据库、空间数据库厂商也在基于自己的本行向新的能力扩展这都属于生长式。
这种模式相对适用于有一个传统应用又想基于原有应用做少量的异构数据扩展的情况。比如金融行业的交易处理是日常应用同时需要扩展少量的空间数据库满足业务需求这种业务场景更适合用生长式数据库。
但生长式多模架构在后期扩展能力上存在一定局限此前主体数据库架构可能根本就不支持新功能的扩展。
有别于上述两种情形KaiwuDB 自研原生多模系统从顶层设计上天然具备横向融合、纵向精专的能力。依托就地计算、原生 AI等核心技术KaiwuDB 快速支持时序数据、内存数据、关系型数据等在同一数据库中统一汇存、处理及 AI 智能分析。
其中最大特色是统一的 SQL 语法、统一的数据库命令、统一的开发运维工具、统一的安全认证能够将不同数据库功能充分融合实现一库多用进而降低用户的使用成本用魏可伟的话说就是“小而全”。
KaiwuDB 一直在思考多模架构到底做到何种程度才能满足 IoT 领域用户的需求而又能做到简单易用
首先时序数据处理的性能和扩展能力一定是高要求同时要想办法降低存储成本其次要提供符合 IoT 数据特征的数据管理工具以及数据库自治的能力最后要以分析为先、以 AI 为先能够从海量数据中挖掘出数据价值为 IoT 业务场景提供专业的服务。
此种背景下KaiwuDB 给自己的定位是在设计上有横有纵打造一个“又融又专”的多模架构。
“融”
指针对不同的数据类型开发能发挥最大性能的专用数据处理引擎例如 KaiwuDB 时序引擎利用“就地计算”技术可以实现每秒数百万级的数据写入毫秒级响应千万级数据的分析查询。
“专”
指融合多个专用引擎以支持 IoT 业务场景在多个专用引擎之间形成统一的优化统一的管理同时又根据 IoT 数据处理的特点建立“快速通道”。
比如在数据写入场景中KaiwuDB 会优先考虑时序数据的写入性能并做优化从而实现专用时序数据库的时序数据处理性能。
这就与传统“粘合式”和“生长式”的数据库形成本质区别。再有KaiwuDB 会为时序数据到关系数据分析的内部“ETL”流程“打开快车道”从而提升性能并节约资源。
站在用户本位以数据库创新技术简化应用让产品功能无限地贴近用户需求是 KaiwuDB 这一新生代数据库持续努力的方向。
二、AI 引擎为企业插上数智化升级翅膀
相较于对热点大模型技术的趋之若鹜KaiwuDB 强调“原生 AI”的概念。
在 AI for DB 方向上KaiwuDB 利用 AI 引擎实现数据库自治。比如在时序数据场景中会以时间维度进行数据的聚合分析这背后的一项关键技术是智能预计算——即利用 AI 大脑预判用户会对哪些内容会做聚合分析提前把结果计算好。 这一能力可快速实现结果反馈极大程度提升性能在生命周期管理方面也可以通过 AI 对用户使用情况做出预判如果 AI 预判用户对某一类数据不再频繁调用可以自动挪到冷存储上降低资源占用。
在 DB For AI 研发方向上KaiwuDB 的“原生 AI“概念并非要打造 TensorFlow 这样的 AI 框架即不是去做算法而是在多模的框架下拥抱生态为用户提供更好的消费 AI 的能力这种能力可以概括为“ModelOps in DB”。
ModelOps in DB 的理念是让用户通过数据库更好地使用 AI通过数据处理拉近数据科学家和开发运维人员的距离。通过 ModelOps in DB能够提高模型训练和预测的性能保证数据的安全性更能够利用数据保持模型的准确性。
例如当用户把数据拉出到 AI 平台训练模型用来做业务预测刚开始的时候可能准确率很高但随着时间的推移会产生漂移现象也就是模型准确率会下降。这是因为用来训练模型的数据已经过时而通过原生 AI 的能力在数据库中就可以第一时间发现漂移现象做出相应的反应。
“大模型给我们一个非常有意思的启发如果自然语言变成数据库角度的一个接口多模会变成一个更自然的选择。” 魏可伟分析道SQL 生态已经发展了几十年有很多成熟的工具构建是一个关键的数据库接口。站在大模型的风口我们再去看多模的未来各种专用引擎会在自然语言的交互方式下统一起来人人都可以在低门槛的状态下使用数据库这应该会是多模的终极形态。
在 KaiwuDB 技术团队中有很多开发人员致力于 AI 方向解决 AI 落地的消费性问题这也是 AI 和数据库结合的关键点。
未来KaiwuDB 除了在异构数据跟 AI 结合的方向上进行努力在用户关注的重要场景上持续发力也会关注大模型的支持比如引入向量数据库在现有的多模架构上再多出一模。
今天在 AI 技术推动下数据处理能力也在不断演进诸多企业正在把数据对象里的信息抽取无论是什么对象或者无论是什么实体所包含的语义信息都可以变成一个向量然后再进行分析。而嵌入向量功能的数据库会更好地支持 AI 应用。因此AI 和数据库正以相互作用的形态共同进步释放用户的数据消费潜力。 写在最后
未来不管是多模数据库本身的发展还是与 AI 的结合KaiwuDB 都将坚持回归用户本位专注于打造一款“小而全”的数据库产品。在面对国内外用户对于产品性能与产品性价比“既要又要”的挑战下KaiwuDB 也将不忘初心秉承“匠心”精神走出自己的新路子给市场与用户带来更多的可能。
