创业做网站APP开发,河南建设厅网站查证,在xampp下搭建本地网站,中国中小企业网官方网站2024 年伊始#xff0c;Kyligence 联合创始人兼 CEO 韩卿#xff08;Luke#xff09;分享了对 AI 与数据行业的一些战略思考#xff0c;以及对中美企业服务市场的见解#xff0c;引发业界同仁的广泛共鸣。正值 Kyligence 成立 8 周年#xff0c;恰逢 AI 技术应用风起云涌…2024 年伊始Kyligence 联合创始人兼 CEO 韩卿Luke分享了对 AI 与数据行业的一些战略思考以及对中美企业服务市场的见解引发业界同仁的广泛共鸣。正值 Kyligence 成立 8 周年恰逢 AI 技术应用风起云涌之际我们特此公开 Luke 在去年的一封全员信一起回顾 Kyligence 在 AI 浪潮中的关键思考与决策 在 AI 领域蓬勃发展的背景下Kyligence 将如何布局发展战略 面对已经深度使用的众多客户如何依托 AI 技术创造更大的价值 深耕多年的大数据 OLAP 技术如何在 AI 时代持续发挥优势
我们非常欢迎行业内的朋友们进一步交流和探讨。我们期待各位在评论区留下您的见解和体会 初心聪明的神兽
2016 年我们创立了 Kyligence名字来自 Kylin 和 Intelligence我们希望让神兽变得更加聪明。在当年 Strata 北京大数据峰会上Intel 和 Kyligence 一起成了“Intelligence”组合那时候经常开玩笑说Intel 抢了“智能”的前半个单词我们抢了后半个单词一起成就智能世界。 之所以要让神兽变得更加聪明是因为 Apache Kylin 最初在 eBay 内部诞生时我们就希望这个项目能够让数据分析师、业务人员等更加简单、方便、高效地使用数据。当年 eBay 内部分析师想要分析 Hadoop 上的数据要经历非常痛苦和冗长的过程而 Apache Kylin 的出现使得分析师能够轻松且快速地访问 PB 级别的数据。 当时数据仓库依然是主流而 Hadoop 为核心的数据湖生态缺乏标准、好用、高性能的 SQL 引擎更无法和 BI 系统进行方便快速的交互。在打败了内部其他 6 个相关项目当时 eBay 内部发起了 Fast Analytics Program同时验证 7 种技术方向后Kylin 成为 Extreme OLAP on Hadoop为分析师提供了方便快速的 SQL 交互能力并在2014年开源并贡献给Apache 软件基金会随后在2015年成功毕业成为中国团队主导贡献到 Apache 软件基金会ASF的第一个顶级开源项目获得了全世界大量用户的认可。因此我们创业后的第一个 slogan 就是“释放大数据生产力”希望能够借助 Kylin 打下的开源社区基础在企业级市场通过提供提升效率让客户充分释放大数据的潜力。 随着 Kyligence 的成立我们一直在提升性能、交互能力以及易用性等方面不断进行投入使得我们的商业版产品越来越好用。性能方面开源的 Kylin 已经在各大互联网厂商的大规模数据上得以验证。而在走向商业客户尤其是金融客户的过程中我们更深刻理解了“生产力”的重要性。在传统的数据仓库方法论中需要大量的 ETL 和建模工作来搭建数据基础架构而 Kyligence 大大改变了这里的工艺流程使得用户只需关心数据模型而无需再建立各层 Summary Table 等整个跑批、调整的过程可以通过配置方便进行无需大量的开发、测试、上线等复杂流程。 2018年在美国市场的实践让我们意识到我们需要在“自动化”方面进行更多的投入。原因是我们发现在和美国的客户进行交流、POC 和上线的过程中我们依然需要大量的人工来完成底层模型的调优这在美国这个人力成本极高的市场显然不合适。同时我们也发现服务国内客户上线的过程中太多重复性的工作其实可以通过自动化来完成。经过艰苦卓绝的几轮迭代多次推倒重来创新是建立在不断的假设验证改进的过程上在2019年我们发布了 AI 增强引擎应该也是行业首个通过底层机器学习能力进行自动化建模和推荐的 OLAP 系统。
2019年 Kyligence 用户大会 Luke 演讲图 正如右图所示Kyligence 后续几年持续在自动化、智能化方面的不断探索解决指数级增长的数据和应用与极其短缺的产业工人数据分析师之间的矛盾。我们深知依靠诞生于70年代的传统数据仓库方法论已经无法适应支持每个人用好数据必须依靠创新才能进一步帮助我们的客户完成数智化转型。 从不断迭代底层技术平台从 Hadoop 技术栈到 Spark 技术栈再到云计算和全面容器化我们同时也在不断强化 AI 增强引擎方面的能力。随着越来越多客户使用该能力改善模型建设、系统调优和平台运维等后我们一直在思考如何能够更上一层楼如何从后台系统往前走一步如何通过引入新技术、新方法来改变人类使用数据的习惯。 2021年 Kyligence 用户大会演讲图 浪潮AIAIAI
2022 年底随着 ChatGPT 的横空出世通用化 AI 突然展现了巨大的能力短短几个月使得全世界为之疯狂大部分技术型创业公司如果没有和大模型相关的产品和战略可能就得开始担忧自己是否会 AI 淘汰了。2023 年初我和管理层分享过一个我的思考Its not our game, but we have to be part of the game, and we need to build our own game. 我们身处技术发展的漩涡大模型并非我们的战场但 AI 最有可能帮助我们突出重围。 Its not our game
这句话说的是基础大模型这不是我们的 Game。工业级的大模型需要三样能力算法、数据和算力。算法其实不难很多开源的大模型早就存在近一年我们看到更多开源框架跑分也越来越好。那么壁垒主要就在数据和算力了。 微软的布局使得 OpenAI尤其是微软版本能够访问过去互联网所有公开数据以及微软多年积累的独特且私有的数据集例如 MSDN、MSN、Office、LinkedIn、Github 等。在世界范围内几乎也是独一无二了即使是 Google、Facebook 等企业也都不算是企业级数据集。这使得 OpenAI 能够学习的知识是独一无二的这是一个几乎不可逾越的壁垒除了微软没有哪个公司拥有更多的互联网级别的企业级数据集了。 而算力实实在在的“钞能力”则是另一个无法逾越的壁垒。尤其是 OpenAI 使用 Azure 平台不仅使得 ChatGPT 能够如此惊艳Azure 平台也能够更好地提供大模型的云能力再加上难搞到的 GPU这里的壁垒高不可攀。 而这些不是我们的领域。 Be part of the game
革命性技术出现的时候需要一些定力没看清楚就冲上去容易成为先烈。而我们其实从未停止 AI 这方面的思索和试验从各个团队到非正式的兴趣小组一直不断探索。我们也深知 Kyligence 必须参与这场革命但在没有找到可以和 Kyligence 产品现有积累与优势有机结合的触点之前我们选择待时而动即使当时已经完成了 ZEN 对 OpenAI 的集成。有不少创业公司甚至一夜之间变成了“AI 公司”但却讲不清楚 AI 与其产品的故事这当然不是我们的选择。 那么到底如何结合 Kyligence 产品优势与大模型的强大能力如何规划一条别人难以复制的产品路线图我们过去多年积累的一方面是 OLAP 技术的深度在性能、并发、自动化、安全、高可用等企业级能力方面我们一直处于行业领先位置另一方面我们的客户群体是中国最具商业价值的客群以大型银行、保险公司、跨国公司、头部制造业、药企等为主付费能力、付费意愿和合规性等都很高。我们的信心在于 Kyligence 有坚实的技术和用户基础。基于我们的优势积极将 AI 能力引入以提升我们的产品和能力用我们的方式参与这个 Game。 而如何将大模型能力结合进来将是我们的 Game。 Our game
Copilot in Kyligence Zen是我们的答案。 Kyligence 从 2021 年开始战略转型一直在往指标平台方向演进以充分发挥我们在 OLAP 领域的积累。通过指标平台我们向上支持用户直接充分使用到 Kyligence 的底层能力向下延伸有强大的向量化计算底座作为支撑。随着 Zen 路线图的日益清晰我们在指标平台这个领域取得了相当不错的进展从客户项目的落地到 Gartner 等权威报告等都可以看到我们正引领着这个赛道。 同时随着基于 OpenAI 的原型推出统一的指标平台将是支撑 AI 在企业级数据和分析领域落地的基础。在和大量行业先锋客户交流后他们一致的反馈是Copilot 这一形式正是他们想要的、甚至急迫看到落地的 AI 在数据和分析领域的应用。 2023年 Kyligence Zen 预览版产品截图 Copilot 是人机交互新方式其使得普通人能够以自然语言的方式来指挥计算机系统完成复杂、专业的工作。以前必须依赖专业团队例如数据分析师、数据工程师等完成的工作现在完全可以由普通人Copilot 来完成大大降低了人类使用数据的门槛也将改变人类使用数据的习惯。而指数级增长的用量和数据积累则要求底层平台能够拥有强大的能力同时以自动化、最低的成本来运行而这些正好都是 Kyligence 长期积累的优势。 而此前朝着指标平台的及时转型也为我们今天快速构建满足市场需求的 Copilot 奠定了基础。在既定的战略方向上我们大大缩短了从早期市场进入主流市场的时间加速跨越鸿沟。举个例子假如说 OLAP 到指标平台是从 1 到 10 的改变从普通汽车换成了跑车而叠加了 Copilot 能力则是增加了氮气加速器直接从 10 拉到了 1000已经是另一个数量级的变革。 使命释放数智生产力
数智化转型的关键是赋能每个人使用数据进行运营和决策。 当前经济形势严峻全球企业尤其是中国企业都在降本增效都要求更精细化的运营希望数据赋能到一线业务每个人都能用数据来加速日常的业务流程和决策。帮助客户通过指标平台和 Copilot 赋能每一个员工释放数智生产力是我们一直以来的使命。数据与人工智能必然能够大大提升生产效率甚至进一步改善生产关系。 人机交互新模式
首先Copilot 带来了人机交互模式的突破自然语言能被理解、机器能够推理从而达到了人和机器之间的和谐这是 OpenAI 等大模型带来的颠覆式创新。 回到企业的日常作业或业务决策往往需要获取来自多个系统的不同数据和指标。传统的报表和仪表盘模式是难以让普通员工快速、简单使用的。在实践中我们往往会听到业务的抱怨为了获得 3 - 5 个指标不得不在各个系统间切换一级一级找到某个报表摘出某个指标然后再在另一个平台重复再重复而业务使用数据的终点永远都是在 Excel。 在过去的 3 年里Kyligence 一直致力于构建统一的指标平台而今天通过 Kyligence Zen无论大型企业还是中小型企业普通员工都可以方便、快速地检索和使用指标用户无需关心背后具体的系统、项目、报表如果说 Cube 是对底层数据的索引那 Zen 则是对业务指标的索引。 而基于 AI 的 Copilot更使得这个能力有了指数级的提升。近一年里我们看到 AI 已经可以完成各种语言理解、内容生成、自动转化等几乎无需专业人员的参与就能实现以往各种复杂的任务这是人机交互的革命。 在数据分析领域以往需要将需求描述给分析师分析师再解释给数据工程师再由数据工程师完成复杂的数据处理这个模式已经被颠覆。通过自然语言将需求描述给 CopilotAI 能够准确理解意图并转换为系统调用基于系统结果再进一步完成解释。以往需要几天、几周以及多个角色的复杂工作在今天只需要几句话在几分钟甚至几秒钟内即可完成这个改变非常的惊人。 而对于客户而言他们正期待这样的交互能力能够早日赋能到业务一线让员工充分利用好数据从而在激烈竞争的市场上建立新的竞争壁垒。面对同样的问题一个公司用 Copilot 即可快速利用数据完成决策、采取行动而另一个公司可能还在提需求、拉数据、做报表那结果不言而喻。 回到 Kyligence 的产品架构Kyligence Enterprise 提供企业级 OLAP 能力Kyligence Zen 构建统一指标平台而 Kyligence Copilot 将提供基于大模型的 AI 能力在 Copilot 里企业可以充分调用指标推荐、分析、转换、归因等各种能力同时还可内部使用和对外提供数据产品。 统一指标平台
基于 OpenAI或者其他大模型能力构建 Copilot 从技术上来讲并不难。然而让 AI 能够在企业级客户落地统一的指标平台是重要的先决条件。对于企业级用户如果没有统一定义和标准的指标如果指标不能被追溯和治理容易产生“幻觉”的 AI 是无法被信任的。Kyligence Zen 提供的企业级指标平台能力从指标目录到指标定义、展现、归因、标签等都是赋能 Copilot 的基础。 通过指标平台构建企业共同的数据语言Common Data Language再由 Copilot 完成普通用户的触达和赋能让他们能够方便地和系统交互一方面大大增加了业务用户使用指标的意愿满足他们个性化的数据需求同时也能大大减少数据分析师、BI 工程师、数据分析师等的投入。 ZenML - 指标定义语言
Zen Metrics LanguageZenML是 Zen 指标的定义语言也将是指标定义的标准。 在大部分企业内已经现存一批业务或者管理的指标沉淀了多年积攒的业务逻辑、分析思路以及管理思想等。这些数字资产广泛存在于 BI、报表以及其他各种不同的系统中。如何更好地管理、复用和释放这里的潜力是大部分组织面临的挑战也是很多组织不愿意迁移的顾虑。而 ZenML 通过统一的语言和自动化的工具能够帮助客户快速将已有数据资产迁移到指标平台进一步释放数据的潜力。 ZenML 详细定义了指标的相关信息基于 YAML 文件格式得以在各个系统之间用同一种格式对数据和指标进行交互并能够使用版本管理工具进行版本管理解决指标定义历史的难题。将复杂的指标定义通过文件形式交互这相比完全基于数据库定义指标的系统带来了更开放的能力使得用户可以非常方便的从其他系统中抽取并转义成 ZenML也能支撑企业通过导出、导入功能和指标模版能力在企业内外部复用或者迁移相关业务逻辑和数字资产大大加速系统的上线时间。 高性能 高并发 OLAP
高性能是指标平台的刚性需求。瞬息万变的世界用户不愿意花长时间去等待 AI “loading”只有为业务用户提供快速的数据获取和分析能力才能让组织在激烈的竞争中构建业务敏捷性以应对各种变化和挑战。 高并发是满足支持大规模/全量员工使用数据的基础。大量的业务用户涌入将对系统的并发度有非常高的要求一个国内企业几万乃至几十万员工是正常的规模为如此多的用户提供指标分析能力高性能和高并发 OLAP 基座几乎是唯一的选择。传统的数据仓库架构一方面无法应对可能产生的高成本 SQL比如笛卡尔积从而影响整个系统的性能甚至宕机另一方面大规模的并发访问一向也是其弱点在多个节点之间交换大量数据更容易导致系统崩溃。而高性能高并发却一直是 Kyligence OLAP 的领先优势通过分布式架构在高性能和高并发场景上见长在 AI 场景下可以预见我们架构的优势也将进一步拉大。 Kyligence 多年来不断积累、打磨企业级 OLAP 引擎经历了国内外各种规模、各种苛刻场景的考验是当前行业内领先的系统。基于此推出的智能一站式指标平台 Kyligence Zen 和 AI 数智助理 Copilot 更实现了新的人和数据交互模式也是我们脱颖而出的竞争壁垒和巨大优势。 沉潜蓄势厚积而薄发不鸣则已一鸣则惊人 数据产品 - 构建生态
Kyligence Copilot 将直接能够帮助用户创建各种数据产品可视化、报表、仪表盘、Excel、看板等都是 Kyligence Zen 中数据产品的能力数据产品以更开放的形态将指标和工作流、应用等结合起来完成特定的业务逻辑或管理需求。同时可插拔的架构也支持引入第三方为客户提供各种基于数据和指标的能力来不断丰富我们的生态和边界。 系统可自动创建 Dashboard 借助 AI 的能力用户只需和 Copilot 进行对话就能几秒创建一个仪表盘这将大大提升数据和分析的效率把大量的重复劳动转为 AI 去实现真正提升生产力。 成本、成本、成本
赋能普通用户大规模使用数据最后的挑战一定是成本组织需要在赋能更多人使用和相应成本之间衡量 ROI。随着数据湖、云计算等技术的迭代今天使用大数据、数据仓库的成本已经越来越低。而我们所代表的 MOLAP 流派一直以空间换时间的方式为客户提供成本最优的解。考虑到 AWS S3 1TB 的费用不过几十美元一年可以看到我们产品和架构在大规模使用场景下的成本优势。 同时我们的不断创新我们的向量化 Spark 能力已经能够提升至少一倍的性能也就是说在同样场景下能够节省一半的资源这对于绝大部分客户来说都是一笔非常可观的费用节省。成本优化也将是我们长期的研究方向。 方法论边使用边治理
数据仓库是一个专业且复杂的工程没有合适的方法论是无法顺利帮助客户实现价值的。 在过去传统的数据仓库方法论强调为决策层提供决策支持的能力DSS决策支持系统其假设是决策只需要由管理层或少部分决策者进行但数据必须精准传统制造业确实只需要中高层完成决策即可。同样因为技术的限制即使是昂贵的硬件也无法满足广泛的数据需求。从而在过去几十年数据仓库领域一直遵循的是“先治理后使用”的方法论。组织建设数据仓库等系统是为了更好地利用数据进行决策通常都会先找咨询公司等先把数据治理咨询做好定义规范最后再开始建立系统周期往往需要6-9个月甚至用年计算。 比如谈到指标先要起个咨询项目来规划指标体系明确每个指标的加工口径然后才是考虑引入 IT 系统进行落地。但这种方式通常有几个问题 咨询费时费力反且不讨好管理层长时间看不到效果 IT 很难牵头负责业务部门配合困难过程涉及数据主权、管理归属等而业务部门没有动力去做牵头做这样的系统 咨询项目的结果通常以固定的文档呈现而指标定义和系统则是不断变化和发展的遇到新的业务发展形态还是会出现口径不一致的指标所谓的治理永远是跟在业务后面“擦屁股”费力且不讨好。 而现在新的商业、经济模式、企业形态不断涌现传统的数据仓库理论已经无法满足当前日益增长的人人用数需求。如 2021 年 Kyligence 用户大会提到 数据已经无法全部集中化必须通过连接的方式来访问全部内外部数据 使用数据的人群从少数据决策者和分析师转变成了一线人员、人人都需要使用数据 从 Known 到 Unknown大部分人是不知道组织有什么指标可以使用也不知道如何使用需要系统告诉他们发生了什么如何解决等。 在和全球诸多大型客户多年的合作后我们发现必须对数据仓库方法论进行创新和突破新的技术和能力也使得新的方法论成为可能。“边使用边治理”是我们的方法论Kyligence 的 AI 增强引擎则使得这种方法论得以实现。 将混乱转变为有序即是治理。以往治理需要专家以及消耗非常多的资源和时间来完成另一方面以往的数据仓库极其昂贵无法忍受混乱带来的冗余和浪费。而今天以对象存储为核心的云计算模式存储已经极其低廉能够接受非常大程度的冗余大大增加了个性化服务的可能性。而得益于技术的发展尤其是 Kyligence 的 AI 增强引擎能够自动化地从 SQL 历史和使用记录中推荐出相关模型从而自动化完成治理大大降低了“治理”的难度。 通过“边使用边治理”模式我们已经帮助各行各业的客户在支持业务灵活性和系统良好治理之间实现动态平衡。 结语世界级软件公司
通过 Kyligence Copilot 带来的人机交互新模式将使用数据的门槛降到了最低数据和分析行业正在迎来巨大的变革。通过统一指标平台使得基于 AI 的人和数据之间的交互得以轻松实现通过高性能、高并发 OLAP 引擎和其他技术使得能够支撑大规模的数据使用实现人人用数帮助我们的客户释放数智生产力这是我们的使命。 成为一家世界级软件公司点击查看原文一直是我们的愿景。从创业伊始我们就相信来自中国的技术一定可以改变世界一定可以被全世界的客户认可。在过去几年我们已经赢得了大量的国际客户和国内客户验证了我们的产品和技术。随着 Kyligence ZEN 和 Copilot 的推出我们正实现“把简单留给用户把复杂交给 AI”更有信心进一步引领数据和分析行业。道阻且长但充满了各种可能和荣耀希望和各位同学一起我们齐心协力积跬步智千里 CEO Luke
2023-06-05 关于 Kyligence
跬智信息Kyligence由 Apache Kylin 创始团队于 2016 年创办是领先的大数据分析和指标平台供应商提供企业级 OLAP多维分析产品 Kyligence Enterprise 和智能一站式指标平台 Kyligence Zen为用户提供企业级的经营分析能力、决策支持系统及各种基于数据驱动的行业解决方案。
Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售、医疗等行业客户包括建设银行、平安银行、浦发银行、北京银行、宁波银行、太平洋保险、中国银联、上汽、长安汽车、星巴克、安踏、李宁、阿斯利康、UBS、MetLife 等全球知名企业并和微软、亚马逊云科技、华为、安永、德勤等达成全球合作伙伴关系。Kyligence 获得来自红点、宽带资本、顺为资本、斯道资本、Coatue、浦银国际、中金资本、歌斐资产、国方资本等机构多次投资。
