柳州网站建设优化推广,wordpress 不显示菜单,企业网站管理系统 asp,深圳手机网站*本文作者系阿里云云原生微服务技术负责人#xff0c;Spring AI Alibaba 发起人彦林#xff0c;望陶和隆基对可观测和 RocketMQ 部分内容亦有贡献。 *
摘要
随着生成式 AI 的快速发展#xff0c;基于 AI 开发框架构建 AI 应用的诉求迅速增长#xff0c;涌现出了包括 Lang…
*本文作者系阿里云云原生微服务技术负责人Spring AI Alibaba 发起人彦林望陶和隆基对可观测和 RocketMQ 部分内容亦有贡献。 *
摘要
随着生成式 AI 的快速发展基于 AI 开发框架构建 AI 应用的诉求迅速增长涌现出了包括 LangChain、LlamaIndex 等开发框架但大部分框架只提供了 Python 语言的实现。但这些开发框架对于国内习惯了 Spring 开发范式的 Java 开发者而言并非十分友好和丝滑。
因此我们基于 Spring AI 发布并快速演进 Spring AI Alibaba通过提供一种方便的 API 抽象帮助 Java 开发者简化 AI 应用的开发。同时提供了完整的开源配套包括可观测、网关、消息队列、配置中心等。
应用框架发展趋势
应用架构历经了单体架构、LAMP 架构、SOA 架构、微服务架构、云原生架构。
下图左边是典型的云原生应用架构采用了容器 、微服务和声明式 API 技术。其中微服务按照业务模块进行拆分架构做无状态改造将存储下沉到数据库微服务跑在容器上进行按量伸缩从而把研发效率和运维发挥到极致。 右图的 AI 原生应用架构则是基于大模型大脑Agent 驱动手脚进行构建。其中Agent 有三个架构原则
API First开放协同 OpenAI 作为全球最大售卖 API 公司通过 API 快速构建了生态和营收加速创新大模型企业无不例外通过 API 来向外提供服务。事件驱动提升吞吐 不同于经典应用大模型处理速度慢长链接流式推送消耗大因此需要消息解耦提升吞吐。AIOps一键诊断 相比经典应用大模型失败率更高定位难度更大因此需要更智能的诊断工具。
AI Agent 框架发展趋势
AI Agent 的发展大致可以分为以下 3 个阶段
第一阶段2022 年 ChatGPT 3.0 发布震惊世界但是当时数据幻觉数据质量数据格式问题非常多很快行业推出了 LangChain 试图来解决这些问题但是随着模型能力的增强原有的问题逐步得到解决但是由于大模型迭代迅速Langchain 的过度封装反而没有减少工程师们的代码量额外带来了复杂度。第二阶段2023 年随着 ChatGPT 4.0 / LIama 3.0 / Qwen 2.5 的推出模型能力进一步提升早期提示词的价值逐步弱化LlamaIndex 因其更简单的体系抽象更加符合当前的需求。第三阶段2024 年随着多模态发展模型能力持续突破在过去的两年框架以 Python 为主但是对于中国 42.9% 的 Java 开发者会选择是什么来构建 AI 应用呢写 Python写 Java 版 Langchain / LlamaIndex 还是基于 Spring 体系进行构建 Spring AI Alibaba 重磅发布
随着生成式 AI 的快速发展基于 AI 开发框架构建 AI 应用的诉求迅速增长涌现出了包括 LangChain、LlamaIndex 等开发框架它们为 Python 开发者提供了方便的 API 抽象。但这些开发框架对于国内习惯了 Spring 开发范式的 Java 开发者而言并非十分友好和丝滑。因此我们基于 Spring AI 发布并快速演进 Spring AI Alibaba通过提供一种方便的 API 抽象帮助 Java 开发者简化 AI 应用的开发一步迈入 AI 原生时代。 同时我们发布了配套组件更完整的帮助 Java 开发者简化 AI 应用的开发。
Higress作为 AI 网关支持多模型适配、流式输出、请求/Tokens 限流防护、长连接无损热更新支持最小请求数负载均衡并借助丰富的 AI 插件帮助开发者零代码构建 AI 应用守住安全合规底线。OTel基于开源 Open Telemetry Python SDK 进行了扩展发布可观测探针为 GenAI 应用可观测而生能自动获取大模型调用各个阶段的数据全面提升 LLM 应用的可观测性。Apache RocketMQ支持主动 POP 消费模式自适应负载均衡动态消费超时时长适应不同算力消耗的请求实时数据驱动 RAG 架构提升吞吐量和实时性。Nacos Python SDK提升灵活性动态调整提示词模版、算法、相关度等参数。
这一套开源矩阵具备“自用、开源、商业”三位一体的优势包括
阿里内部大规模验证通义 / PAI / 百炼长期打磨。具备完整的生态和组件覆盖应用开发的主链路。支持主流大模型低代码、甚至无代码构建企业级 AI 应用。深度集成阿里云百炼、云原生应用开发平台 CAP开箱即用。
Spring AI Alibaba 已完整提供 Model、Prompt、RAG、Tools 等 AI 应用开发所需的必备能力将兼具提示词模板、函数调用、格式化输出等低层次抽象以及 RAG、智能体、对话记忆等高层次抽象。
项目地址https://github.com/alibaba/spring-ai-alibaba
Higress零代码构建 AI 应用
我们可以很快构建 AI 应用但是如何确保上线后不出问题呢
相比 Web 应用LLM 应用的内容生成时间更长对话连续性对用户体验至关重要如何避免后端插件更新导致的服务中断Higress 使用 Envoy 作为数据面对网关配置、和连接无关的配置做了合理抽象并通过 WASM 插件形式实现了热更新避免后端插件更新导致的服务中断。相比传统 Web 应用LLM 应用在服务端处理单个请求的资源消耗会大幅超过客户端来自客户端的攻击成本更低后端的资源开销更大如何加固后端架构稳定性Higress 提供了 Token 流控能力并且集成 WAF 插件在入口建立安全防线。不同于传统 Web 应用基于信息的匹配关系LLM 应用生成的内容则是基于人工智能推理如果保障生产内容的合规和安全例如近期有两家公司因为内容合规问题导致股市大跌Higress 通过滤网插件帮助用户在流量入口处守住了合规底线。当接入多个大模型 API 时如何屏蔽不同模型厂商 API 的调用差异来提升单一大模型的调用失败率Higress 提供了 AI Proxy 插件构建高可用 AI 服务如通义 2.5 失败Failover 到通义 2.0或者自建大模型失败Failover 到通义模型等。
此外为了解决 RT 问题Higress 在入口构建缓存对接 RedisRAG 能力对接向量数据库降低 RT降低了大模型的调用成本。 OTel提升大模型应用可观测性
大模型失败率较高数据幻觉需要检测对输出进行评估等。为了解决这个挑战我们基于 OTel Python 探针构建了阿里云 OTel python 发行版增加了常见的大模型的埋点以更好的观测和大模型的交互过程预计在 9 月正式上线。
在构建的过程中我们也看到 OTel 社区正在讨论中的 GenAI 语义约定因此我们的发行版也严格的遵循了最新 GenAI 语义约定同时支持了常见的大模型框架例如 LlamaIndexLangchainPromtFlow 以及通义千问 2OpenAI 等大模型。
在社区 GenAI 规范的基础上我们还增加了额外的精细化的埋点和 Attribute能够观测到更加细节的交互过程包括支持 session_id 在多个 traceId 之前进行传播以方便在一个会话中关联多个调用链。有了这些埋点之后客户可以方便的在专属大模型视图中查看与大模型交互的信息包括各种 RAG 的过程调用大模型的入参出参消耗的 token 等等这些增强我们也计划贡献给社区。 Nacos提升 Agent 灵活性
模型上线后我们为了不断提升效果需要不断优化各种参数和配置。传统做法是改一个参数就重启发布一次这样效率低下且发布对业务业务流量有损。
因此我们把提示词模版/相关的参数存储在在 Nacos 配置中心通过动态配置可以实时修改无需重启就能发布应用为了满足安全合规要求把对大模型调用过程中定义的脱敏规则、密钥以及数据源外置到 Nacos 配置中心最后为了提升模型的稳定性需要做好 A/B 测试可以把模型版本、参数、流控规则也存储在 Nacos 配置中心。可见通过 Nacos 可以大幅提升 Agent 的灵活性。 Apache RocketMQ提升 AI 应用吞吐量和实时性
在推理场景私域数据向量化后提供给 AI 应用搜索增强但是这个模式私域数据不能及时更新为了提升整体链路实时性可以通过事件流集成关键事件实时 Embedding 向量数据库、更新私有数据存储全面提升 AI 应用实时性、个性化和准确度。
AI 原生应用请求往往耗时过久全面采用同步调用会使得系统性能急剧恶化响应慢影响客户体验。通过引入RocketMQ 事件驱动架构、解耦快慢服务能显著提升性能和体验。面临 AI 应用请求耗时方差大资源消耗不均匀的特点RocketMQ 支持主动 Pop 消费模式动态消费超时时长能够实时结合模型实例负载和推理请求特点自适应负载均衡。 Java AI 开发框架的落地实践
相信通过上面的介绍大家对于构建生成式 AI 应用已经跃跃欲试了但是选择哪些场景投入产出比较高呢下面简单分享一下我们的思路。
AI 落地场景
是不是所有的业务都能用 AI 解决呢目前看不是的。那 AI 适合做什么场景呢目前看适合容错性高、结构化强的场景。
我们在做开源社区的时候发现社区的 Issue 非常多但是无法响应开发者需求因此我们想如果构建一个 AI 答疑专家帮助开发者解决场景问题构建新型开源社区协作模式这个就非常有价值。
因此我们落地第一个场景是 AI 答疑专家解决开源社区答疑问题提升开源社区活跃度。 AI 技术选型
我们在技术上有三个技术选型 Prompt / RAG / 微调。
Prompt效果略有提升但是不能带来本质改变微调成本比较高我们的数据还不断迭代过程中无法承受RAG无论是成本、效果还是可持续迭代性都是目前最高投入产出比模式因此我们采用了 RAG 为主的技术方案。 AI 应用实践
AI 答疑专家-实践
AI 答疑专家基于百炼的通义 2.5 模型将开源文档、电子书、常见问题灌入百炼数据中心进行了向量化通过 Spring AI Alibaba 对接通义模型和 RAG 能力搜索到了 TOP3 的相关度信息进行压缩提炼。并通过 Higress 将服务发布到开源官网和钉钉机器人在入口构建安全合规防线。最后通过 AI 答疑专家不断与开发者沟通收集反馈。通过 Chat-Admin 处理反馈差的信息补充文档优化数据。 AI 答疑专家-落地效果
落地效果非常显著开源官网的流量提升了 20%人工答疑成本降低 20%准确率可达 90%并且完成了私域数据、AI 专家反馈机制、人工订正的正循环。 AI 答疑专家-AIPaaS 雏形
最后我们构建了 AI 行业专家解决方案沉淀了 AIPaaS 的雏形以模型未核心Agent 驱动充分挖掘私域数据打造行业 AI 专家 未来我们将提供 Spring AI Alibaba 和阿里巴巴整体开源生态的深度适配包括 Prompt Template 管理、事件驱动的 AI 应用程序、更多 Vector Database 支持、函数计算等部署模式、可观测性建设、AI 代理节点开发能力如绿网、限流、多模型切换和开发者工具集旨在构建业内最完整的 AI 驱动的 Java 开发框架生态。
