.net电商网站全站开发,导购网站开发要多少钱,成都锦江区网站建设公司,网站后台编辑器不能用springAI初体验 让人人都能跑大模型 Spring AI是一个旨在简化开发包含人工智能功能的应用程序的项目。它受到Python项目如LangChain和Llama Index的启发#xff0c;但并非这些项目的直接移植。Spring AI的核心理念是为开发AI应用程序提供基础抽象#xff0c;这些抽象有多个实…springAI初体验 让人人都能跑大模型 Spring AI是一个旨在简化开发包含人工智能功能的应用程序的项目。它受到Python项目如LangChain和Llama Index的启发但并非这些项目的直接移植。Spring AI的核心理念是为开发AI应用程序提供基础抽象这些抽象有多个实现使得在不同实现之间轻松切换组件且代码更改最小化。 他们的设计理念是为开发人员提供一个抽象接口为将生成式AI作为独立组件纳入应用奠定基础
目前支持所有主要的模型提供商如OpenAI、Microsoft、Amazon、Google和Huggingfac
这个文章将带你体验一下他与Ollama大模型的结合。
这个是他的官方文档Spring AI :: Spring AI Reference
有兴趣的可以先去了解一下官方文档。
话不多说我们直接进入实战环节。
因为这个是一个比较新的包。所以我们需要按照官方文档的提示首先放入代码仓库地址 repositoriesrepositoryidspring-milestones/idnameSpring Milestones/nameurlhttps://repo.spring.io/milestone/urlsnapshotsenabledfalse/enabled/snapshots/repositoryrepositoryidspring-snapshots/idnameSpring Snapshots/nameurlhttps://repo.spring.io/snapshot/urlreleasesenabledfalse/enabled/releases/repository/repositories之后添加版本管理
dependencyManagementdependenciesdependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-bom/artifactIdversion0.8.1-SNAPSHOT/versiontypepom/typescopeimport/scope/dependency/dependencies
/dependencyManagementOllama后端部分
下面操作会按照这个文档来Ollama Chat :: Spring AI Reference
首先什么是Ollama Ollama是一个旨在简化大型语言模型(Large Language Models, LLMs)本地运行的工具和框架。它通过将模型权重、配置和数据打包成一个单一的包使得用户能够在本地设备上轻松运行开源的大型语言模型如Llama 224。Ollama优化了设置和配置的细节包括GPU的使用使得即使是没有深厚技术背景的用户也能方便地安装、运行和与模型进行交互 这个是他的官方地址Ollama
我们需要先下载他的Windows 版本
简单来说你可以把他理解为可以去跑模型的一个东西。
我们把他安装之后就需要去下载一些大模型
library (ollama.com)
这里我推荐是这个llama2-chinese (ollama.com)
因为这个他是支持中文的。
我们进入到这里按照他的指示 输入下面的命令就可以之后他就会开始下载
ollama run llama2-chinese
第一次下载需要耐心的等待 可以看到下载速度还是很快的
这样就算下载完成了 之后来看与spring的整合
首先是添加包
?xml version1.0 encodingUTF-8?
project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsdmodelVersion4.0.0/modelVersiongroupIdcom.xiaou/groupIdartifactIdxiaou-backend/artifactIdversion0.0.1-SNAPSHOT/versionnamexiaou-backend/namedescriptionxiaou-backend/descriptionpropertiesjava.version1.8/java.version/propertiesdependenciesdependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-web/artifactIdversion3.2.1/version/dependencydependencygroupIdorg.slf4j/groupIdartifactIdslf4j-api/artifactIdversion2.0.12/version/dependencydependencygroupIdorg.projectlombok/groupIdartifactIdlombok/artifactIdversion1.18.30/version/dependencydependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-ollama-spring-boot-starter/artifactId/dependency/dependenciesdependencyManagementdependenciesdependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-bom/artifactIdversion0.8.1-SNAPSHOT/versiontypepom/typescopeimport/scope/dependency/dependencies/dependencyManagementrepositoriesrepositoryidspring-milestones/idnameSpring Milestones/nameurlhttps://repo.spring.io/milestone/urlsnapshotsenabledfalse/enabled/snapshots/repositoryrepositoryidspring-snapshots/idnameSpring Snapshots/nameurlhttps://repo.spring.io/snapshot/urlreleasesenabledfalse/enabled/releases/repository/repositories/project
之后我们进行一个配置
server:port: 8081
spring:ai:ollama:chat:options:model: llama2-chinese之后我们编写controller
RestController
public class AIController {Resourceprivate OllamaChatClient ollamaChatClient;GetMapping(/chat)public String chat(RequestParam(name message) String message) {return ollamaChatClient.call(message);}}
这个就是一个最简单的controller
之后我们来看他的演示
可能有些慢需要等待个半分钟左右 Ollama前端部分
这里是做一个小的demo来实现前端部分。
前端我就不多讲了直接来看效果吧 这个需要等待个半分钟左右的 因为是本地跑的 下面是代码的实现我这里用的是vue3
templatediv classchat-container!-- 聊天消息展示区域 --div classmessage-container v-for(message, index) in chatHistory :keyindex!-- 用户发送的消息 --div v-ifmessage.sender user classuser-message{{ message.content }}/div!-- ChatGPT 返回的消息 --div v-else classgpt-message{{ message.content }}/div/div!-- 消息输入框 --div classinput-containerinput typetext v-modelnewMessage keyup.entersendMessage placeholder请输入消息...button clicksendMessage发送/button/div/div!-- 等待中动画 --div v-ifwait classwaitdiv classloader/divdiv等待中/div/div
/templatescript setup
import {ref} from vue;
import axios from axios;// 创建 ref 响应式变量
const chatHistory ref([]);
const newMessage ref();
const wait ref(false);
// 发送消息的函数
const sendMessage async () {wait.value true;const messageContent newMessage.value.trim(); // 读取 newMessage 的值// 检查消息内容是否为空if (messageContent ! ) {// 将用户发送的消息添加到聊天历史记录中chatHistory.value.push({sender: user, content: messageContent}); // 修改 chatHistory 的值// 发送消息到后端并获取返回的响应const response await axios.get(http://localhost:8081/chat, {params: {message: messageContent}});wait.value false;// 将 ChatGPT 返回的消息添加到聊天历史记录中chatHistory.value.push({sender: gpt, content: response.data}); // 修改 chatHistory 的值// 清空输入框newMessage.value ; // 修改 newMessage 的值}
};
/scriptstyle scoped
.chat-container {max-width: 500px;margin: auto;position: relative;
}.message-container {margin-bottom: 10px;
}.user-message {background-color: #aaf;padding: 5px;border-radius: 5px;max-width: 70%;word-wrap: break-word;
}.gpt-message {background-color: #afa;padding: 5px;border-radius: 5px;max-width: 70%;word-wrap: break-word;
}.input-container {display: flex;justify-content: space-between;margin-top: 20px;
}.input-container input {flex: 1;padding: 8px;border: 1px solid #ccc;border-radius: 5px;
}.input-container button {padding: 8px 20px;background-color: #4caf50;color: white;border: none;border-radius: 5px;cursor: pointer;
}.input-container button:hover {background-color: #45a049;
}.wait {position: absolute;top: 50%;left: 50%;transform: translate(-50%, -50%);display: flex;flex-direction: column;align-items: center;
}/* 旋转类型的等待动画 */
.loader {border: 8px solid #f3f3f3;border-top: 8px solid #3498db;border-radius: 50%;width: 40px;height: 40px;animation: spin 1s linear infinite;
}keyframes spin {0% {transform: rotate(0deg);}100% {transform: rotate(360deg);}
}
/styleopen ai
在看到前面本地的ai运算速度你可能感觉会非常慢我们来介绍一下调用远程的api
这里用的就是chatgpt3.5
这个我们需要获得apikey
具体怎么获得我就不说了。
pom文件如下
dependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-openai-spring-boot-starter/artifactId
/dependency之后我们进行一个配置
spring.ai.openai.api-keyYOUR_API_KEY
spring.ai.openai.chat.options.modelgpt-3.5-turbo
spring.ai.openai.chat.options.temperature0.7之后和上面的一样书写controller
GetMapping(/chat)
public String OpenAiChat(RequestParam(name message) String message) {return openAiChatClient.call(message);
}就可以了。
当然了如果说你需要对其进行一个上线需要做很多的优化这个项目只是一个demo的项目比如说限流安全性认证之类的东西。
总结
Spring AI 提供了一系列抽象作为开发 AI 应用程序的基础。这些抽象具有多种实现使得组件的替换变得容易且代码更改最小化。
如果有兴趣的可以去官方文档进行一个研究
spring.io/projects/spring-ai/
里面所有用到的事例代码都会放在
xiaou61/xiaou-easy-code: 前后端通用解决方案 springboot vue react 原生js (github.com)
这个仓库之中。
