南京专业网站设计公司价格,太原找工作网站,网站建设练手项目,node.js 做网站目录
前言 一、腾讯云HAI介绍#xff1a;
1、即插即用 轻松上手 2、横向对比 青出于蓝
3、多种高性能应用部署场景
二、腾讯云HAI一键部署并使用ChatGLM2-6B快速实现开发者所需的相关API服务
1、登录 高性能应用服务 HAI 控制台
2、点击 新建 选择 AI模型#xff0c;…
目录
前言 一、腾讯云HAI介绍
1、即插即用 · 轻松上手 2、横向对比 · 青出于蓝
3、多种高性能应用部署场景
二、腾讯云HAI一键部署并使用ChatGLM2-6B快速实现开发者所需的相关API服务
1、登录 高性能应用服务 HAI 控制台
2、点击 新建 选择 AI模型输入实例名称
3、等待创建完成后查看相关状态(预计等待3-8分钟等待时间不计费)
4、创建完成查看相关状态
5、查看配置详情
6、关键环节使用 JupyterLab 启动 ChatGLM2-6B 提供的API 服务
三、AI办公助手代码开发
1、选择腾讯云的云开发编辑器Cloud Stuio详细使用教程可以看博主另一篇文章
2、选择模板快速生成项目
3、项目代码开发 1项目生成后集成并下载开发所需的依赖
2配置一下接口的代理避免本地开发浏览器访问跨域前端开发都懂
3开发项目界面这里详细的开发过程就不赘述~
4开发业务及交互逻辑
5开发完成后在浏览器中查看最终实现效果
四、常见问题
五、总结 前言 常常听起公司的行政小姐姐反馈AI要是能帮助她们在部门员工考勤记录整理各种活动文案编写报表核算和员工培训这些方面提供便利就好了正好博主最近在研究和学习AIGC首先我对新技术非常感兴趣对于GPT模型也非常好奇。其次企业越来越需要复合型人才而GPT能够帮助我快速学习和成长。因此我决定尝试借助GPT模型的能力来先开发一个简单的AI办公助手Demo试用来帮助企业运营提升效率正向反馈后持续迭代深度集成到公司内部的办公平台打磨出一个完整的产品 当然了AIGC拥有这么多的能力那么我们才能独立部署体验呢首先我们需要部署这些这些大模型大模型处理的数据量巨大无比整个处理过程可以分为训练train、微调fine-tune和推理(inference)。从算力消耗上来说是训练微调推理训练要比推理的算力消耗高至少3个数量级以上训练和微调大型语言模型对于硬件资源的要求非常高对于只是短期使用自己购买硬件资源价格昂贵显然是不划算的。 最近腾讯云推出了一款“高性能应用服务HAI”它基于腾讯云GPU云服务器底层算力提供即插即用的高性能云服务。以应用为中心匹配GPU云算力资源助力中小企业及开发者快速部署LLM、AI作画、数据科学等高性能应用部署起来非常省心博主这次也是亲自体验了一番从0到1使用腾讯云高性能应用服务 HAI 部署了ChatGLM2-6B 模型来辅助我开发【AI办公助手】其中的智能生成SQL,智能生成Excel,英文助手等功能都是基于ChatGLM2-6B大模型的API来实现工作效率提升很多不到一天时间就完成了全部开发这里也给大家先看看博主开发的作品成果
场景1智能生成sql自主查询考勤记录及统计请假天数 场景2智能生成excel自主计算统计复杂报表 场景3英文助手辅助英文文案撰写 那么这次应用开发的亲身体验下来博主还用到了腾讯云编辑器Cloud Studio云来做开发HAI和Cloud Studio有何优势和便捷之处以及我是如何来进行【AI办公助手】这款应用的开发呢且听博主接下来为你娓娓道来~~~ 一、腾讯云HAI介绍 腾讯云高性能应用服务 HAI 是为开发者量身打造的澎湃算力平台。无需复杂配置便可享受即开即用的GPU云服务体验。在 HAI 中根据应用智能匹配并推选出最适合的GPU算力资源以确保您在数据科学、LLM、AI作画等高性能应用中获得最佳性价比。
1、即插即用 · 轻松上手
基于腾讯云GPU云服务器底层算力提供即插即用的高性能云服务。
2、横向对比 · 青出于蓝
大幅降低GPU云服务器使用门槛多角度优化产品使用体验开箱即用
3、多种高性能应用部署场景
腾讯云HAI功能如此强大开箱即可上手 接着博主就手把手教大家怎么快速搭建并使用AI模型 ChatGLM2-6B~~~ 二、腾讯云HAI一键部署并使用ChatGLM2-6B快速实现开发者所需的相关API服务
1、登录 高性能应用服务 HAI 控制台
2、点击 新建 选择 AI模型输入实例名称
温馨提示如果没有进阶型的算力方案2.41元/小时建议您购买基础型的算力方案0.88元/小时并在创建成功后参考实验过程中关闭 、重新开启 webui 功能的命令以提高服务器的性能。
3、等待创建完成后查看相关状态(预计等待3-8分钟等待时间不计费)
4、创建完成查看相关状态
5、查看配置详情
6、关键环节使用 JupyterLab 启动 ChatGLM2-6B 提供的API 服务
1在 算力管理 页面选择进入 jupyter_lab 页面 2选择 终端命令 温馨提示如果您购买使用的是 基础型算力服务器0.88元/小时 请您在开始实验前输入以下关闭 webui 功能的命令提高服务器的性能以便后续实验能快速正常进行
apt-get update apt-get install sudo
sudo apt-get update
sudo apt-get install psmisc
sudo fuser -k 6889/tcp #执行这条命令将关闭 HAI提供的 chatglm2_gradio webui功能 备注如果需要重新开启 webui 服务执行以下命令 python /root/ChatGLM2-6B/web_demo.py --listen --port 6889
3输入命令 用于开启 API 服务到这一步咱们的大模型的调用api就正式开启了,接下来再把服务器的端口设置一下就可以正式调用API了
cd ./ChatGLM2-6B
python api.py (4) 回到算力管理界面—新增服务器端口规则 a、选择 编辑规则 b、选择 入站规则 中的添加规则 c、添加入站规则 (来源 0.0.0.0/0 协议端口 TCP:8000) 5服务器端口规则设置完成后咱们随手写一波python小脚本调用一下api看看能不能调的通
import requests# 定义测试数据以及FastAPI服务器的地址和端口
server_url http://0.0.0.0:8000 # 请确保将地址和端口更改为您的API服务器的实际地址和端口
test_data {prompt: 你好发热了怎么办,history: [],max_length: 50,top_p: 0.7,temperature: 0.95
}# 发送HTTP POST请求
response requests.post(server_url, jsontest_data)# 处理响应
if response.status_code 200:result response.json()print(Response:, result[response])print(History:, result[history])print(Status:, result[status])print(Time:, result[time])
else:print(Failed to get a valid response. Status code:, response.status_code) ok当看到控制台响应成功并打印了我们需要的数据之后这里已经大功告成可以调用服务器的公网IP8000端口来访问大模型的API接口来开发我们的应用啦~~~ 三、AI办公助手代码开发
1、选择腾讯云的云开发编辑器Cloud Stuio详细使用教程可以看博主另一篇文章
【腾讯云Cloud Studio实战训练营】使用Cloud Studio迅捷开发一个3D家具个性化定制应用-CSDN博客文章浏览阅读1.1w次点赞44次收藏40次。Cloud Studio是一个基于云端的开发环境它可以让程序员在云端进行编写和运行程序。相比传统的本地IDECloud Studio具有以下优势。首先由于Cloud Studio是基于云端的只要保证网络连接正常即使使用配置较低的电脑也可以编写和运行各种吃内存的程序因为它使用的是云端的资源与本地电脑的性能无关。其次Cloud Studio提供了在线预览功能可以方便地查看代码的效果和运行结果无需频繁地切换窗口或启动本地服务器集成AI助手直接在 Cloud Studio 里唤起 AI代码助https://blog.csdn.net/m0_61243965/article/details/131997078
2、选择模板快速生成项目
3、项目代码开发 1项目生成后集成并下载开发所需的依赖
2配置一下接口的代理避免本地开发浏览器访问跨域前端开发都懂 3开发项目界面这里详细的开发过程就不赘述~ div classhomediv classheaderdiv classtitleAI办公助手/divdiv classmenudivclassitemv-for(item, index) in menuList:keyindex:class[activeMenu item.title ? active : ]clickselectMenu(item){{ item.title }}/div/div/divdiv classcontainerdiv classexamplediv classtitle示例/divdivclassitemclicksetInputValue(item.tip)v-for(item, index) in activeExample:keyindex{{ item.tip }}/div/divdiv classcontentdiv classinputWrapdiv classtitle输入/divel-inputv-modelinputText:rows20typetextareaplaceholder请输入//divdiv classoutputWrapdiv classtitle输出/divel-inputv-modeloutputText:rows20typetextarea:disabledtrueplaceholder智能生成结果展示//div/divdiv classfootBtnel-button clickclearAll清空/el-buttonel-button typeprimary clickchatPost生成/el-button/div/div/div
4开发业务及交互逻辑
script setup
import { ref, onMounted, reactive, toRefs } from vue;
import axios from axios;
let menuList ref([{ id: 1, title: 智能生成SQL, key: sql },{id: 2,title: 智能生成Excel公式,key: excel,},{id: 3,title: 英文助手,key: English,},
]);
let exampleList ref({sql: [{tip: 帮我生成查询本月A部门全部人员的考勤记录,},],excel: [{tip: 帮我生成根据工时和单价计算项目费用的excel公式,},],English: [{tip: 帮我生成一篇英文的活动邀请函要求比较正式,},],
});
let inputText ref();
let outputText ref();
let activeMenu ref(智能生成SQL);
let activeExample ref(null);
onMounted(() {activeExample.value exampleList.value[sql];console.log(activeExample.value);
});
//选择导航
const selectMenu (item) {activeMenu.value item.title;activeExample.value exampleList.value[item.key];
};
//设置输入
const setInputValue (tip) {inputText.value tip;
};
//重置
const clearAll () {// activeMenu.value智能生成SQL;// activeExample.valuesql;inputText.value ;outputText.value ;
};
//gpt对话
const chatPost () {let test_data {prompt: inputText.value,history: [],max_length: 5000,top_p: 0.7,temperature: 0.95,};axios.post(/api, test_data).then(function (response) {console.log(response);outputText.value response.data.response;}).catch(function (error) {console.log(error);});
};
/script
5开发完成后在浏览器中查看最终实现效果
到这里博主借助高性能应用服务HAI快速开发的一款AI办公助手应用已经全部完成后续博主会把项目进行部署并把源代码整理开放出来供大家学习~~~ 四、常见问题
1、HAI服务器计费问题需要销毁才能停止计费希望后续能优化
五、总结 在过去的几个月里随着ChatGPT、Midjourney、Stable Diffusion等国外产品的快速迭代以及国内百度、阿里、飞书、网易等大厂发布的大模型一些设计、研发、自媒体从业者开始感到自危仿佛他们的工作在AI的洪流中瞬间会被取代。我们希望能借助AI的力量帮助我们解决真实场景中的问题~ 之所以选择开发这样一款AI办公助手应用是根据企业的实际情况和需求希望帮助公司行政考勤工作提升效率。通过这次使用腾讯云HAl一键部署ChatGLM2-6B 模型来辅助开发【AI办公助手】应用我深刻感受到了腾讯云HAl在大模型应用部署方面的便捷概括来说有以下几点
1、智能匹配算力多种算力套餐满足不同需求的计算性能。
2、预置主流AI作画模型和LLM大语言模型及常用插件无需手动部署支持即开即用。
3、动态更新模型版本确保模型版本与时俱进无需频繁操作。
4、支持可视化界面一键登录方便调优。
可以让开发者高效便捷的使用大模型提供的能力来提升解决实际场景中的问题。以博主开发的这款【AI办公助手】为例其中的智能生成SQL,智能生成Excel,英文助手等功能都是基于ChatGLM2-6B大模型的API来实现使的部分行政人事工作效率提升很多。
总而言之腾讯云HAl这次给我的体验非常良好后续会考虑探索腾讯云HAl更多的功能为工作进行赋能~~~
