360站长,手机网站建设电话,机械公司企业简介模板,网站收录方法函数调用的演示视频#xff1a;
使用docker运行最新chatglm3-6b#xff0c;对外的http服务#xff0c;使用python代码执行函数调用#xff0c;查询北京天气代码演示和说明 使用docker运行最新chatglm3-6b#xff0c;对外的http服务#xff0c;使用python代码执行函数调用…函数调用的演示视频
使用docker运行最新chatglm3-6b对外的http服务使用python代码执行函数调用查询北京天气代码演示和说明 使用docker运行最新chatglm3-6b对外的http服务使用python代码执行函数调用查询北京天气代码演示和说明 1可以参考官方chatglm3 视频有更新详细内容
https://www.bilibili.com/video/BV1uC4y1J7yA/ 【官方教程】ChatGLM3-6B 部署和微调Function Call、Code Interpreter、Agent 对话格式 工具定义 对话格式
2运行服务
参考上期的环境搭建 https://yanghuaiyuan.blog.csdn.net/article/details/134130555
直接执行 python3 openai_api.py 同时修改模型路径
...
if __name__ __main__:MODEL_PATH /data/chatglm3-6b-modelstokenizer AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_codeTrue)model AutoModel.from_pretrained(MODEL_PATH, trust_remote_codeTrue).quantize(8).cuda()# 多显卡支持使用下面两行代替上面一行将num_gpus改为你实际的显卡数量
...启动成功
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:4700:00, 6.80s/it]
INFO: Started server process [480]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRLC to quit)
执行curl 命令
curl https://localhost:8000/v1/chat/completions \-H Content-Type: application/json \-d {model: chatglm3-6b,messages: [{role: user, content: 北京景点}],temperature: 0.7}3使用python代码调用
cd /data/tool_using
python3 openai_api_demo.py 执行结果
2023-11-02 13:51:31.924 | INFO | __main__:main:36 - Function Call Response: {name: get_weather, parameters: {city_name: 北京}}
2023-11-02 13:51:34.182 | INFO | __main__:main:39 - Tool Call Response: {current_condition: {temp_C: 20, FeelsLikeC: 20, humidity: 16, weatherDesc: [{value: Clear}], observation_time: 11:19 AM}}
2023-11-02 13:51:46.387 | INFO | __main__:main:54 - 北京当前的天气情况如下温度为20摄氏度相对湿度为16%天气状况为晴朗。这是最新的数据观测时间为2023年5月30日11点19分。
2023-11-02 13:51:31.924 | INFO | __main__:main:36 - Function Call Response: {name: get_weather, parameters: {city_name: 北京}}
2023-11-02 13:51:34.182 | INFO | __main__:main:39 - Tool Call Response: {current_condition: {temp_C: 20, FeelsLikeC: 20, humidity: 16, weatherDesc: [{value: Clear}], observation_time: 11:19 AM}}
2023-11-02 13:51:46.387 | INFO | __main__:main:54 - 北京当前的天气情况如下温度为20摄氏度相对湿度为16%天气状况为晴朗。这是最新的数据观测时间为2023年5月30日11点19分。
这里会先调用函数容纳和返回执行 get_weather 函数然后将结果再传给chatlm3。 返回一段说明文档。时间是错误了估计还要有个当前日期的函数。再修正下。
5总结
函数调用特别的好非常方便可以开发很多有价值的应用了。 也可以让现有的应用变得特别的智能了。通过简单的方式和人进行沟通。 而且一旦有了简单的方式就不会使用复杂的系统了。 继续研究chatglm3-6b
