能利用双股铜芯电话线做网站吗,济南网站改版,网页设计公司简介代码,wordpress和discuz书生浦语大模型全链路开源体系-第3课 书生浦语大模型全链路开源体系-第3课相关资源RAG 概述在 InternLM Studio 上部署茴香豆技术助手环境配置配置基础环境下载基础文件下载安装茴香豆 使用茴香豆搭建 RAG 助手修改配置文件 创建知识库运行茴香豆知识助手 在茴香豆 Web 版中创建… 书生·浦语大模型全链路开源体系-第3课 书生·浦语大模型全链路开源体系-第3课相关资源RAG 概述在 InternLM Studio 上部署茴香豆技术助手环境配置配置基础环境下载基础文件下载安装茴香豆 使用茴香豆搭建 RAG 助手修改配置文件 创建知识库运行茴香豆知识助手 在茴香豆 Web 版中创建自己领域的知识问答助手 书生·浦语大模型全链路开源体系-第3课 为了推动大模型在更多行业落地应用让开发人员更高效地学习大模型的开发与应用上海人工智能实验室重磅推出书生·浦语大模型实战营为开发人员提供大模型学习和开发实践的平台。 本文是书生·浦语大模型全链路开源体系-第3课的课程实战。 相关资源
InternLM项目地址
https://github.com/InternLM/InternLM
InternLM2技术报告
https://arxiv.org/pdf/2403.17297.pdf
书生·万卷 数据
https://opendatalab.org.cn/
课程链接
https://www.bilibili.com/video/BV1AH4y1H78d/
RAG 概述
RAGRetrieval Augmented Generation技术通过检索与用户输入相关的信息片段并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。
RAG 能够让基础模型实现非参数知识更新无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用就应用了 RAG 技术可以快速、高效的搭建自己的知识领域助手。
在 InternLM Studio 上部署茴香豆技术助手
环境配置
配置基础环境
从官方环境复制运行 InternLM 的基础环境命名为 InternLM2_Huixiangdou在命令行模式下运行
studio-conda -o internlm-base -t InternLM2_Huixiangdou
创建新的虚拟环境。 安装必要的依赖库。 安装完成。 安装完成后在本地查看环境。
conda env list可以看到新创建的虚拟环境 InternLM2_Huixiangdou。
运行 conda 命令激活 InternLM2_Huixiangdou 虚拟环境:
conda activate InternLM2_Huixiangdou
下载基础文件
复制茴香豆所需模型文件我们可以直接创建软链接连接到share目录下默认下载好的模型文件。
# 创建模型文件夹
cd /root mkdir modelscd /root/models# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 ./bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 ./bce-reranker-base_v1# 复制大模型参数如果之前创建过软链接这步可以不用执行
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b ./internlm2-chat-7b# 安装 python 依赖
pip install protobuf4.25.3 accelerate0.28.0 aiohttp3.9.3 auto-gptq0.7.1 bcembedding0.1.3 beautifulsoup44.8.2 einops0.7.0 faiss-gpu1.7.2 langchain0.1.14 loguru0.7.2 lxml_html_clean0.1.0 openai1.16.1 openpyxl3.1.2 pandas2.2.1 pydantic2.6.4 pymupdf1.24.1 python-docx1.1.0 pytoml0.1.21 readability-lxml0.8.1 redis5.0.3 requests2.31.0 scikit-learn1.4.1.post1 sentence_transformers2.2.2 textract1.6.5 tiktoken0.6.0 transformers4.39.3 transformers_stream_generator0.0.5 unstructured0.11.2# 由于重启开发机会丢失安装的系统软件所以以下系统软件每次重启开发机都需要重新安装。如果没有必要以下步骤可不执行。
# apt update apt -y install python-dev python libxml2-dev libxslt1-dev antiword unrtf poppler-utils pstotext tesseract-ocr flac ffmpeg lame libmad0 libsox-fmt-mp3 sox libjpeg-dev swig libpulse-dev依赖安装完成。 下载安装茴香豆
从茴香豆官方仓库下载茴香豆。
cd /root/code
# 下载 repo
git clone https://github.com/internlm/huixiangdou cd huixiangdou
git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440使用茴香豆搭建 RAG 助手
修改配置文件
用已下载模型的路径替换 /root/code/huixiangdou/config.ini 文件中的默认模型需要修改 3 处模型地址分别是:
用于向量数据库和词嵌入的模型
sed -i 6s#.*#embedding_model_path /root/models/bce-embedding-base_v1# /root/code/huixiangdou/config.ini
用于检索的重排序模型
sed -i 7s#.*#reranker_model_path /root/models/bce-reranker-base_v1# /root/code/huixiangdou/config.ini和本次选用的大模型
sed -i 29s#.*#local_llm_path /root/models/internlm2-chat-7b# /root/code/huixiangdou/config.ini修改好的配置文件应该如下图所示 创建知识库
使用 InternLM 的 Huixiangdou 文档作为新增知识数据检索来源在不重新训练的情况下打造一个 Huixiangdou 技术问答助手。
首先下载 Huixiangdou 语料
cd /root/code/huixiangdou mkdir repodirgit clone https://github.com/internlm/huixiangdou --depth1 repodir/huixiangdou 提取知识库特征创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块默认嵌入和重排序模型调用的网易 BCE 双语模型如果没有在 config.ini 文件中指定本地模型路径茴香豆将自动从 HuggingFace 拉取默认模型。
除了语料知识的向量数据库茴香豆建立接受和拒答两个向量数据库用来在检索的过程中更加精确的判断提问的相关性这两个数据库的来源分别是
接受问题列表希望茴香豆助手回答的示例问题 存储在 huixiangdou/resource/good_questions.json 中 拒绝问题列表希望茴香豆助手拒答的示例问题 存储在 huixiangdou/resource/bad_questions.json 中其中多为技术无关的主题或闲聊如“nihui 是谁”, “具体在哪些位置进行修改”, “你是谁”, “11”
运行下面的命令增加茴香豆相关的问题到接受问题示例中
cd /root/code/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.jsonecho [mmpose中怎么调用mmyolo接口,mmpose实现姿态估计后怎么实现行为识别,mmpose执行提取关键点命令不是分为两步吗一步是目标检测另一步是关键点提取我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth 现在我想把这个mmdet的checkpoints换位yolo的那么应该怎么操作,在mmdetection中如何同时加载两个数据集两个dataloader,如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢,1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件,mmpose 测试 map 一直是 0 怎么办,如何使用mmpose检测人体关键点,我使用的数据集是labelme标注的我想知道mmpose的数据集都是什么样式的全都是单目标的数据集标注还是里边也有多目标然后进行标注,如何生成openmmpose的c推理脚本,mmpose,mmpose的目标检测阶段调用的模型一定要是demo文件夹下的文件吗有没有其他路径下的文件,mmpose可以实现行为识别吗如果要实现的话应该怎么做,我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了,mac m1从源码安装的mmpose是x86_64的,想请教一下mmpose有没有提供可以读取外接摄像头做3d姿态并达到实时的项目呀,huixiangdou 是什么,使用科研仪器需要注意什么,huixiangdou 是什么,茴香豆 是什么,茴香豆 能部署到微信吗,茴香豆 怎么应用到飞书,茴香豆 能部署到微信群吗,茴香豆 怎么应用到飞书群,huixiangdou 能部署到微信吗,huixiangdou 怎么应用到飞书,huixiangdou 能部署到微信群吗,huixiangdou 怎么应用到飞书群,huixiangdou,茴香豆,茴香豆 有哪些应用场景,huixiangdou 有什么用,huixiangdou 的优势有哪些,茴香豆 已经应用的场景,huixiangdou 已经应用的场景,huixiangdou 怎么安装,茴香豆 怎么安装,茴香豆 最新版本是什么,茴香豆 支持哪些大模型,茴香豆 支持哪些通讯软件,config.ini 文件怎么配置,remote_llm_model 可以填哪些模型?
] /root/code/huixiangdou/resource/good_questions.json再创建一个测试用的问询列表用来测试拒答流程是否起效
cd /root/huixiangdouecho [
huixiangdou 是什么,
你好介绍下自己
] ./test_queries.json在确定好语料来源后运行下面的命令创建 RAG 检索过程中使用的向量数据库
# 创建向量数据库存储目录该步骤可以不做后续程序会自动创建
cd /root/code/huixiangdou mkdir workdir # 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json
完成后Huixiangdou 相关的新增知识就以向量数据库的形式存储在 workdir 文件夹下。
检索过程中茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较判断该问题是否应该回答避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词在知识库中检索 top K 相似的 chunk综合问题和检索到的 chunk 生成答案。 运行茴香豆知识助手
我们已经提取了知识库特征并创建了对应的向量数据库。现在让我们来测试一下效果
命令行运行
cd /root/code/huixiangdou/# 填入问题
sed -i 74s/.*/ queries [huixiangdou 是什么, 茴香豆怎么部署到微信群, 今天天气怎么样]/ /root/code/huixiangdou/huixiangdou/main.py# 运行茴香豆
python3 -m huixiangdou.main --standaloneRAG 技术的优势就是非参数化的模型调优这里使用的仍然是基础模型 InternLM2-Chat-7B 没有任何额外数据的训练。面对同样的问题我们的茴香豆技术助理能够根据我们提供的数据库生成准确的答案 在茴香豆 Web 版中创建自己领域的知识问答助手
茴香豆 Web 版 在 OpenXLab 上部署了混合模型的 Demo我们可以上传自己的语料库测试效果。
首先打开茴香豆 Web 版的网址设置一个知识库的名称OpenXLab浦源平台服务协议并设置一个容易记住的密码点击前往按钮创建一个知识库并进入。 在知识库中我们需要上传自己的知识库文件支持PDF、Word、MarkDown、Excel等格式的文件。选择知识库文件点击确认上传按钮进行上传。 文件上传成功后我们就拥有了一个有相关领域知识的知识库。然后我们就可以进行提问了。 首先我们来问一下协议的范围看看茴香豆怎么说。可以看到RAG助手可以正常从知识库中检索知识、生成回答内容。 再来问问服务内容它确实能检索并回答。 如果你不知道怎么注册浦源账号你也可以问问茴香豆它会告诉你流程的。 一定要注意自己的行为规范科学、合理地使用平台。如果你不知道哪些地方需要注意那就来问茴香豆吧。 当然一定要注意自己的信息保密和隐私保护哦茴香豆会告诉你该怎么做的。 至此我们就完成了在茴香豆 Web 版中创建自己领域的知识问答助手并且完成了几轮问题问答。
