台州商城网站建设,小榄网站设计,怎么申请小程序流程,龙川做网站的原理
LlamaIndex的文档链接#xff1a;Using LLMs - LlamaIndex #x1f999; 0.9.33
LlamaIndex 的一般使用模式如下#xff1a;
加载文档#xff08;手动或通过数据加载器)将文档解析为节点构建索引#xff08;来自节点或文档)#xff08;可选#xff0c;高级…原理
LlamaIndex的文档链接Using LLMs - LlamaIndex 0.9.33
LlamaIndex 的一般使用模式如下
加载文档手动或通过数据加载器)将文档解析为节点构建索引来自节点或文档)可选高级在其他索引之上构建索引查询索引
默认情况下LlamaIndex 使用 OpenAI 的text-davinci-003模型然而由于 OpenAI 的网站在国内无法访问故使用本地下载好的 Mistral-7B-OpenOrca 模型代替之。 模型的链接如下 Open-Orca/Mistral-7B-OpenOrca · Hugging Face
示例
HuggingFaceLLM 的参数如下
HuggingFaceLLM - LlamaIndex 0.9.33
generate_kwargs 就是在生成时传递给模型的参数具体可以看
Generation 说明
首先准备一段文字任意内容皆可我准备的是关于【科学指南针】服务机构的介绍摘自下面的网站
科学指南针科研推出论文阅读管理神器强大AI赋能轻松科研_服务_工作台_用户
科学指南针一家始终致力于为科研工作者提供专业、快捷、全方位的检测及科研服务的大型科研服务机构近日重磅推出全新产品「科研工作台」——一款集论文阅读、管理、分析于一体的AI赋能神器。这款产品的推出将AI技术与科研工作深度融合为科研工作者提供前所未有的便利。
「科研工作台」不仅具备自动解读论文研究目的、主要内容、实验过程等强大功能还支持一键定位原文精读。更重要的是它配备的AI阅读助手可以基于论文内容快速回答用户提出的任何问题帮助科研人员快速获取所需信息。这一创新性的设计无疑将极大地提升科研工作的效率。
此外「科研工作台」还支持分组/标签双体系管理文献。用户可以根据自己的需求自定义建立分组和子分组进行文献管理。同时系统会自动根据关键信息为文献打标签并允许用户自定义新增或删除标签。通过这一功能用户可以快速筛选出自己需要的文献。
自2014年成立以来科学指南针始终以全心全意服务科研助力全球科技创新为使命。经过数年的努力公司已建立起包括材料测试、环境检测、生物服务、行业解决方案、科研绘图、模拟计算、数据分析、论文服务、试剂耗材、指南针学院等在内的科研产品和服务矩阵。如今「科研工作台」的推出再次证明了科学指南针在推动创新方面的能力。
值得一提的是科学指南针的生物实验室已经取得了实验动物许可证环境实验室和南京材料实验室先后获得了中国计量认证证书CMA。此外南京材料实验室还获得了ISO三体系认证。这些资质和认证不仅证明了科学指南针在科研服务领域的专业性和可靠性也为其未来的发展奠定了坚实的基础。
展望未来科学指南针的愿景是成为世界级科研服务机构。他们坚信只要有科研的地方就应有科学指南针的存在。而「科研工作台」的推出正是实现这一愿景的重要一步。这款产品将为全球科研工作者提供更为便捷、高效的服务助力科研事业的发展。
在新的历史起点上科学指南针将继续秉承全心全意服务科研的使命不断创新、追求卓越。我们期待着他们在未来的发展中继续为全球科技创新做出更大的贡献代码如下这里使用了 HuggingFaceLLM 包来加载本地的 LLM。使用 load_in_4bit 对模型进行量化。 embed_model 选用了 “local:BAAI/bge-large-zh-v1.5”
from llama_index import VectorStoreIndex, SimpleDirectoryReader
from llama_index import ServiceContext
from llama_index.llms import HuggingFaceLLM
import torch
from transformers import BitsAndBytesConfig, AutoModelForCausalLM, AutoTokenizer
from llama_index.prompts import PromptTemplate
from llama_index import set_global_service_contextquantization_config BitsAndBytesConfig(load_in_4bitTrue,bnb_4bit_compute_dtypetorch.float16,bnb_4bit_quant_typenf4,bnb_4bit_use_double_quantTrue,
)model_name /root/autodl-tmp/kdy/models/Mistral-7B-OpenOrca
tokenizer AutoTokenizer.from_pretrained(model_name)
model AutoModelForCausalLM.from_pretrained(model_name)
question [{role: user, content: {query_str}},
]
llm HuggingFaceLLM( modelmodel,tokenizertokenizer,query_wrapper_promptPromptTemplate(tokenizer.apply_chat_template(question, tokenizeFalse)),context_window3900,max_new_tokens500,model_kwargs{quantization_config: quantization_config},generate_kwargs{temperature: 0.2, top_k: 5, do_sample: True, top_p: 0.95},device_mapauto,
)
service_context ServiceContext.from_defaults(llmllm, embed_modellocal:BAAI/bge-large-zh-v1.5)
set_global_service_context(service_context)documents SimpleDirectoryReader(/root/autodl-tmp/kdy/RAG/data).load_data()
index VectorStoreIndex.from_documents(documents)
index.storage_context.persist(persist_dir./storage)query_engine index.as_query_engine(streamingTrue, similarity_top_k3)
response_stream query_engine.query(科学指南针提供哪些服务)
response_stream.print_response_stream()
print()其中documents SimpleDirectoryReader(/root/autodl-tmp/kdy/RAG/data).load_data() 中的 data 文件夹下存放自己提供的内容。
输出如下
response_stream.print_response_stream() 方法会将答案逐字输出如下面的 GIF 所示。
参考文献
Using LLMs - LlamaIndex 0.9.33
Google Colaboratory
