普洱市住房城乡建设局网站,wordpress小说目录,留言板网站建设总结,火车wordpressLLM#xff08;Large Language Model#xff09;大模型的可观测性是指对模型内部运行过程的理解和监控能力。由于LLM大模型通常具有庞大的参数量和复杂的网络结构#xff0c;因此对其内部状态和运行过程的理解和监控是一个重要的问题。
什么是 LangChain#xff1f;
Lang…LLMLarge Language Model大模型的可观测性是指对模型内部运行过程的理解和监控能力。由于LLM大模型通常具有庞大的参数量和复杂的网络结构因此对其内部状态和运行过程的理解和监控是一个重要的问题。
什么是 LangChain
LangChain 是一个开源的应用开发框架旨在将大型语言模型LLM与开发者现有的知识和系统相结合以提供更智能化的服务。具体来说LangChain 可以帮助开发者f轻松地管理与 LLM 的交互将多个组件链接在一起并集成额外的资源例如 API 和数据库。
此外LangChain 还提供了多种工具、组件和接口以简化创建由 LLM 提供支持的应用程序的过程。例如它提供了模型输入/输出管理工具用于管理 LLM 及其输入和格式化输出Prompt 模板支持自定义 Prompt 工程的快速实现以及和 LLMs 的对接Utils 组件提供了大模型常见的植入能力的封装如搜索引擎、Python 编译器、Bash 编译器、数据库等Chains 组件则提供了大模型针对一系列任务的顺序执行逻辑链。
因此LangChain 的应用场景非常广泛可以应用于自然语言处理、聊天机器人、智能客服、文本生成等多个领域。同时由于其开源的特性LangChain 也可以被广大开发者用于定制开发自己的 LLM 应用从而推动人工智能技术的不断发展和创新。
LangChain 可观测性体系 LangChain 本身并没有提供可观测性能力但可以通过集成其他工具来实现对 LangChain 应用的可观测性以此来提高大模型的可解释性和可控性。
日志收集、存储和分析 LangChain 应用的日志数据。通过日志数据可以监控应用程序的运行状态、错误日志、用户行为等信息。指标使用监控工具收集 LangChain 应用的性能指标如响应时间、吞吐量、错误率等。这些指标可以帮助你了解应用程序的性能瓶颈和潜在问题并及时进行优化和调整。组件依赖监控 LangChain 应用所依赖的服务或组件如数据库、API接口等。确保这些依赖服务的可用性和性能稳定以避免因依赖问题导致的应用故障。自定义监控根据具体需求可以编写自定义的监控脚本或插件用于监控特定的业务逻辑或功能。例如你可以编写脚本监控某个特定任务的执行情况、API 接口的调用频率等。告警与通知设置告警规则当监控数据达到预设的阈值时触发告警并通知相关人员。这可以帮助你及时发现并处理潜在问题确保应用程序的稳定运行。
需要注意的是可观测性方案的选择和实施应根据具体的应用场景和需求进行定制。
LangChain 可观测性接入方案
准备工作
安装 DataKit
token 在「观测云控制台」-「集成」-「Datakit」 上面获取。
DK_DATAWAYhttps://openway.guance.com?tokentkn_xxxxxx bash -c $(curl -L https://static.guance.com/datakit/install.sh) DataKit 采集器配置
开启 DDTrace 采集器
DDTrace 采集器用于采集链路信息进入到 DataKit 安装目录下执行 conf.d/ddtrace/复制 ddtrace.conf.sample 并重命名为 ddtrace.conf 。
开启 StatsD 采集器
StatsD 采集器用于采集指标信息默认端口为 8125 。
重启 DataKit
systemctl restart datakit准备 OpenAI API Key
在 Langchain 应用中使用 OpenAI 的模型需要一个 API Key点击 https://platform.openai.com/account/api-keys 创建你的 API Key。
模拟 LLM 应用并接入观测云
主要实现了一个基于 OpenAI 的 GPT-3.5 模型的聊天对话系统并设置了一个函数来跟踪 API 令牌的使用情况。
安装 Python 依赖
pip install langchain
pip install openai
pip install ddtrace创建 LLM
使用 Langchain 创建 LLM模型选择 gpt-3.5 。
llm ChatOpenAI(modelgpt-3.5-turbo,temperature0)创建 ConversationChain 对象
创建一个 ConversationChain 对象传入之前创建的 llm 对象设置 verbose 为 True表示输出详细的调试信息并使用 ConversationBufferMemory 作为记忆储存。
conversation ConversationChain(llmllm, verboseTrue, memoryConversationBufferMemory()
)创建对话函数
定义一个函数 track_tokens_usage 它接受一个对话链和一个查询作为参数。
def track_tokens_usage(chain, query):with get_openai_callback() as cb:result chain.run(query)print(fprompt token {cb.prompt_tokens}, res token {cb.completion_tokens}, total token {cb.total_tokens})print(fsuccessful requests {cb.successful_requests}, total cost {cb.total_cost}USD)print(result)return result通过回调函数 get_openai_callback 创建一个回调对象 cb 并通过对象 cb 可以获取请求相关信息请求数、消耗金额、令牌数量等。
调用
track_tokens_usage(conversation, 介绍一下观测云可观测性的产品及优势)由于执行完成后进程会退出添加以下代码阻止退出方便相关数据及时上报。
print(脚本执行完成按 Enter 键退出...)
input()执行脚本
DD_SERVICEmy-langchain DD_ENVdev DD_AGENT_HOSTlocalhost DD_AGENT_PORT9529 ddtrace-run python3 langchain_demo.py LangChain 可观测性实践效果
指标 调用链 常见问题
Token 异常
如果没有配置 Token则会报错
pydantic.v1.error_wrappers.ValidationError: 1 validation error for ChatOpenAI
__root__Did not find openai_api_key, please add an environment variable OPENAI_API_KEY which contains it, or pass openai_api_key as a named parameter. (typevalue_error)关于 Token可以在代码中定义
import os
os.environ[OPENAI_API_KEY] sk-...DcE2但不建议那么做可以使用环境变量方式 OPENAI_API_KEYsk-...DcE2 余额不足
openai.RateLimitError: Error code: 429 - {error: {message: You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors., type: insufficient_quota, param: None, code: insufficient_quota}}代理
如需配置代理可以加入以下配置
import os
os.environ[http_proxy] http://localhost:7890
os.environ[https_proxy] http://localhost:7890其他第三方 API
如果需要更换第三方 API 地址可以使用以下方式
import os
os.environ[OPENAI_API_BASE] https://chatapi.a3e.top/v1参考资料
LangChain 集成文档
