做写字楼用哪个网站更好,小程序平台商城,服务类网站免费建站,视频网站设计与开发将LLM集成到项目所花费的成本主要是我们通过API获取LLM返回结果的成本#xff0c;而这些成本通常是根据处理的令牌数量计算的。我们如何预估我们的令牌数量呢#xff1f;Tokeniser包可以有效地计算文本输入中的令牌来估算这些成本。本文将介绍如何使用Tokeniser有效地预测和管…将LLM集成到项目所花费的成本主要是我们通过API获取LLM返回结果的成本而这些成本通常是根据处理的令牌数量计算的。我们如何预估我们的令牌数量呢Tokeniser包可以有效地计算文本输入中的令牌来估算这些成本。本文将介绍如何使用Tokeniser有效地预测和管理费用。 大语言模型如GPT中的tokens是指模型用来处理和理解文本的基本单位。令牌是语言模型处理文本时的基本单位可以是单词、子词subwords、字符或者其他更小的文本单元。所以我们在计算令牌时不能简单的将单词按照空格分隔而将一段文本分解成令牌的过程称为tokenization这是预处理文本的重要步骤。
大语言模型中一般都会使用子词作为令牌这对于处理词汇表中未见过的单词很有帮助。例如“unhappiness可能被分解成un”, “happi”, ness这三个子词。
Tokeniser是一个轻量级、高效的Python包使用正则表达式进行计数这样可以在不加载复杂的NLP模型时进行快速的估计 importtokenisertextHello, World!token_counttokeniser.estimate_tokens(text)print(fNumber of tokens: {token_count})这个包对于估计输入提示和来自LLM模型的预期响应中的令牌数量特别有用。假设输入提示包含60个令牌期望的响应长度为150个令牌那么每个请求的令牌总数为210
有了总令牌计数就可以根据GPT或其他LLM服务的定价来估计成本。例如如果服务每1000个令牌收费0.02美元:
每次请求费用: 210/1000∗0.020.0042
我们可以将上面的工作封装成一个函数进行总成本预测: importtokeniserdefestimate_cost_with_tokeniser(prompt, max_response_length, cost_per_thousand_tokens):input_tokenstokeniser.estimate_tokens(prompt)total_tokensinput_tokensmax_response_lengthcost_per_request (total_tokens/1000) *cost_per_thousand_tokensreturncost_per_request# Example usagepromptWrite a concise guide on estimating GPT and LLM query costs.max_response_length150# Desired response length in tokenscost_per_thousand_tokens0.02# Cost per 1,000 tokensestimated_costestimate_cost_with_tokeniser(prompt, max_response_length, cost_per_thousand_tokens)print(fEstimated cost per request: ${estimated_cost:.4f})把它放到我们的工具类中这样就可以在任何需要的时候直接调用了
总结
Tokeniser包为开发人员提供了一种实用而有效的方法来估计GPT和LLM查询令牌数这对于管理和预测使用成本至关重要。通过将简单的令牌计数合并到成本估算过程中可以确保项目更有效的预算管理。
https://avoid.overfit.cn/post/064552e1902b468d834e7d65399dcd04
作者Eugene Evstafev
