建设者网站,vue大型网站怎么做路由,如何制作境外网站,郑州网站开发yipinpai1 基本介绍
投机采样#xff08;Speculative Sampling#xff09;是一种并行预测多个可能输出#xff0c;然后快速验证并采纳正确部分的加速策略 在不牺牲输出质量的前提下#xff0c;减少语言模型生成 token 所需的时间 传统的语言模型生成是 串行 的 必须生成一个…1 基本介绍
投机采样Speculative Sampling是一种并行预测多个可能输出然后快速验证并采纳正确部分的加速策略 在不牺牲输出质量的前提下减少语言模型生成 token 所需的时间 传统的语言模型生成是 串行 的 必须生成一个再输入到模型中才能生成下一个 投机采样的核心思想是 用一个“小模型”提前生成多个候选 token投机结果然后用“大模型”一起验证这批候选并行加速。
2 举例
比如已有 prompt 是“The weather today is”小模型Draft Model快速生成多个候选 token 例如预测出The weather today is [sunny, and, warm, with, ...] 共 5 个 token 大模型Target Model验证这些 token 大模型并行地计算这 5 个 token 的概率 如果小模型的结果和大模型的前几个 token 一致大模型在这个token上概率小于小模型的即小模型“更有把握”就“采纳”它如果中途发现不一致就在那个位置停止用大模型重新生成。 那么下一轮
