网站制作,仿什么值得买wordpress,网站集约化建设纪要,如何在对方网站上做外链开放域闲聊场景
Prompted LLMs as Chatbot Modules for Long Open-domain Conversation 发布日期#xff1a;2023-05-01 简要介绍#xff1a;作者提出了 MPC#xff08;模块化提示聊天机器人#xff09;#xff0c;这是一种无需微调即可创建高质量对话代理的新方法…开放域闲聊场景
Prompted LLMs as Chatbot Modules for Long Open-domain Conversation 发布日期2023-05-01 简要介绍作者提出了 MPC模块化提示聊天机器人这是一种无需微调即可创建高质量对话代理的新方法可以成为长期开放域聊天机器人的有效解决方案。该方法利用预训练好的大型语言模型LLM作为单独的模块通过使用 few-shot、思维链CoT和外部记忆等技术来实现长期一致性和灵活性。 MPC 本质上是一种 RAG 或者说 Agent在输入和输出的中间添加了更多思考和记忆的环节将 LLM 从“人”的角色进一步拆分为“大脑”和“嘴巴”。这种明确的分工的确能够提升最终的效果但同样会遇到 RAG、Agent 成本较高的问题以及引入更多中间环节造成的误差累积。为什么成本较高为了确保中间环节结果的正确性往往也会接一个 LLM 去做判断或者训练专门的小模型这些都需要资源并且对整个推理过程的时延造成一定的影响。在业务上是否真得要这么做还需要进一步衡量效果和成本的 tradeoff。
RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models 发布日期2023-10 简要介绍介绍 RoleLLM一个用于对 LLM 的角色扮演能力进行基准测试、诱导和增强的框架包括四个阶段(1) 100 个角色的角色档案构建(2) 基于上下文的指令生成Context-Instruct用于角色特定知识的提取(3) 使用 GPT 的角色提示RoleGPT用于说话风格的模仿(4) 角色条件指令调整Role-Conditioned Instruction TuningRoCIT用于微调开源模型和角色定制。通过 Context-Instruct 和 RoleGPT作者创建了 RoleBench这是第一个系统化、精细化的角色扮演基准数据集。
Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM 发布日期2024-01-05 简要介绍介绍了“混合”Blended这是一种通过随机选择不同系统模型的回复来组合多个聊天人工智能的简单方法。经验证据表明当特定的较小模型被协同混合时它们的性能有可能超过或赶上更大的同类模型同时还能保持较小系统的推理成本。 在对话过程中Blended 每次都会随机均匀选择产生当前响应的聊天模型例如有 A、B 和 C 三个聊天模型随机从中挑选一个模型来生成响应。论文中也提到“特定聊天模型生成的回复是以之前选择的聊天模型生成的所有回复为条件的。这意味着不同的聊天模型会对当前回复的输出产生隐性影响。因此当前的回复融合了各个聊天人工智能的优势它们相互协作创造出了更吸引人的整体对话”。由于这篇论文是 chai并且在他们自家的产品上得到了验证因此我们也尝试了该方案。但在使用过程中如果 A、B 和 C 这三个模型的差距较大时用户所看到的回答风格差距也较大就好像角色是“精神分裂”的。 如果成本足够的话可以考虑异步同时调用这三个模型然后在后处理环节中调用一致性方法或者 reward model 去评估各响应的结果挑选出最适合的响应。或者根据对话轮数来选择聊天模型例如前 10 轮调用 A 模型10 轮到 50 轮调用 B 模型50 轮以后调用 C 模型。
LLM-BlenderEnsembling Large Language Models with Pairwise Ranking and Generative Fusion 发布日期2023-06-05 简要介绍提出了一个名为 LLM-BLENDER 的集合框架该框架由两个模块组成Pair-Ranker 模块和 Gen-Fuser 模块。Pair-Ranker 采用一种专门的成对比较方法来区分候选输出之间的细微差别。Gen-Fuser 的目标是合并排名靠前的候选输出通过利用它们的优势和减少它们的劣势来生成改进的输出。 这篇工作比 chai 那篇论文要早从方法上来说我个人理解也更加靠谱一些但 Gen-Fuser 要怎么做是个比较棘手的问题。并且整体的流程过长即便是异步调用的方式整体的时长取决于最后一个输出的耗时并且不同模型的输出有长有短在实际的使用过程中要不可避免地要增加时延以及降低服务的总体吞吐。
