深圳微商城网站制作公司,广西桂林学院,织梦做的网站织梦修改网页模板,wordpress 插件不生效✨✨ 欢迎大家来访Srlua的博文#xff08;づ#xffe3;3#xffe3;#xff09;づ╭❤#xff5e;✨✨ #x1f31f;#x1f31f; 欢迎各位亲爱的读者#xff0c;感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢#xff0c;在这里我会分享我的知识和经验。づ3づ╭❤✨✨ 欢迎各位亲爱的读者感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢在这里我会分享我的知识和经验。 希望在这里我们能一起探索IT世界的奥妙提升我们的技能。 记得先点赞后阅读哦~ 所属专栏传知代码论文复现 欢迎访问我的主页Srlua小谢 获取更多信息和资源。✨✨
目录
论文地址
主要内容
模型图
技术细节
第一步先验预测获取
第二步预测反馈设计
第三步测试样本推断
实验结果
运行
基础配置
安装包
运行代码
小结 本文所有资源均可在该地址处获取。
论文地址
Improving In-Context Learning with Prediction Feedback for SentimentAnalysis
主要内容
这篇文章的主要内容是关于如何通过预测反馈来改善大型语言模型LLMs在情感分析中的上下文内学习In-Context Learning, ICL能力。文章提出了一个框架该框架通过以下三个步骤来增强ICL
获取LLMs的先前预测使用传统的ICL方法为每个候选示例产生先前预测。设计基于正确性的预测反馈根据预测的正确性将示例分类并提供反馈以阐明先前预测与人类标注之间的差异。利用反馈驱动的提示来提炼情感理解在推理过程中从每个子池中选择相关示例并使用特定的反馈驱动提示来包装输入、预测、标签和反馈。
文章通过在九个情感分析数据集上的实验结果表明该框架相较于传统的ICL方法在平均F1分数上提高了5.95%。此外文章还探讨了该框架的有效性和鲁棒性并指出了其在其他任务上的潜在应用。
模型图 文章的反馈提示框架主要分为三步。 第一步正常预测第二步将预测结果和真实结果进行比较得到反馈第三步构建获得反馈的示例构建最终的提示词优化模型的任务表现。
技术细节
第一步先验预测获取 这一步的重点是获取对每条数据的预测值以便后续的反馈提供。
为此遵循传统的ICL文章先从候选池中随机选择四条数据作为示例它们与任务指令结合起来提示LLM进行预测。
这些预测称为先验预测因为它们反映了大模型的先验情感理解。
第二步预测反馈设计 先验预测的正确性直接标志着llm能否准确把握相应样例的情感。
为了让大模型在理解和推理方面的自我调整文章首先将示例分为两部分Pc和Pw其中前者为先验正确分类的数据后者为先验错误分类的数据。
然后以自然语言的形式分别提供反馈: 第三步测试样本推断 为了完成给定测试输入的推理首先从每组数据先验正确和先验错误得到反馈的数据中检索k/2文章中k默认取2个示例。
由于文章的框架与检索模式无关因此这里可以使用任何示例检索技术。
此外文章还开发了一个反馈驱动的提示模板将每个选定示例的输入、预测、标签和反馈包装成一个四件套也就是现在的一个示例是包含数据、先验预测值、真实标签和反馈值。
其实简单来说文章的改进点就是示例进行了改进在示例中加入反馈了。 这就是文章提出的框架运用的实例了。 前四个都是示例 最后一个就是要进行预测的。
实验结果 表1展示了在不同的情感分析数据集上使用不同方法进行情感分类、方面情感分类和情绪检测任务时的性能对比。表中的性能通过F1分数一种综合考虑查准率和查全率的性能指标来衡量。
其中Random表示随机选取样例BM25、SBERT、MMR、KMeans都是选取样例的各种方法目的是选择更有代表性或者语义相似度更高的示例以帮助大模型提示学习。
文章默认使用的大模型是Llama2-13B-Chat
我们可以看到实验结果文章提出的方法都有提升特别是在情绪分析任务上提升最大。 在一些立场检测自然语言理解的任务上文章提出的框架仍然有用。 消融实验表明每个部分都是有用的去除都会影响性能。
运行
基础配置
win10内存16G cpu gpu显存6G*1 安装包
python3.11 pip install -r req.txt --default-timeout120 -i https://pypi.tuna.tsinghua.edu.cn/simple运行代码 run.bat小结
文章的思路比较简单但是效果确实有提升提示学习还是有点东西的。
