365建站器,恐龙网站建设,潍坊网站建设一品网络,长春网站seo论文速读|MetaMetrics-MT: Tuning Meta-Metrics for Machine Translation via Human Preference Calibration 论文信息#xff1a; 简介#xff1a; 本文的背景是机器翻译#xff08;MT#xff09;任务的评估。在机器翻译领域#xff0c;由于不同场景和语言对的需求差异 简介 本文的背景是机器翻译MT任务的评估。在机器翻译领域由于不同场景和语言对的需求差异没有单一的评估指标能够普遍适用。现有的评估指标可能在一个任务中表现良好但在另一个任务中可能就不适用。因此依赖单一指标往往是不够的需要将自动评估指标与人类评估对齐以确保其有效性。此外现有的多个评估指标之间可能因为模型和训练数据的差异而相关性不强这影响了它们与人类评估的一致性和跨语言对的可靠性。因此本文提出了一种新的方法旨在通过贝叶斯优化和高斯过程GP来调整和优化现有的MT评估指标使其更贴近人类偏好。 论文方法 本文提出的方法是METAMETRICS-MT一个创新的评估指标它通过贝叶斯优化和高斯过程来优化现有MT评估指标的相关性。 具体步骤如下 多指标融合METAMETRICS-MT结合了多个不同的评估指标每个指标都被赋予特定的权重以优化整体性能。这些指标包括基于词汇和基于语义的指标它们被整合在一起以形成一个综合的评估分数。 贝叶斯优化使用贝叶斯优化来确定最佳的权重集合这些权重最大化了评估分数与人类评估分数之间的相关性。贝叶斯优化通过构建目标函数的概率模型平衡了新区域的探索和已知有前景区域的利用。 高斯过程GPGP被用作贝叶斯优化中的代理模型它假设变量的多变量高斯分布并随着观测数据的增加而变得更加精确从而帮助算法更有效地识别权重空间中的有前景区域。 论文实验 论文中提到了两个版本的METAMETRICS-MT一个是基于参考的Reference-based另一个是无需参考的Reference-free。 实验使用了WMT24度量共享任务数据集并且使用了Kendall’s τ相关性作为评估指标。 在参考基础设置中使用了包括MetricX-23的不同变体、BERTScore、YISI-1、BLEURT、COMET-22和XCOMET-XL等在内的多个评估指标。 在无参考设置中使用了包括CometKiwi的不同变体、GEMBA-MQM和MetricX-23-QE等在内的多个评估指标。 Table 2展示了不同评估指标在WMT24共享任务中的表现包括系统级软成对排名准确率sys SPA、段级成对排名准确率seg acc-t和系统级、段级平均相关性avg. corr。 论文中的METAMETRICS-MT在参考基础设置下的表现超过了所有其他基线特别是在系统级和段级平均相关性方面METAMETRICS-MTHybrid变体在所有变体中表现最佳。 论文链接
https://arxiv.org/abs/2411.00390
原文来自
NLP论文速读多伦多大学|利用人类偏好校准来调整机器翻译的元指标
