流量型网站 cms,影楼网站服务,网站建设项目培训,全国分站seo来源#xff1a;机器之心编辑#xff1a;张倩在这篇综述论文中#xff0c;来自佐治亚理工学院的杨笛一等十几位研究者系统阐述了自然语言处理中的因果推理。科学研究的一个基本目标是了解因果关系。然而#xff0c;尽管因果在生活和社会科学中扮演了重要角色#xff0c;它… 来源机器之心编辑张倩在这篇综述论文中来自佐治亚理工学院的杨笛一等十几位研究者系统阐述了自然语言处理中的因果推理。科学研究的一个基本目标是了解因果关系。然而尽管因果在生活和社会科学中扮演了重要角色它在 NLP 中却没有得到同样重要的地位后者通常更加重视预测任务。随着因果推理和语言处理交叉研究领域的出现二者之前的界限正变得模糊但 NLP 中的因果推理研究仍然分散在各个领域没有统一的定义、基准数据集和对剩余挑战的清晰表述。在这篇综述论文中来自以色列理工学院的 Amir Feder、佐治亚理工学院的杨笛一等十几位研究者系统阐述了自然语言处理中的因果推理为计算语言学界提供了一个统一的因果推理概述。具体来说他们介绍了估计因果效应的统计学挑战包括文本作为 outcome、treatment 或解决干扰confounding的手段等情况。此外他们还探讨了因果推理的潜在用途以提高 NLP 模型的性能、稳健性、公平性和可解释性。论文链接https://arxiv.org/pdf/2109.00725v1.pdf为什么要重视 NLP 中的因果推理很多科学领域对于将文本整合成数据越来越感兴趣。NLP 研究人员可能不熟悉这些领域的一个关键特性即强调因果推理。例如在推荐一种新的药物疗法之前临床医生想知道这种药物与疾病进展之间的因果关系。因果推理涉及一个通过干预intervention创造的反事实世界的问题如果当时给病人用了药他们的病情会如何发展正如下面将要解释的在观察数据中因果效应并不等同于服用药物的患者与其观察到的疾病进展之间的相关性。现在有关于使用传统非文本数据集进行有效推理的技术的深入文献但这些技术在自然语言数据中的应用引发了新的挑战。一直以来传统 NLP 应用的研究目的都是作出准确的预测通常任何统计相关性都被认为是可接受的无论潜在的因果关系如何。然而随着 NLP 在高风险场景中的部署愈发普遍我们不能依赖通常的假设即训练和测试数据是同分布的。我们可能不会满足于无法解释的黑箱预测器。对于这两个问题因果推理提供了一条有希望的道路数据生成过程中因果结构的领域知识可以提示归纳偏置从而带来更稳健的预测器而预测器本身的因果视角可以提供关于其内部运转方式的新见解。因此这篇综述的核心主张是加深因果推理与 NLP 之间的联系可能对促进社会科学和 NLP 研究具有重要意义。这篇综述写了什么在论文中研究者将因果推理与 NLP 之间的交集分为两个不同的领域1从文本中估计因果关系2利用因果形式体系提高 NLP 方法的可靠性。他们利用两个例子说明了其中的区别。例 1. 一个在线论坛允许其用户在他们的个人资料中用一个图标表示性别。他们注意到图标为「女性」的用户所发的帖子得到的点赞量要少一些。为了评估这一政策允许用户在资料中提供性别信息他们问了一个问题被认为是女性会降低帖子的受欢迎程度吗例 1 中要探讨的是「被认为是女性treatment」和「帖子得到的点赞量outcome」之间是否存在因果关系。这里的反事实问题就成了如果我们操控了一个帖子的性别图标它能得到多少个赞被观察到的「被认为是女性」和「帖子得到的点赞量」之间的关联一般不符合因果效应。这是因为出现这种关联可能有两方面原因1确实存在因果关系2由干扰因子引起的伪相关即那些与 treatment 和 outcome 都有关系的变量。在这个例子中帖子的话题就可能是一个干扰因子图标为女性的用户所发的帖子可能更多的是关于某个话题的而该话题本身就很难吸引人点赞。正如论文第二部分所言由于干扰因子的存在在没有假设的情况下估计因果关系是不可能的。例 1 强调的是这样一种设置文本编码了因果效应的相关干扰因子。「文本作为一种干扰因子text as a confounder」是我们可以用文本数据作出的众多因果推理之一。文本数据还可以编码 outcome 或感兴趣的 treatment。例如我们可能想知道被感知到的性别如何影响到一个帖子所收到的回复的情绪text as outcome或者一种写作风格如何影响到一个帖子所收到的赞text as treatmentNLP 有助于因果推理。文本数据的因果推理涉及几个不同于典型因果推理的挑战文本是高维的需要复杂的建模来衡量语义上有意义的因素如主题而且需要仔细思考以形式化因果问题对应的干预。从主题模型到上下文嵌入NLP 在建模语言方面的发展为从文本中提取所需信息以估计因果效应提供了有前景的方法。然而我们需要新的假设以确保 NLP 方法的使用能够带来有效的因果推理。作者在论文的第三部分讨论了从文本中估计因果效应的现有研究并指出了其中的挑战和机遇。例 2. 一家医学研究中心想要构建一个分类器用于从病人医疗记录的文本叙述中检测临床诊断。这些记录汇总在多个医院站点目标临床状况的频率和叙述的写作风格都有所不同。当分类器应用于训练集之外的站点的记录时它的准确率会下降。事后分析表明这个分类器在看起来不相关的特性上投入了很高的权重比如格式标记。和例 1 一样例 2 也涉及到一个反事实问题如果我们改变医院站点同时保持真实的临床状态不变分类器的预测是否会改变我们希望分类器依靠那些表达临床状况的短语来作出判断而不是写作风格。然而在训练数据中由于站点成了混淆变量临床状况和写作风格之间就有了虚假的相关性例如某个站点可能由于它自身的位置或特殊性而更容易遇到目标临床条件也可能使用独特的文本特征如在每个叙述的开头使用样板文本。在训练集中这些特征将影响标签的预测但它们不太可能在新站点的部署场景中有用。在本例中医院站点就像一个干扰因子它在文本的某些特征和预测目标之间建立了虚假的相关性。例 2 显示了缺乏稳健性是如何降低 NLP 方法可靠性的。一个相关的问题是NLP 系统通常是黑盒这让我们很难理解人类可解释的文本特征如何导致观测到的预测。在这种设置中我们想知道文本的某些部分例如一些 token 序列是否导致了 NLP 方法的输出例如分类预测。因果推理可以帮助 NLP。为了解决 NLP 方法的稳健性和可解释性问题我们需要新的标准来学习不只会利用相关性的模型。例如我们希望预测器在我们对本文稍作更改时保持不变例如在保持 ground truth 标签不变的情况下更改格式。利用因果来发展新的准则为建立可靠、可解释的自然语言处理方法提供服务这是相当有希望的。在论文的第 4 部分研究者概述了现有的研究并列举了使用因果推理来促进自然语言处理研究的挑战和机遇。以下是该论文的完整目录更多细节请参考论文。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
