格豪网络建站,商城型网站建设多少钱,网站开发框架有哪些,网站建设的目标和需求来源#xff1a;专知北京交通大学最新《深度因果模型》综述论文#xff0c;31页pdf涵盖216页pdf详述41个深度因果模型#xff0c;值得关注#xff01;因果关系概念在人类认知中起着重要作用。在过去的几十年里#xff0c;因果推理在计算机科学、医学、经济学和教育等许多领…来源专知北京交通大学最新《深度因果模型》综述论文31页pdf涵盖216页pdf详述41个深度因果模型值得关注因果关系概念在人类认知中起着重要作用。在过去的几十年里因果推理在计算机科学、医学、经济学和教育等许多领域都得到了很好的发展。随着深度学习技术的发展它越来越多地用于反事实数据的因果推理。通常深度因果模型将协变量的特征映射到一个表示空间然后根据不同的优化方法设计各种目标优化函数无偏估计反事实数据。本文对深度因果模型进行了综述其核心贡献如下: 1)提供了多剂量和连续剂量治疗下的相关指标; 2)我们从时间发展和方法分类的角度整合了深度因果模型的全面概述; 3)我们协助对相关数据集和源代码进行详细和全面的分类和分析。https://www.zhuanzhi.ai/paper/efde4edd817ef37778e7a9cf46d46ca1一般来说因果关系指的是结果与产生结果的原因之间的联系。这种现象的原因和影响很难定义我们往往只能凭直觉意识到它们。因果推断是一个根据因果关系发生的环境对因果关系作出结论的过程在现实世界中有各种各样的应用。例如估计广告中观察数据的因果效应[3,4,5,6,7,8,9]开发与因果治疗效果估计高度相关的推荐系统[10,11,12,13,14,15,16]学习医学中患者的最佳治疗规则[17,18,19]估计强化学习中的ITE[20,21,22,23,24,25,26,27,28]自然语言处理中的因果推理任务[29,30,31,32,33,34]新兴的计算机视觉和语言交互任务[35,36,37,38,39]教育[40]政策决策[41,42,43,44,45]和改进的机器学习方法[46]等。深度学习在应用于大数据时有助于人工智能的发展[47,48,49,50]。与传统机器学习算法相比深度学习模型计算效率更高精度更高在各个领域都有很好的表现。然而许多深度学习模型是可解释性较差的黑盒因为它们更关心作为输入和输出的相关性而不是因果关系[51,52,53]。近年来深度学习模型被广泛用于挖掘数据的因果关系而不是相关性[41,43]。因此深度因果模型已成为基于无偏估计估计治疗效果的核心方法[19,44,45,54]。目前许多因果推理领域的研究都是利用深层因果模型来选择合理的treatment 方案[55,56,57,58]。在大数据中所有趋势变量都是相关的[59]因此发现因果关系是一个具有挑战性的问题[60,61,62]。在统计学理论中进行随机对照试验(randomized controlled trials, RCT)[63]是推断因果关系最有效的方法。换句话说样本被随机分配到处理组或对照组。尽管如此现实世界的随机对照试验数据是稀疏的有几个严重的缺陷。涉及rct的研究需要大量特征变化不大的样本难以解释涉及伦理挑战。事实上选择试验对象来尝试一种药物或疫苗是不明智的[64,65]。因此因果效应通常直接用观察数据来衡量。获取反事实结果的一个核心问题是如何处理观测数据[66]。在分析观察数据时处理并不是随机分配的处理后的样本的性能与普通样本的性能有显著差异[41,43]。不幸的是我们无法在理论上观察到其他结果因为我们无法观察到反事实结果[67]。主流研究的一个长期特征是使用潜在结果框架作为解决观察数据因果推断问题的手段[68]。潜在结果框架也被称为Rubin因果模型[69]。因果推理与深度学习密切相关因为它是使用Rubin因果模型概念化的。为了提高估计的准确性和无偏性一些研究人员尝试将深度网络和因果模型结合起来。举例来说考虑分配平衡方法[41,43,44]的表示协变量混杂学习方法[54,70,71]的效果基于生成对抗网络的方法[45,72,73]等[58,34,74]。由于深度学习方法促进了因果推理因果推理也有助于深度学习方法的发展。除了提高因果效应估计的准确性深度网络的研究为开发深度学习算法提供了一个合理的基础[75,76]。近年来人们对因果推理的各种观点进行了讨论[77,1,78,79,80,81,82,83,2]。表1列出了相关综述的标题和要点。文献[77]深入分析了因果推理的起源和变量发展以及因果学习对因果推理发展的影响。此外调查[1]对传统和前沿的因果学习方法进行了概述并对机器学习和因果学习进行了比较。许多学者讨论了如何解释机器学习。随后为了创建可解释的人工智能算法survey[79]结合了因果推理和机器学习。作为一种新颖的视角因果表征学习正在蓬勃发展综述[80]利用它从低级观察中发现高水平的因果变量加强了机器学习和因果推理之间的联系。由于近年来因果机器学习的流行综述[78]对图因果推理与机器学习的相关性进行了详细的讨论。此外在调查[81]中作者考察了机器学习的最新进展如何应用于因果推理并对因果机器学习如何有助于医学科学的进步提供了全面的解释。正如综述[82]所认为的基于深度学习可以改进和整理因果发现方法可以探索可变范式来帮助思考和探索因果发现方法。推荐系统中的因果推理是调查的重点[83]它解释了如何使用因果推理来提取因果关系以增强推荐系统。长期以来统计的潜在结果框架一直是连接因果推理和深度学习的桥梁作为起点综述[2]检查并比较了满足这些假设的不同类别的传统统计算法和机器学习算法。由于深度学习算法的快速发展现有文献在考察泛化时没有考虑深度因果模型。因此我们从深度网络的角度从时间和分类两方面总结了深度因果模型。本综述对近年来的深度因果模型进行了全面的回顾和分析。它有三个核心贡献: 1)我们在多次treatments 和连续剂量treatments 的情况下纳入了相关指标。2)我们从方法分类和时间发展的角度对深层因果模型进行了全面的概述。3)我们在相关数据集和源代码的分析和分类方面提供详细和全面的支持。以下是论文其余部分的大纲。如第2节所述本文将介绍深度因果模型以及定义和假设。在第3节中介绍了适当的例子和度量包括二元treatment、多重treatment和连续剂量treatment。第4节展示了一个深度因果模型包括概述和分析。第5节讨论了深度因果模型的方法包括分布平衡方法、协变量混杂学习方法、基于生成对抗网络的方法、基于文本输入时间序列的方法以及基于多treatment和连续剂量treatment模型的方法。相关实验指南的列表如下第6节。论文的摘要在第7节中给出。深度因果模型通过对背景和基本定义的深入理解本节将进入深度因果模型的核心。本文概述了深度因果模型及其在过去六年间的发展包括基于时间轴的41个深度因果模型的分析。近年来深入因果模型的研究越来越受欢迎。随着深度学习的发展各种深度因果模型在估计因果效应方面变得更加准确和有效。根据图1我们列出了2016年6月至2022年2月期间约40个经典的深度因果模型包括它们的详细名称和提出时间。深度因果模型从2016年开始开发。Johansson等首次发表了反事实推理的学习表示[41]提出了算法框架BNN和BLR[41]将深度学习与因果效果估计问题相结合将因果推理问题转化为领域适应问题。从那时起许多模型被提出包括DCN-PD[110] TARNet和CFRNet[43]。在这方面需要注意的是Louizos等人在2017年12月提出的基于深度网络经典结构参数自编码器VAE的CEVAE[54]模型主要关注混杂因素及其对因果效应估计的影响。图1: 深度因果模型的发展在2018年以及2019年人们对因果表征学习的兴趣越来越浓厚。首先我们联合提出了Deep-Treat[19]和RCFR[111]模型。在GANITE[45]模型推出后使用生成对抗模型[112]体系结构进行反事实估计成为因果推理领域的主流。根据前面的工作对CFR-ISW[113]、CEGAN[72]、SITE[44]进行了优化。R-MSN[74]模型于2018年12月实现利用循环神经网络[114]解决多治疗时间序列的连续剂量问题开辟了深层因果模型。为了解决这一问题2019年5月提出了PM[42]和TECE[104]用于与多个离散处理相关的因果效应估计。作为后续CTAM[34]开始专注于估算文本数据的因果影响;Dragonnet[71]首次将正则化和倾向评分网络引入因果模型;ACE[55]试图从表示空间中提取细粒度的相似度信息。对于RSB的[115]2019年12月版使用深度表示学习网络和PCC[116]正则化来分解协变量使用工具变量来控制选择偏差使用混杂和调节因素来预测。深度因果模型在2020年蓬勃发展。首先DKLITE[56]模型结合了深核模型和后验方差正则化。然后DR-CFR[117]应用三个表示网络、两个回归网络和一个预测网络对协变量的选择偏倚进行解耦;GAD[118]则关注持续剂量治疗的因果效应;DRGAN[119]定义了一种用于拟合样品剂量效应曲线的创新生成对抗网络;CRN[120]通过结合反事实循环神经网络来估计随时间变化的治疗效果。TSD[121]在估计了多原因混杂下的时间序列因果效应后转向估计时间序列因果效应。在潜在表征空间中ABCEI[122]使用GAN平衡了治疗组和对照组的协变量分布。在前人研究的基础上BWCFR[123]、LaCIM[124]对结构思想进行了优化。此外SCIGAN[73]、DRNet[57]在2020年将连续剂量扩展到任意数量的treatment 问题VSR[125]以重新加权的方式聚合深度神经网络潜在变量。从2021年到2022年因果模型变得更加创新、开放和灵活。VCNet[58]模型实现了连续平均剂量-响应曲线的估计。截至2021年5月NCoRE[126]使用跨treatment 交互作用建模来理解产生多种治疗组合的潜在因果过程。之后CETransformer[127]利用Transformer[128]对协变量进行表征注意力机制集中在协变量之间的相关性上。在此基础上DONUT[129]和DeR-CFR[70]基于之前的工作进行优化。SCI[75]将子空间理论用于因果表征学习拓宽了研究者的思路。FlexTENet[130]提出了一种多任务自适应学习架构。此外SCP[131]采用两步程序评估多因素治疗效果。为了构建这种合成双胞胎匹配表示SyncTwin[132]利用了结果中的时间结构。最后TransTEE[76]将表征分布平衡方法扩展到连续的、结构化的和剂量依赖的treatment使其作为因果效应估计问题更加开放。下一节将分析同一类别的所有模型并基于深度学习结构的使用和模型所使用的共同思想进行比较。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
