网站蜘蛛来访记录,卖服装设计稿的平台,wordpress 后台 324,网站开发有什么技术要求周志华#xff0c;毕业于南京大学#xff0c;欧洲科学院外籍院士#xff0c;国家杰出青年基金获得者#xff0c;现任南京大学人工智能学院院长、南京大学计算机软件新技术国家重点实验室常务副主任、机器学习与数据挖掘研究所 (LAMDA)所长、人工智能教研室主任。2021年8月1… 周志华毕业于南京大学欧洲科学院外籍院士国家杰出青年基金获得者现任南京大学人工智能学院院长、南京大学计算机软件新技术国家重点实验室常务副主任、机器学习与数据挖掘研究所 (LAMDA)所长、人工智能教研室主任。2021年8月1日中国科学院公布2021年中国科学院院士增选初步候选人名单周志华在列11月3日周志华凭借《面向多义性对象的新型机器学习理论与方法》获得2020年度国家自然科学奖二等奖。来源机器之心首届国际学习与推理联合大会IJCLR已于 10 月 25-27 日在线上举行该会议代表了国际推理与学习相融合方面的重大趋势多位国内外领域学者发表演讲其中周志华教授作了大会的开场主旨报告分享了题为《利用无标签数据从「纯学习」到「学习 推理」》的主旨演讲。学习和推理一直是人工智能中的核心研究内容诸多学者都认为两者的结合将具有解决当代人工智能方法缺点的潜力包括深度学习的黑箱性质等然而这方面的工作极为困难需要将人工智能中逻辑推理、知识表示、机器学习等多个领域打通。人工智能领域的大会可以说是不胜枚举但还没有专门关注学习与推理结合的重量级会议。现在终于有这样一个会议可以满足研究者这方面的需求——国际学习与推理联合大会International Joint Conference on Learning ReasoningIJCLR。首届国际学习与推理联合大会已于 10 月 25-27 日在线上举行。该会议代表了国际推理与学习相融合方面的重大趋势可以说是 2021 年国际人工智能界的一件大事。该会议由四个有十年、甚至三十年历史的会议联合形成第 30 届国际归纳逻辑程序设计大会 (ILP20-21)、第 15 届国际神经符号学习与推理研讨会NeSy20-21、第 10 届国际统计关系人工智能研讨会StarAI 20-21)、第 10 届国际归纳程序方法及应用研讨会AAIP 20-21。这意味着国际人工智能领域关于「学习 推理」 的几个研究社区终于整合到了一起携手探索「学习 推理」 的未来。IJCLR 大会主页http://lr2020.iit.demokritos.gr/index.htmlIJCLR 旨在将从事学习和推理各个方面的研究人员和从业者聚集在一起探讨未来发展和挑战促进不同方法之间的协作和交叉融合ILP 大会一直是基于逻辑学习方法研究的首要论坛最初该会议专注于逻辑程序归纳多年来已将其研究范围扩展到其他形式的关系学习和概率方法NeSy 是展示和讨论与神经符号计算相关的系列研讨会例如神经和基于逻辑的学习和推理方法的组合StarAI 研讨会系列主要是研究逻辑与概率论组合重点是统计推理和学习关系以及一阶逻辑表示AAIP 研讨会系列侧重于从不完整的规范中学习任意编程语言的可执行程序。 本次大会邀请了多位领域大咖发表演讲。其中我国南京大学计算机系主任兼人工智能学院院长周志华教授作了大会的开场主旨报告分享了题为《利用无标签数据从 「纯学习」 到「学习 推理」》的主旨演讲。在会议最后的 Panel 环节周志华教授还与流形学习与贝叶斯程序学习创始人、MIT 脑与认知科学系教授 Josh Tenenbaum Robust.AI 创始人、认知科学专家 Gary Marcus缺省推理创始人、瑞典林雪平大学知识表示与推理教授 Hector Geffner英国皇家工程院交互可解释人工智能研究主席、帝国理工教授 Francesca Toni曾担任国际人工智能联合会主席和《人工智能研究杂志》主编的 IBM Fellow Francesca Rossi 等五位大咖共同讨论了《学习和推理的未来挑战》。这意味着我国学者在机器学习与逻辑推理融合方面已经达到了国际同行公认的引领性和前瞻性能与国际顶尖专家平等对话讨论整个领域的未来。在本次大会的开场主旨报告演讲中周志华教授先简要介绍了机器学习中利用无标签数据的重要性以及过去利用无标签数据主要依赖的「纯学习」解决方案然后重点介绍了他最近提出的「反绎学习」。这是一种全新的「学习 推理」方案与以往的「学习 推理」方案重点依赖学习、获得的结果牺牲了推理能力或重点依赖推理、获得的结果牺牲了学习能力不同反绎学习提供了一种以平衡和互利方式利用机器学习和逻辑推理的「学习 推理」解决方案。通过逻辑推理对领域知识进行利用从而可以显著缓解对有标签数据的需求而通过机器学习可以利用数据对领域知识进行精化和改善甚至可能发现新知识。以下为机器之心根据周志华教授的现场演讲内容进行的整理。周志华教授演讲内容概要自训练方法Self-training机器学习通常依赖大量的有标签数据而现实中很容易获得大量无标签数据如何利用无标签数据辅助少量有标签数据进行学习是一个重大挑战问题。很容易想到的办法有自训练 / 自学习用有标签数据训练一个模型然后用模型来对无标签数据提供伪标签然后基于伪标签数据来更新模型。但这样做不太“靠谱”因为当初始有标签数据很少时训练出的初始模型性能差伪标签中会有大量错误导致学习性能越来越差。这样的做法在很久以前就有所改进例如对伪标签数据进行数据编辑对数据净化之后再用于学习。编辑过程可以采用一些统计假设检验方法。然而总体上这样的方法仍然是启发式的人们希望有一些有理论支撑的方法。主动学习Active learning主动学习Active learning是机器学习的一个分支其主要思路是从大量无标签样本中挑选少量样本给人类专家进行标注从而让人类专家的力气用在 「最有价值」的地方。其目标是通过尽量少地选择样本给人类专家标注能够大幅度提升学习性能。 典型的两大类代表性方法是有选择最 informative 的示例进行标注和选择最有代表性的示例进行标注。新的发展是同时兼顾 informative 和代表性。然而主动学习假设了「人在环中」human-in-the-loop如果没有人类专家的帮助则必须考虑其他的办法来利用无标签数据例如半监督学习。半监督学习半监督学习具有代表性的方法包括生成式方法、半监督 SVM、基于图的方法、基于分歧的方法。 基于分歧的半监督学习是该领域的主流范型之一, 通过训练多个学习器利用它们之间的分歧来对无标签数据进行利用。协同训练Co-training是基于分歧方法的代表它最初是针对 「多视图」 数据提出多视图数据是指一个样本同时由多个属性集合描述每个属性集合称为一个「视图」。协同训练首先基于两个视图分别训练一个分类器然后每个分类器挑选一些可信度高的无标签样本标注后提供给另一个分类器作为有标签数据进行使用。由于这些分类器从不同角度训练出来可以形成一种互补从而提高分类精度就如同从不同角度可以更好地理解事物一样。这个简单的算法被广泛应用在应用中有令人惊讶的优越性能。研究者们努力理解它为什么有效、在什么时候有效。机器学习领域奠基人、CMU 的 Tom Mitchell 教授等人证明如果数据具有两个满足条件独立性的视图、且每个视图都包含足够产生最优学习器的信息则协同训练能够通过利用无标签数据任意提升弱学习器的性能。然而这个理论条件在现实中并不成立因为关联到同一个样本的两个视图通常并不满足条件独立性。此后有许多著名学者如计算学习理论大会主席 Balcan 等人做了重要工作最后周志华教授课题组在理论上最终给出了协同训练能够奏效的充分条件和充分必要条件。其理论揭示出只要两个学习器有较大差异就能通过协同训练利用无标签数据提升性能。该理论说明「两个视图」并非必须只要想办法让学习器之间具有较大差异即可。该理论结果导致了一系列 「单视图方法」例如 tri-training 方法等最近在深度学习领域也有基于 tri-training 的半监督深度神经网络模型。然而半监督学习仍然需要一批有标签数据例如在半监督 SVM 或基于分歧的方法中训练初始分类器。如果既没有 「人在环中」 的人类专家帮助、也没有充分的有标签数据还有没有办法利用无标签数据呢周志华课题组提出如果有「领域知识」那么可以通过机器学习和逻辑推理的结合来做。机器学习和逻辑推理逻辑推理容易利用规则知识机器学习容易利用数据事实从人类决策来看通常需要结合知识和事实以解决问题。研究一个能够融合机器学习和逻辑推理并使其协同工作的统一框架被视为人工智能界的圣杯挑战。在人工智能研究的历史中机器学习和逻辑推理两者基本是独立发展起来的1956~1990 年是逻辑推理 知识工程作为人工智能主流的发展时期但此时关心机器学习的人很少1990 年之后是机器学习作为人工智能主流的发展时期但此时逻辑推理已经相对冷门。目前流行的逻辑推理技术通常基于一阶逻辑表示而流行的机器学习一般基于特征表示。这两者几乎是基于完全不同的表示方式难以相互转化使得两者的结合极为困难。为了融合机器学习和逻辑推理历史上已经有很多研究者在做努力。他们通常采用扩展其中一种技术来适应另一种技术的方法。例如概率逻辑程序PLP尝试扩展一阶逻辑以引入概率推理。而统计关系学习SRL基于领域知识构建、初始化概率模型。前者「重推理、轻学习」开头引进了一点机器学习的成分然后几乎完全依赖逻辑推理解决问题后者「重学习、轻推理」开头引进了一点逻辑推理的成分然后几乎完全依赖机器学习解决问题。总是「一头重、一头轻」意味着总有一端的能力没有完全发挥出来。这就面临一个问题能不能有一个新的机制帮助我们把这两大类技术的优势都充分地发挥起来、相对均衡地「互利式地」结合逻辑推理和机器学习呢反绎学习的提出就是为了解决这个问题。反绎学习abductive learning反绎学习是一种将机器学习和逻辑推理联系起来的新框架。在理解反绎学习之前我们先来理解这个反绎的含义。在人类对现实问题的分析抽象上通常有两种典型方法论演绎从一个普遍的规则开始到一个有保证的特定结论这就是一个从一般到特殊的过程归纳从一些特定事实开始然后我们从特定的事实中总结出一般的规律这就是从特殊到一般。定理证明可以说是演绎的典型代表而机器学习是归纳的典型代表。反绎则与两者有所区别其标准定义是首先从一个不完备的观察出发然后希望得到一个关于某一个我们特别关心的集合的最可能的解释。周志华说他提出的反绎学习可大致理解为将演绎过程反过来嵌入到归纳过程中去所以他提出 「反绎」 这个中文名字而不是直接翻译为 「诱导」或「溯因」。现在返回来看传统的监督学习。监督学习首先需要有很多示例以及标签将它们结合起来进行监督学习训练出一个分类器。反绎学习的设置不太一样反绎学习中假设有一个知识库以及一个初始分类器。在这个学习中我们先把所有的数据提供给这个初始分类器初始分类器猜测一个结果得到结果之后就会把它转化成一个知识推理系统能够接受的符号表示。那么接下来这一步我们就要根据知识库里面的知识来发现有没有什么东西是不一致的如果有不一致我们能不能找到某一个东西一旦修改之后它就能变成一致或者修改之后使得不一致程度大幅度降低这就需要我们去找最小的不一致。如下图所示假设我们现在找到只要把这个非 C 改成 C那么你得到的事实就和知识都一致了。我们就把它改过来这就是红色的这个部分这就是一个反绎的结果。而反绎出来的这个 C我们现在会回到原来的标签中把标签改掉接下来我们就用修改过的标签和原来的数据一起来训练一个新分类器。这个分类器可以代替掉旧的分类器。这个过程可以不断地迭代下去。这个过程一直到分类器不发生变化或者我们得到的伪事实和知识库完全一致这时候就停止了。从上图可以看到左半部在进行机器学习而右半部在进行逻辑推理。机器学习和逻辑推理这两者互相依赖循环处理往复直到分类器与知识库一致此时相当于分类器已经 「学到」了知识库中的内容或者分类器连续数轮不再提升如果允许对知识库进行修改还可以使得知识库中的内容可以被精化或更新这是利用数据经验来改善知识的过程。反绎学习不依赖于真实标签但如果存在有标签数据它也可以充分利用例如可以生成更可靠的伪标签等从这个意义上说反绎学习可以被视为一种更具一般性的弱监督学习其监督信息不仅限于标签还可以是领域知识。初始分类器可以是预训练好的深度模型或者迁移学习模型甚至可以很简单例如基于聚类或最近邻分类的预处理其基本作用是让整个过程 「启动」 起来。在领域知识丰富可靠时通过知识的利用可以使得整个过程并不依赖于初始分类器的强度。知识库目前仍需要人工总结人类经验并写成一阶逻辑规则。今后可能通过学习来对知识库进行改善和提炼。对数据事实与符号知识的联合优化不再能依靠常规的梯度方法使用了周教授团队自己开发的不依赖梯度计算的零阶优化方法。周教授还简要介绍了反绎学习应用于司法案件辅助量刑的初步情况。最后如果将反绎学习示意图旋转一下上半部是逻辑推理对应了认知过程下半部是机器学习对应了感知过程则反绎学习也为探索认知和感知交互提供了一个框架。想要了解更多关于「学习 推理」内容的你不妨深入了解一下这个大会相信你能从中收获满满。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
