网站代理怎么做的,购物网站cookie,杭州网站建设推广,网络营销专业就业前景来源#xff1a;智能系统学报11月30日上午#xff0c;第九届吴文俊人工智能科学技术奖颁奖典礼暨2019中国人工智能产业年会在苏州广电大厦演播厅隆重举行。本届大会主题是“突破关键技术赋能产业落地”。大会邀请到国家部委专家、两院院士和产业领军人士#xff0c;围绕77场… 来源智能系统学报11月30日上午第九届吴文俊人工智能科学技术奖颁奖典礼暨2019中国人工智能产业年会在苏州广电大厦演播厅隆重举行。本届大会主题是“突破关键技术·赋能产业落地”。大会邀请到国家部委专家、两院院士和产业领军人士围绕77场主题报告17个核心话题10场尖峰对话就人工智能在核心关键技术的落地展开观点碰撞通过权威学者、顶级专家和企业精英开坛论道解读行业痛点剖析发展瓶颈探讨场景壁垒深究真问题。本届产业大会重点聚焦知识智能及其应用、智能芯片、智能无人机、智能网联汽车、智能机器人、智能金融和智能医疗等优势产业。在本次人工智能产业年会上邀请了深圳前海微众银行股份有限公司首席人工智能官、中国人工智能学会名誉副理事长杨强教授带来了题为“迁移学习——人工智能的最后一公里”的精彩报告。以下是杨强院士的报告实录大家下午好我今天主题是“人工智能最后一公里”这也是我一直在研究的主要方向。我们先看一下深度学习的一些限制大家现在都在大数据领域有很大的突破一个代表性突破就是AlphaGoAlphaGo在19乘19的棋盘上可以说是举世无双。但是只要换一下棋盘的大小或者换一下棋盘的种类原来的模型就完全无能为力了就得重新做一个训练这个例子引起了我们的深思。当前人工智能领域需要大数据的推动这个推动如果换一个新的领域的话很可能只有小数据。小数据的场景是不是也可以用深度学习来解决呢我们认为是很有困难的因为依据深度学习现在的进展还没有很多的算法能够在小数据情况下发挥作用。有很多原因造成我们面对小数据这种状态比方说由于行业性质使得不同部门之间没有办法交换数据加之考虑到用户隐私、商业利益、监管的要求等我们面临的是小数据和一个一个数据孤岛。把小数据变成大数据又需要做很多数据标注比方说在医疗或者金融方面时间不允许我们很快把小数据变成大数据。针对小数据的问题我和团队长期做的研究是迁移学习。迁移学习就是像人类一样能够进行举一反三把模型从一个场景迁移到另外一个场景的动作。目标是突破传统机器学习必须有大数据作为前提的要求。人类是怎么做的呢我们在解决一个新问题的时候会利用联想能力想一下过去遇到过类似的场景吗那么能不能将一个模型通过小小的改动让其在当前的场景下使用这种联想能力是我们举一反三的迁移能力的关键。什么叫具有迁移能力以这两条曲线为例在一定的数据量下学习效果像红线所示有迁移学习的话学习效果会更好一些同时它的增长会更快一些这就是迁移学习所带来的两个好处。因此我们说一个领域它的迁移效果好不好是由多个指标来衡量的。像这两条曲线所示在数据一定和效果一定的情况下迁移学习的指标都好。我们针对这样的情况提出了一个迁移学习的理论算法框架这个算法框架的目标是模拟人类小样本的快速学习能力。我们可以通过样本与样本的分布来做迁移同时还可以基于特征来做迁移。即便是两个领域比如说一个是计算机视觉一个是自然语言处理它们只要语义上有沟通的话还是可以做迁移这是基于特征的迁移。我们还可以基于模型来做迁移比如说我们可以做一个预训练模型在一个新的领域下我们可以在某一个预训练的层次上做小的改动就把这个模型做迁移。甚至我们在任务上也可以做迁移这样就可以实现零样本或者单一样本的学习能力。在此基础上我们还可以把迁移学习在时间维度上加以扩展使得我们能够形成一个传递式的迁移学习就好像我们踩着石头过河一步步地走。我们也可以先把一个领域的模型迁移到第二个领域再从第二个领域迁移到第三个领域依此类推。我们还可以依赖于一个深度学习和一系列的中间领域来做传递式的迁移。传递式迁移有一个很好的例子这个是斯坦福大学和世界银行一起合作的利用卫星图像来取得经济状况尤其是像这种贫困地区的经济状况。通过将ImageNet的数据迁移到夜空图像再通过夜空图像迁移到白天图像经过这两步的迁移我们就能自动得到一个对于卫星图像的二维图的经济状况的估算这个估算也是非常准的。迁移学习也可以用在舆情分析上。比如说我们已经获得了一个很好的自然语言分类器只要给一个书评或者是影评我们就可以对它的正负取向进行一个估算。那么在已经有了这样的一个模型以后我们假设给一个新的领域这个新的领域有一些数据是我们没有见过的但是通过两个领域之间的相似性、共性我们还是可以很快地得到一个迁移学习模型使得在第二个领域能很快地建立起一个舆情模型。那么具体怎么去实现最近的一个做法是通过多层的注意力网络机制。这个注意力机制的网络有两个任务第一个任务是在本领域能够获得越来越高的准确度。第二个是在跨领域的任务当中希望能够最少地区分两个领域使得能够混淆两个领域里面所取的特征词那些特征词往往是既能告诉我们舆情特征的又能告诉我们与领域无关的这种共性这种特征词取得的效果也是相当的好。同时迁移学习也可以用在一个非常有商业价值的领域就是对话系统。我们知道对话系统需要进行大量的对话的标注。我们如果换一个领域比如说从一个卖咖啡的领域到一个卖股票的领域这个里面虽然有很多具体的、商业的领域知识但是它的逻辑结构还是有共通性。在这种情况下我们可以通过强化学习的迁移机制来区分一个领域里面的策略它是本领域的特殊策略还是一个通用的对话策略把这两种策略区分开学习通用策略就能使得我们很快地得到一个基于RNN的迁移学习模型。还有一个例子挺有意思是智慧城市这也是我们和一些公司合作的成果。比如说在一个城市有很多车辆出行根据车辆的状态我们可以区分这是网约车还是私家车这样的一个分类器是可以根据两个城市的相似度把它迁移到一个新的领域的。还有城市的PM2.5预测也可以做这种迁移所以这是非常通用的一个做法。总结起来说迁移学习有千千万万种但是我们能不能只做一个通用的算法就可以适用于很多领域这是我们的一个终极目标。现在这个目标终于有希望了现在众多的迹象表明如果我们在源领域有足够多的数据可以形成一个非常大的预训练模型那么我们遇到一个新的领域的时候往往就可以很快地进行成功的迁移。所以迁移学习的成功与否在于我们能不能把同一类的问题都给挖掘出来建立一个巨大的预训练模型往小数据领域、新领域做迁移。这个例子在最近Facebook的一项工作上得到了印证他们就是逐字地增加在源领域的数据增加100倍在ImageNet数据的基础上。这样就能发现在数据很少的情况下迁移还是可以得到非常好的效果。与此同时NLP的领域也得到了类似的印证还有像BERT这样的领域这使得机器学习的工作者非常兴奋。我们知道Automated learning是用AI来设计AI用人工智能来自动地设计部分的人工智能步骤。那么我们迁移学习同样可以达到这个效果我们可以用一个人工智能的模型来设计一个迁移学习模型这是我们最近的一项工作。这个工作叫“learning to transfer”也是一个非常有希望能够自动化迁移学习过程的一个例子。所以这个就是我们在迁移学习方面的努力从大数据到很多很多的小数据领域。我最近的一项工作和迁移学习类似但是还有不一样的地方它更多的是解决“数据孤岛”的问题。我们知道如果我们有很多的部门有很多的传感器但是每个传感器都只能收集一部分的数据。如果我们没有办法把这些传感数据打通那么每一个地方的数据都不足以来训练一个好的模型。为什么会发生这样的事因为现在社会对隐私、安全的要求越来越严格我们看到在国外在欧洲有这种法律在国内也有很多非常严格的个人隐私保护法律而且趋于严格化和全面化。举个例子我们如果养一只羊这只羊就是一个模型那么如何建立起这个模型我们过去的方法是把各家的草买过来喂这只羊。这就相当于我们到各处去买数据、采购数据、收集数据。但是这个方法现在不行了数据要求不能出本地也就是说草不能出草场那么农民的羊是不是就会饿死不会的农民会采取另外一种方法他会让这个羊在各处的草场走动草不出草场那么这只羊可以走。就好像数据不动模型在数据库之间走。这由此引发了一个新的领域叫做联邦学习。我们有各个机构每一个机构都有自己的数据他们联合起来是一个完整的、很大的数据库可以用来训练一个大数据模型。但是现在因为隐私、利益的关系每一个机构都不想或者不能把数据和别人共享。那么我们可以让他们结成一个联盟让他们共同遵循一个规则使得这个模型的参数可以在他们之间沟通在沟通的时候这个参数也是加密的使得一个机构没有办法通过它得到的参数包来反拆对方的数据和模型。最后每一个地方的部分模型都得到了成长加起来就是一个总的模型。联邦学习是这样的一个概念。所以联邦学习具有很多优点比如说数据隐私得到保护参数也能得到保护那么建模的效果也会非常得好。我们把联邦学习理论化了一下建立了一个数学的基础。这个数学基础基于一个假设假设这个数据拥有的各方有足够多的特征方面的重叠那么我们称之为“纵向联邦学习”。如果它们特征是重叠的但是它们的样本不重叠这个称为“横向联邦学习”。如果两边都不重叠我们还可以用迁移学习把它们都给迁移到另外一个状态空间在那个空间找它们的共性同时用联邦学习来解决。所以联邦学习迁移学习就形成了一个既能保护隐私又能共同联合建模的机制这个机制在工业界获得强烈反响。我们发现这个机制在跨领域不同的企业/机构之间尤其有用。比如说银行和监管机构可以联合起来更好地建立一个反洗钱的模型互联网公司和银行可以建立一个小微企业的风控模型互联网公司和零售公司可以建立更好的新零售模型等等。这样的建立取决于一个数学基础一个非常有效、高效可计算的加密机制其中数学的演化、硬件的演化和分布式安全算法的演化要一起进行。另外一个非常特别的领域是城市管理。在这里我要举的例子是工地的安全监管每个工地有很多摄像头去监管工人的安全状况比如说戴安全帽、火灾的状况。那么如果不同的工地之间的数据能够打通的话这样的一个模型将是非常有效的我们恰恰把联邦学习用在这里。联邦学习加上迁移学习也用在很多的领域。这里我要特别说明的是建立这一系列联盟离不开一个标准。因为这是多个企业之间在沟通企业之间一定要遵循同样的标准。所以我们一直在建立一个IEEE的联邦学习国际标准。同时我们通过和经济学教授合作建立起一个公平的利益分配机制来帮助大家自愿地在这个联盟里使用联邦学习。另外我们还发布了世界上第一套联邦学习开源软件。总结一下就是迁移学习是模仿人类举一反三的能力它有一整套的理论和工业应用的算法已经在各个方面得到了很好的印证。联邦学习是我们正在进行的一项研究工作它在合作、建模的基础上引入隐私保护的概念我们也期待它在工业界将会有很大的应用发展。谢谢大家。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
