档案网站建设视频,网络软营销的案例,seo怎么推广,单页面网站教程来源#xff1a;AI科技评论作者#xff1a; 周纵苇知乎摘要#xff1a;视觉#xff0c;对于人类或动物来说#xff0c;似乎是一件稀松平常的事情#xff0c;我们甚至都不需要去有意识地训练自己#xff0c;就可以天赋一般地认识世界。对于机器而言#xff0c;理解图片却… 来源AI科技评论作者 周纵苇知乎摘要视觉对于人类或动物来说似乎是一件稀松平常的事情我们甚至都不需要去有意识地训练自己就可以天赋一般地认识世界。对于机器而言理解图片却是一项极其困难的任务计算机视觉是一门教机器如何“看”的科学。当给定一个明确的目标函数并加以不断地迭代当前的计算机已经可以完成很多复杂的任务比如图像视频分类、目标跟踪和检测、实例分割、关键点检测等。完成单一的复杂任务虽然能够清晰地定义目标函数但是训练成本高数据收集困难并且复杂任务的数量不胜枚举尤其是对于跨学科的图像理解任务。人类的视觉恰恰相反通过长时间的观察学习只需很少的监督样本就可以快速达到多个领域的专家水平。要给这种长期的无监督的学习定义一个清晰的目标函数或目标任务却是一项非常具有挑战的课题也是计算机视觉一直在探索的问题。这次分享我将会从“视觉的目的”引发讨论简要回顾计算机视觉在通用视觉特征学习的发展历程以及近期在这个领域取得的众多突破最后对自监督学习框架提出一些我自己的想法。1为什么问“视觉的目的是什么”大家好我是周纵苇现在是亚利桑那州立大学的博士生再过几个月我就毕业了今天很高兴在这里和大家聊一聊计算机视觉。视觉不是人类特有的大多数的动物或者更宽泛地来说摄像头都有所谓视觉来收集光线并做出某些反应。现在的摄像头变得越来越聪明了它不光能检测到物体还能跟踪能识别人脸能给我实时地做美颜这还不算什么现在的摄像头还能辅助自动驾驶、自动手术等等。真的和我们的视觉越来越像了。问题是既然摄像头这么智能如果用它来替换动物的眼睛能好使吗小猫小狗的视觉系统可能还远远做不到像现在的摄像头一样把图片中的大大小小的东西都识别出来打上标签甚至把边缘都分割得那么好它们的视觉系统看起来笨笨的但是很稳定很可靠。摄像头背后的秘密就是我们今天讨论的计算机视觉它的最终目标就是能让计算机像人一样地看见理解照片、视频和周围的环境并且能作出某些反应。我们先来看看为什么现在的计算机视觉在某些任务中这么厉害——比如人脸识别——因为它目的明确。在训练计算机的时候我们就告诉它你把这个事儿做了其他不用管跟我们小时候差不多你把学习弄好了其他大大小小的家务不用你管。那这个事情就简单了我们需要做的就是把目标函数设计好计算机的任务就是不停地学不停地迭代直到无限靠近这个目标。用这一套方法论你会发现计算机视觉很简单嘛很多任务只要我们能清晰地设计出目标函数并且能收集到大量的数据集计算机视觉非常容易在某个任务中超越人眼。我说到这儿不知道大家有没有在想一个问题如果说计算机视觉的终极目标是让计算机拥有像人类或者动物一样看上去笨笨的但是可靠的视觉理解系统那我就请问视觉的目的是什么或者视觉的目标函数是什么What is the Will of Vision?2”视觉的目的是设计和匹配特征“这个问题很有意思基本上贯穿了整个计算机视觉的研究脉络。在我还没生出来的时候计算机视觉是以规则为主的。对于所有的概念我们都需要很详细地去设计它的特征。比如要让计算机了解猫最简单的特征就是它的脸、形状、四肢、尾巴等等为了和狗做区分我们还要设计那些显著的特征。有了这些特征计算机就去匹配能匹配上的就是猫。现在回过来看你会发现这种方法特没谱。首先就算计算机认出了这只猫这算不上理解只是对一些规则的数学匹配其次普遍的规则很难用在复杂的现实情况中这只猫必须站的非常端正计算机才能把它认出来再有定义一个概念是非常不容易的何况有那么多概念要定义。那时候的计算机视觉目的就是特征的计算和匹配——无论是人为设计的还是用公式算出来的特征只要匹配上了计算机就算认出了这个东西。它的弊端虽然不言而喻但为了解决它还是费了很多时间的。3”视觉的目的是大规模分类“后来是怎么解决这个问题的呢我们就得回头分析人的视觉系统了在我们认识世界的时候没有人给设计特征完全是靠大量地长时间地看不知不觉地就形成了视觉理解。“不知不觉”这个事情很玄没法在工程上实现那么我们就退一步给计算机看很多很多的图片并且告诉它里面有什么通过这个方法来形成计算机视觉。最有名的就是ImageNet这个图片数据集里面包含了很多人工标注的概念比如猫狗。它和之前方法不同的是从此我们不再需要人为地设计特征了而是让计算机自己从大量的图片和标签配对中学习这么多概念和它们对应的视觉特征。用这个方法学习的计算机视觉很强怎么看出来的呢是在众多的benchmark任务中体现出来的。我们称这些模型为ImageNet预训练模型。计算机视觉在这个任务中的目的也很明确就是准确分类让计算机的识别和人类标注越接近越好。是不是顺着这个思路我们可以训练出一个至少像动物一样可靠的视觉系统呢如果答案是的话问题就简单多了扩充ImageNet数据集增加类别数增加图片量增强模型设计。虽然有人说这样很费时间也很费钱但是如果这个思路真的可行能用钱解决的问题都不是大问题。可是我们想一想人类或者动物的视觉是这么形成的吗或者说分类是视觉的目的吗再回到我们小时候我们的视觉系统是否是这样形成的当我们看东西的时候有没有一个人在边上一直告诉我们这是猫那是狗这个桌子那是椅子。如果这个不够直接那不妨考虑一下动物家里的宠物狗是否需要区分这些概念才能建立起它们的视觉系统在大量的例子中我们可以发现概念的分类可能是一个有效的途径但并不是建立视觉系统的必要条件。进一步讲基于人类语言的标签不是视觉系统的必要条件换句话说不需要“分类”只需要“分辨”也就是说是猫是狗是桌子是椅子没所谓的重要的是把这些概念区分开即可。这里展开来阐述一下“分类”和“分辨”的差异。它们貌似差不多但在我们今天聊的“视觉的目的”上有本质的区别。1、首先在分类问题中所有类是完全独立的或者说在空间中是两两正交的。但是实际情况下却并非如此比如类别猫和老虎猫和椅子在分类问题的设定下它们类之间的差异是一样的但很显然猫和老虎的类间差异比猫和椅子低很多。这就出来两个问题我们如何去标注这样一个数据集如何去训练一个模型才能够让它知道类之间的不同2、第二点人工标注的数据集中类之间是很平衡的猫和狗的数量一样多但是现实情况下类别是长尾分布的也就是大多数类的图片是很稀有的这里的问题是如何解决大多数类的长尾标注问题3、最后一点也是最关键的一点是类别这个事情本身就是不胜枚举的。世界上有多少正交的类类中还有子类子类还有子子类子子孙孙无穷尽也。同样是狗狗中还有特别多的子类如何去定义类和子类以及如何去定义“有用的”类。比如ImageNet里面大多是动物那么植物呢其他的物件或者说背景信息比如天空大海星辰呢目前来说训练完一个计算机模型它能做的分类只能是数据集里面有的类而已如果测试集中出来新的类它是完全不知道的。那么如果说分类真的是视觉的目的为了去真正地实现像人和动物这样的视觉系统其中最大的难点就是去定义和标注这些类。不知道你是否认同定义类本身这个工作和定义特征的工作没有本质的区别。它们的目标都是让模型能更好的理解图片但是定义类和定义特征这两个工作都是无穷尽的并且有很多人为主观的干预比如什么样的特征能刻画一个概念什么样的类能帮助建立可靠的视觉系统。但是话说回来你是否认同分类是视觉的目的这个假设也许不见得吧再回想我们小时候监督学习或者类别学习占的毕竟少数特别是对动物而言它们很少很少会出现监督学习这个情况。大多数情况下视觉系统的建立是无监督的靠我们自己和环境之间的互动来理解图片和视频。这个简单的想法就促成了无监督或者自监督的视觉学习方法。其实这方面的研究开始的挺早的为什么一直都没有像现在这么火呢关键还是当时的实验结果没有像全监督的分类学习那么好虽然它蛮符合我们对视觉的期望实验结果还是硬道理。不过就这几年自监督学习发展地特别快某些方法已经在实验中被验证比有监督的分类学习要好。这又是我们在了解视觉系统中迈出的很大的一步。那么我们就来聊一聊自监督学习是如何回答“视觉的目的是什么”这个问题的。我们所有的系统视觉、听觉、触觉、嗅觉都是自我迭代学习的很多时候它们在学习而我们是不自知的。有人会问自监督学习是不是就是给一堆数据让计算机自己实现智能不是的一个很简单的例子我给一条狗看MNIST数据集不停地看不停地看很多很多的数字它会建立起对数字的认知吗我再换一个方法还是让它不停地看但是每次看到数字9的时候给吃的。第二个方法狗的视觉系统会产生学习但是第一个不会。也就是说视觉系统或其他系统的学习是天生惰性的虽然说我们的视觉系统感觉上是自发学习的如果没有明确的动机它是不会在脑回路中真的产生变化的那也就回到了我们一直在讨论的问题视觉的目的是什么如果我们了解了它的动机那么实现通用的计算机视觉算法就没有那么困难了。现在那么多的自监督学习方法其实本质上都在探索这个问题的答案。我们可以先猜一猜视觉的目的是什么科学研究就是先提出假设然后验证这个假设。那好生物最基本的动机就是活着为了活着视觉必须学会一个很重要的功能那就是预判试想一只老虎向你跑过来了你不会等它到了才跑吧视觉系统需要做准确的预判并且马上采取行动。对于那些不能做预判的可能就被自然淘汰了。另一个不那么极端的例子你看到苹果从树上掉下来应该会躲吧这也是一种预判。往大里说是你的视觉系统学习到了牛顿定理其实就是它学习到了重力的表现形式。很多很多生活上的例子表明视觉系统需要学习预判的能力。那么预判在自监督学习上体现在哪儿呢其实有很多最基本的就是auto-encoder还有去噪声的auto-encoderin-paintingout-painting在视频处理中应用的更多根据当前帧来预测下一帧的图片。这些方法在实验中被证明是非常有效的并且不需要人工的标注因为图片和视频本身就是最好的标注。但是这一系列的预判方法在某些时候可能会不太好用。比如我随机遮住一只猫脑袋的一部分让计算机去脑补如果它知道这只猫就会补全它的脑袋这没有问题。但是如果我遮住那只猫的尾巴计算机去脑补的时候就会出问题因为就算我知道这只猫需要补一条尾巴但是我不知道那尾巴原来是朝哪儿的。再看原图它只是提供了某一种可能性但并不唯一的可能性。发现问题了吗这一系统方法被人诟病的最重要的一个点就是预判是一个概率的问题不能用原图的每一个像素来做严格训练特别是需要预判的内容特别多的时候会出现问题。Yann Lecun有一个非常经典的例子视频中一只铅笔笔尖朝下竖直放着预测下一时间我们都知道铅笔会因为重力倒下但是具体往哪个放下倒是一个随机的问题并不能用原数据来监督学习。最近有论文iGPT就对这个问题做了详细的诠释和提出了解决方案大家有机会可以去看一看。好我们再想想还有什么是视觉系统需要自发学习的。刚刚说了一只老虎朝你跑过来你需要预判并且躲避那么如果一只小猫跑过来呢注意这里需要学习的是分辨而不是分类最简单的动机还是为了生存我们需要区分能吃的和不能吃的往大里说我们需要区分不同物体的差异并不是分出来猫和狗的类别差异就可以了更需要分出来不同的猫之间的差异大小胖瘦毛色等等从这个角度讲每一只猫个体都是不一样的并且即便是一只猫在早中晚也是不一样的。这就和刚刚说的以分类为核心类与类之间正交的学习方法完全不同了广义上说我们需要承认世界上没有两片一样的雪花即便给的标签是一摸一样的0100计算机也需要看出物与物之间的不同。这个思路引出了最近火的不行的对比学习。和预判不同的是这一系列的方法不需要“脑补”而是能在对比中发现不同即可。很有代表性的工作包括聚类、旋转和最近的SimCLR、MoCo等。特别一提的是就是这种方法最近被发现比ImageNet上的分类学习更有效。SimCLR和MoCo假设是世界上没有两片一样的雪花我们在这个基础上又加了一个假设也就是我们承认没有两片一样的雪花但是雪花和雪花之间的差异还是会比雪花和树叶之间的差异更小。这个很重要对比学习除了对比出不同点也应该同时发现相似处。这就是我们去年在MICCAI Workshop中发表的一篇工作——Parts2Whole。大家有兴趣的也可以看一看。这也引出了一个更深层的讨论不同概念的内涵connotation和外延denotation内涵是一个概念中事物的共有属性外延是一切属于这个概念的具体事物。分类问题事先给定了一个概念的外延的一部分比如在所有ImageNet数据集中“猫”这个概念的外延就是它对应的那几张图片模型根据这个外延来学习“猫”这个概念中图片的共有属性内涵。分辨则不同它是不断地放缩一个概念的外延来辨别两幅图片的相似点和差异性即便是两幅“猫”当外延只缩到每一幅图本身了模型在承认这两幅图都有猫的同时还需要辨别出两只猫细微的差异的比如颜色、动作、长相、年龄。对比学习在缩放不同概念的内涵和外延之间学习到更立体更丰满的视觉特征。4前沿成果的比较谈到这里我们离学术前沿是越来越近了。回顾一下我们到底想要一个什么东西我们需要一个通用的、可靠的、可延展的视觉模型这个模型不是去做博士干的事情比如分割一个细胞区分一个肿瘤是恶性还是良性的从图片中找病灶等等这些工作都是后话有足够标签就能做好。我们需要的是一个五岁小朋友的视觉系统一种虽然看上去傻乎乎的什么都不会但是很稳定很全面的一个模型。很多人在诟病深度学习说需要很多的标签而人只需要学习一两个样本中就掌握一项任务。这个认识是有偏见的人确实可以通过学习一两个样本就能大概分清什么是肋骨什么是心脏但是这个人想必不是刚出生的婴儿婴儿视觉系统是没有办法短时间内完成这个one-shot或者few-shot的任务的。而这个五岁左右的视觉系统就是我们追求的视觉模型。这个模型是有机会让无数的下游任务实现少样本学习。这相当于是一件“磨刀不误砍柴工”的工作。在众多的下游任务中我们只需要极少的模型参数量的调整极少的人工标注就可以达到一个不错的水平。我们离这个梦想是有距离的。现在我们就来看看自监督学习离真正回答“视觉的目的是什么”还差多少。现在每天都有那么多自监督学习的方案发表可以说是公说公有理婆说婆有理大家都从不同的角度去思考如何训练一个通用的视觉模型所以给模型设定的目标也是非常不一样的。有说脑补可以的有预测旋转角度的有做拼图游戏的有比较学习的。一时间出现这么多套训练方案百家争鸣正常吗非常正常。想想我们在建立视觉基础的时候也不就是自己摸索出自己的一套方法吗打个比方如果说一个厉害的视觉预训练模型是高考状元高考每年有那么多的状元他们成功背后的方法也是不一样的嘛。每一个方法都可以发表一篇论文每个家长都说自己的一套方法是训练状元的有效途径。但是真的要去评价孰好孰坏是不容易的确实可能某些自监督方法在特定的情况下会很强它的通用性是需要在很多具体任务来评判。最新的一篇论文“How Well Do Self-Supervised Models Transfer?”就有对大部分自监督学习方法做一个比较得到的结果参差不齐有时候这个方法好有时候那个方法好。这方面的研究论文一般来说有两种一种是提出新的自监督学习方法说新提出的方法比其他的方法好。随着越来越多的方案的提出另一种文章是对这么多方法的一个综述和比较。除了这两种论文现在又有一种论文的题目特别有趣儿形如Do Better ... Transfer Better?这里的省略号代表不同的预训练方法。你可能会觉得很奇怪人家论文都说了比如预测旋转角度可以让模型更好地迁移学习为什么还有问这个问题呢其实这两个论述不太一样一个是实验层面的我做了实验结果表明预测旋转角度可以提高迁移学习的效果另一个是应用层面的意思是说预测旋转角度是不是视觉的目的也就说如果我提升了预测旋转的能力是否保证这个预训练模型一定会更好这是一个很有意思的问题我们可以从实验中总结出来一个自监督学习的方法比如预测旋转角是不是直接地学习了视觉特征还是在预测角度的同时间接地学到了视觉特征。还是高考状元为例我写一篇论文说根据我的统计结果发现高考状元的家境普遍比较贫寒。我再写一篇论文问是不是家境越贫寒高考成绩越好呢这就是这一类论文的价值所在直击灵魂的拷问它从本质上去测试一个自监督学习方法是不是学习到了视觉的目的。大家能明白我接下来要讲什么吗如果这个类的论文“Do Better ... Transfer Better?”但凡有一篇的回答是Yes那真的是学习通用视觉特征这个问题就大体解决了或者变成了一个可解的问题了。为什么呢打个比方我发现脑补图片的技能越强模型的迁移学习能力越强。视觉的目的一下子被清晰的定义下来了也就是说训练模型的目标函数被定义下来了。我们把一个模糊的、抽象的所谓“视觉的目的”转化成了一个具体的可量化的函数接下来的任务就是刷高分数像ImageNet竞赛一样有一个清晰的评价指标然后每年把分数往上刷。现在我们没有办法这么直接地解决问题还在一个探索期视觉的目的是什么刚刚总结了两大块主流任务预判与分辨。计算机科学为什么是一门科学是因为在解决工程问题的时候我们需要做底层的分析和研究也需要多学科的交流比如视觉和脑科学的研究会对解决这个预训练的问题很有帮助。那我们来看看这一路走来学到了什么。从一开始的定义特征到后来自动学习特征但是需要定义好类别和类别数到现在完全不需要人工的类别标签一个趋势就是当学习通用的视觉模型时人为定义的东西越少越好让计算机自主学习的东西越多越好。沿着这个思路下去和我们的视觉系统相比这些自监督学习的方法至少到目前为止我认为还有几个方面需要解决首先视角是人为设计的。其次模型是人为设计的。最后任务是人为设计的。这三个方向的研究都非常有意思今天我没办法一一细说我会在后续的博客中讨论。这边我展开来讨论一下最后一条任务是人为设计的。首先我觉得在现在的阶段人为设计预训练的任务是可以被接受的毕竟我们人类上课学习的时候也有一个培养计划让计算机自己给自己设计一套学习方案我现在还不敢想。那就看看如何去设计任务让计算机可以学到通用的视觉特征回溯到自监督学习一开始的时候它是先在自然语言处理领域得到突破为什么自然语言可以做自监督呢原因是1语言可以切成词汇2词汇的排列是有意义的。计算机从网上的那么多语料中学习一个很重要的点是你不能把语料中的词汇打乱打乱了就没有语义了。比如视 · 觉 · 的 · 目 · 的 · 是 · 什 · 么一共八个字组成是一段有意义的话但是这八个字有很多中排列组合的形式绝大多数的排列是没有语义特征的而计算机就只在这种有意义的排列中学习特征所以是有效的。反观自然图片猫的图片可谓说是千奇百怪什么都有像自然语言那样的理想情况是什么最好所有的猫都端端正正地给我坐好一个姿势一种表情然后计算机去学习它的纹理形状或其他的抽象特征。在这种严格的规定下我清楚地知道什么在上什么在下什么在左什么在右就像自然语言一样人为地创造了一种特定的语法。计算机就可以比较直接地学习到图片的上下文语义特征。请问这一段对理想图片的描述让你想到了什么——医学影像首先在拍影像的时候医生是不会让你有天马行空的姿势的基本上两种姿势要不站着要不躺着。其次如果姿势是固定的人体的组织器官的分布也是有序的五脏六腑都有固定的位置。所以最后拍出来的图片都看起来差不多就像一个句子你反复地用不同的词汇说但是表达的内容相似。视觉的目的是什么视觉的动机是什么视觉的目标是什么医学影像这个独特的优势和自然语言非常的类似。所以我有理由相信在医学影像处理中的自监督学习也可以得到像BERT一样很猛的预训练模型而不依赖于人工标签。那如何去利用这个天然的优势呢我们还需要参考自然语言处理它们是先定义了词的概念然后根据大量的语料学习每个词的特征或者每个词在句子中的特征。相似地我们也可以给医学影像定义视觉词汇因为刚才说了这些视觉词汇在医学影像中是有序的并且传达出人体组织结构的语义信息那么一个简单的思路就是去学这些视觉词汇的特征。在计算机视觉早期的时候就有Bag of Visual Word的概念我们最近的一篇TMI就是让这些视觉词汇通过深度网络的学习使之具备迁移学习的能力。大家有机会可以去看看应该马上就能见刊了下面这篇是它的会议版本“Learning Semantics-enriched Representation via Self-discovery, Self-classification, and Self-restoration。”https://arxiv.org/abs/2007.06959我们来看看这个方法背后想要传达的信息和整体框架的基本假设。梳理一下刚刚的逻辑自然语言处理的预训练特别猛而且不依靠人工标注因为语料中自带了上下文语义特征医学影像也具备相似的属性因为拍照是的姿势固定的人体内部的组织结构是有序的因此我们只需要定义医学影像中的视觉词汇并学习它的上下文语义特征即可。可能这个时候有小伙伴会质疑你说的这个特征确实在医学影像中表现地非常明显但自然图像难道不具备这个特征吗没错自然图片也可以有这个特征比如说人脸识别只要能把人脸从图片中框出来并加上一定的旋转也可以得到一个具有固定上下文语义特征的数据集 也就是一个近似对齐的数据集计算机同样可以通过自监督的视觉词汇学习从图像中学到特征。只是构建这种数据集需要一定的工作不像医学影像比如ChestXray那样是自带的属性。再往上想一层其实自然图片是包含了弱弱的上下文语义的。刚刚说的语义特征是来自于有序的词汇排列如果打乱了语义就没了。从这个逻辑出发严格意义上讲所有能被理解的自然图片都是有一定意义的真的打乱图片中的像素才能说它是一堆乱码。一张图中这么多像素它们能根据一定的规则拼成有意义的图片本身就是一种语义信息。如果云层是天空的一封信能不能再听一听听你的声音。无人之岛Images are the Language of the Creator只是没有像医学影像那么直接看起来那么有规则。总结来讲医学影像本身具有很好的属性让我们可以有针对性地设计自监督学习的策略原因是它比自然图片更有规则总结来说人体组织结构的一致性是自监督学习在医学影像处理中一个很独特也是很直接的学习目的。除了这个特性医学影像和自然图片相比还有很多宝藏可以挖比如影像的像素值有物理意义大多数影像是三维的等等这些特性都是设计预训练算法的非常宝贵的参考我今天就不细说了因为很多想法都还没有发表等以后和大家分享。最后上一个价值计算机视觉在学习通用特征时需要大量参考人类或者动物的视觉系统也就是一种跨学科的概念。当然也不是说必须我们要用电脑模拟一个一摸一样的视觉系统很多工具在借鉴生物学的同时也会根据工程的实际需要进行调整。比如飞机借鉴了鸟的翅膀但是最后的成品是在这个鸟的基础上优化了很多甚至改进地面目全非。这是在了解了鸟类飞行的机理的前提下我们才有可能进行仿真和优化。其实这方面是有争论的我们会因为脑科学的研究对大脑有一个完整的认识还是会先在计算机科学上有一个突破从而反推回大脑的机理建立起更深的认识这个我不清楚。但是今天讨论“视觉的目的”是想给计算机找出一个可量化的目标函数这个目标函数可以和通用视觉特征有一个很紧密的关联而做到Better ... Better Transfer。这个目的从一开始计算和匹配人为设计的特征到后来匹配人为定义的类别的监督学习再到现在的预判分辨为核心的自监督学习。除了从视觉本身出发去设计不同的预训练任务探索视觉的目的我们也可以通过对图片本身性质的理解出发来设计任务也就是所谓先验的特征特别是医学影像中那么多的模态各有千秋各有各的语义特征。原文链接https://zhuanlan.zhihu.com/p/343160072未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
