湖南网站建设怎么样,网页设计包括哪些,哪些网站做农产品电子商务,我和椅子做游戏小精灵网站来源#xff1a;机器之心编辑#xff1a;nhyilin人类似乎对不同的学习模式有着相似的认知#xff0c;机器也应该如此#xff01;自监督学习能在各种任务中学习到分层特征#xff0c;并以现实生活中可使用的海量数据作为资源#xff0c;因此是走向更通用人…来源机器之心编辑nhyilin人类似乎对不同的学习模式有着相似的认知机器也应该如此自监督学习能在各种任务中学习到分层特征并以现实生活中可使用的海量数据作为资源因此是走向更通用人工智能的一种途径也是深度学习三巨头之一、图灵奖得主 Yann LeCun 一直推崇的研究方向。LeCun 认为相比于强化学习自监督学习SSL可以产生大量反馈能够预测其输入的任何一部分如预测视频的未来画面从而具有广泛的应用前景。自监督学习通过直接观察环境来进行学习而非通过有标签的图像、文本、音频和其他数据源进行学习。然而从不同模态例如图像、文本、音频中学习的方式存在很大差异。这种差异限制了自监督学习的广泛应用例如为理解图像而设计的强大算法不能直接应用于文本因此很难以相同的速度推动多种模态的进展。现在MetaAI原 Facebook AI提出了一种名为 data2vec 的自监督学习新架构在多种模态的基准测试中超越了现有 SOTA 方法。data2vec 是首个适用于多模态的高性能自监督算法。Meta AI 将 data2vec 分别应用于语音、图像和文本在计算机视觉、语音任务上优于最佳单一用途算法并且在 NLP 任务也能取得具有竞争力的结果。此外data2vec 还代表了一种新的、全面的自监督学习范式其提高了多种模态的进步而不仅仅是一种模态。data2vec 不依赖对比学习或重建输入示例除了帮助加速 AI 的进步data2vec 让我们更接近于制造能够无缝地了解周围世界不同方面的机器。data2vec 使研究者能够开发出适应性更强的 AIMeta AI 相信其能够在多种任务上超越已有系统。论文地址https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language项目地址https://github.com/pytorch/fairseq/tree/main/examples/data2vec论文一作 Meta AI 研究员 Alexei Baevski 表示我们发布了最新 SSL 方法 data2vec与单独训练相比我们在具有相同预训练任务的视觉、语音和 NLP 上获得了 SOTA。语音和文本的代码和模型已经发布视觉模型代码即将到来即将成为 Meta CTO 的 Boz领导 Reality Labs 团队的 AR、VR、AI、Portal 等也发推表示很高兴 data2vec 能够帮助为跨多种模态的、更通用的自监督学习铺平道路——这项工作还将对我们正在构建的 AR 眼镜开发情境化 AI 产生重大影响。data2vec 是如何工作的大部分 AI 仍然基于监督学习它只适用于具有标注数据的任务。但是假如我们希望机器可以完更多的任务那么收集所有的标注数据将变得不现实。例如虽然研究人员在为英语语音和文本创建大规模标注数据集方面做了大量工作但对于地球上成千上万的语言来说这样做是不可行的。自监督使计算机能够通过观察世界然后弄清楚图像、语音或文本的结构来了解世界。不需要专门训练就能对图像进行分类或理解语音的机器其扩展性也会大大提高。data2vec 训练方式是通过在给定输入的部分视图的情况下预测完整输入模型表示如下动图所示首先 data2vec 对训练样本的掩码版本学生模型进行编码然后通过使用相同模型参数化为模型权重的指数移动平均值教师模型对输入样本的未掩码版本进行编码来构建训练目标表示。目标表示对训练样本中的所有信息进行编码学习任务是让学生在给定输入部分视图的情况下预测这些表示。data2vec 以相同的方式学习图像、语音和文本。模型架构Meta AI 使用标准的 Transformer 架构Vaswani 等人2017对于计算机视觉Meta AI 使用 ViT 策略将图像编码为一系列 patch每个 patch 跨越 16x16 像素然后输入到线性变换Dosovitskiy 等人 2020Bao 等人2021。语音数据使用多层 1-D 卷积神经网络进行编码该网络将 16 kHz 波形映射到 50 Hz 表示Baevski 等人2020b。对文本进行预处理以获得子词sub-word单元Sennrich 等人2016Devlin 等人2019然后通过学习的嵌入向量将其嵌入到分布空间中。data2vec 还可以为不同模态预测不同的单元图像的像素或视觉 token、文本的单词以及语音的学习清单。像素的集合与音频波形或文本段落非常不同因此算法设计与特定的模态紧密联系在一起。这意味着算法在每种模式下的功能仍然不同。掩码在输入样本作为 token 序列嵌入后Meta AI 用学习的掩码嵌入 token 替换掩码单元的一部分并将序列馈送到 Transformer 网络。对于计算机视觉Meta AI 遵循 Bao 等人的分块掩码block-wise策略对于语音Meta AI 掩码潜在语音表示的跨度 对于语言Meta AI 使用掩码 token 。训练目标Meta AI 预测的表示是上下文表示不仅对特定的时间步长进行编码还对来自样本的其他信息进行编码这是由于在 Transformer 网络中使用了自注意力这是与 BERT、wav2vec 2.0 或 BEiT、MAE、SimMIM 和 MaskFeat 重要区别这些预测目标缺乏上下文信息。面向多种模态data2vec 通过训练模型来简化其方法以预测输入数据的表征。没有预测视觉 token、词、声音等的方法而是专注于预测输入数据的表征单个算法就可以处理完全不同类型的输入。这消除了学习任务中对特定模态目标的依赖。直接预测表征并不简单它需要为任务定义一个稳健的特征归一化以对不同的模态都是可靠的。该研究使用教师网络首先从图像、文本或语音中计算目标表征。然后掩码部分输入并使用学生网络重复该过程然后预测教师网络的潜在表征。即使只能查看部分信息学生模型也必须预测完整输入数据的表征。教师网络与学生模型相同但权重略有不同。实验及结果该研究在 ImageNet 计算机视觉基准上测试了该方法结果如下。用于计算机视觉的 data2vec在 ImageNet 基准上ViT-B 模型与其他方法的性能比较结果。应用于语音的 data2vec在 LibriSpeech 基准测试中使用 10h 标记数据的 Base 模型与其他方法的性能比较结果错误率越低性能越好。应用于文本的 data2vec在使用原始 BERT 设置重新训练时与 RoBERTa 相比Base 模型在 GLUE 自然语言理解基准上的性能。分数越高性能越好。通过观察进行学习自监督学习在计算机视觉、视频等多种模态方面取得了很大进展。这种方法的核心思想是为了更广泛地学习以使人工智能可以学习完成各种任务包括完全未见过的任务。研究者希望机器不仅能够识别训练数据中显示的动物而且还能通过给定描述识别新生物。data2vec 证明其自监督算法可以在多种模态下良好执行甚至比现有最佳算法更好。这为更一般的自监督学习铺平了道路并让人工智能更接近使用视频、文本、音频来学习复杂世界的目标。由于收集高质量数据成本很高因此该研究还希望 data2vec 能让计算机仅用很少的标记数据来完成任务。data2vec 是迈向更通用人工智能的重要一步未来有望消除对特定模态特征提取器的需求。参考链接https://ai.facebook.com/blog/the-first-high-performance-self-supervised-algorithm-that-works-for-speech-vision-and-text/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
