网站建设市场需求大,wordpress 翻页404,四川省建设厅官方网站,wordpress videopro编者按#xff1a;欢迎阅读“科研上新”栏目#xff01;“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里#xff0c;你可以快速浏览研究院的亮点资讯#xff0c;保持对前沿领域的敏锐嗅觉#xff0c;同时也能找到先进实用的开源工具。
本期内容速览
…编者按欢迎阅读“科研上新”栏目“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里你可以快速浏览研究院的亮点资讯保持对前沿领域的敏锐嗅觉同时也能找到先进实用的开源工具。
本期内容速览
01. CLaMP: 面向音乐信息检索的语言-音乐对比预训练 02. LUT-NN: 通过查找表实现的高效神经网络推理 03. Large Search Model: 在大模型时代重定义搜索框架
顶会聚焦
CLaMP: 面向音乐信息检索的语言-音乐对比预训练 论文链接https://arxiv.org/abs/2304.11029
项目链接https://ai-muzic.github.io/clamp/
符号音乐信息检索是处理基于符号表示如谱面或 MIDI 文件的音乐的自动分析和检索领域。由于深度学习能够从大型数据集中提取复杂和抽象的音乐特征因此在符号音乐信息检索中变得越来越流行。但大多数带标签的符号音乐数据集都规模较小获取足够的带标签数据可能既昂贵又耗时。而语义搜索和零样本分类技术可以用来检索和标记大量未标记的数据。这些技术将可以让使用者能够通过给定的开放领域查询例如“快节奏的欢快音乐”搜索音乐或者根据定制标签自动识别音乐特征且无需训练数据。
若想实现符号音乐的语义搜索和零样本分类就需要建立音乐和语言之间的联系。为此微软亚洲研究院的研究员们提出了 CLaMP对比语言-音乐预训练通过使用与对比损失一起训练的文本编码器和音乐编码器来学习自然语言和符号音乐之间的交叉模态表示。为了预训练 CLaMP这一研究收集了一个包含140万个音乐-文本对的大型数据集。它采用文本丢失作为数据增强技术并使用小节分块技术来有效表示音乐数据将序列长度缩短到小于10%。此外该研究还提出了一个掩码音乐模型的预训练目标以增强音乐编码器对音乐上下文和结构的理解。 图1CLaMP 执行跨模态符号音乐信息检索任务的过程包括语义搜索和零样本分类而无需特定任务的训练数据
实验表明CLaMP 整合文本信息实现了符号音乐的语义搜索和零样本分类超越了先前模型的能力。与需要微调的目前最先进的模型相比零样本的 CLaMP 在以乐谱为导向的数据集上展示出了与之相当或更优越的性能。该论文已被 ISMIR 2023 接收并荣获最佳学生论文奖。 图2基于 BLIP 生成标题的图像推荐音乐的结果
LUT-NN: 通过查找表实现的高效神经网络推理 论文链接https://dl.acm.org/doi/10.1145/3570361.3613285
项目链接https://github.com/lutnn
深度神经网络推理面临着张量计算的高硬件开销以及张量算子开发的高人力成本。为了解决这一问题微软亚洲研究院的研究员们创新地提出了 LUT-NN 深度神经网络推理系统。如图所示LUT-NN 可以将网络推理中的线性计算算子转化为查表操作从而省去了算子计算和实现的成本。 图3: LUT-NN 模型转换示例
为实现查表研究员们从深度神经网络每层的计算出发。DNN 模型的每一层通常是将输入特征转换为更高级别的特征。即使是不同的输入数据DNN 模型中每一层的特征也存在着语义上的相似性。LUT-NN 通过学习每个线性计算算子的典型特征称为中心点 “centroid”预先计算这些特征的结果来作为查找表Look-up Tables, LUT。在推理时LUT-NN 可以直接从查找表中读取与输入特征最接近中心点的计算结果作为该算子的近似输出。为了提高 LUT-NN 的准确性LUT-NN 还采用了可微中心点学习differentiable centroid learnings技术。通过模型训练过程中的反向传播LUT-NN 可以通过调整中心点最小化 LUT-NN 模型的精度损失。此外研究员们还优化了 LUT-NN 的推理执行通过提升并行性、减少内存访问、充分利用已有的硬件加速指令等方式提升了模型的推理性能。
LUT-NN 在包括图像识别、语音识别和自然语言处理等多种领域的任务上进行了评估。与传统方法相比LUT-NN 在保持相似的模型准确度的同时显著减少了各项推理成本。其中浮点运算 FLOPs 最多减少到1/16模型大小最多减少到1/7延迟最多减少到1/6.8内存最多减少到1/6.5功耗最多减少到41.7%。LUT-NN 首次使用了查找表来简化DNN推理过程并且通过可微中心点的方式降低了模型训练成本同时还保持了模型的准确度。这种方法为移动设备上的 DNN 推理提供了一种新的、效率更高的解决方案。该论文已被 MobiCom 2023 大会接受。
arXiv精选
Large Search Model: 在大模型时代重定义搜索框架 论文链接https://arxiv.org/pdf/2310.14587.pdf
搜索引擎是十分重要的信息获取工具。当代搜索引擎包含一系列不同的模块包括查询query理解、检索、多级排序和问答等。但这些模块往往是独立优化和部署的缺少端到端的训练来优化整体的搜索体验。
对此微软亚洲研究院的研究员们提出了一种称为“大型搜索模型”Large Search Model的新搜索概念框架将不同的搜索模块统一成一个用于搜索的大型语言模型。在这个框架下研究员们将各种搜索模块都转化为自回归任务利用大型语言模型强大的理解和推理能力在简化复杂搜索模块的同时提供更好的搜索结果。 图4Large Search Model 框架示意图
在传统搜索引擎中检索模块负责根据用户查询从海量文档中返回数千相关文档再通过多个不同的排序模块逐步从数千文档中筛选出最相关的数个文档最后基于最相关的文档进行摘要抽取和问答等动作从而生成搜索引擎结果页面SERP。而在新的 Large Search Model 框架中则是使用一个大型语言模型作为一个统一的搜索模型将检索返回的数千文档同时作为语言模型的输入然后直接输出整个SERP包括排序列表、摘要、问答结果等等。
为了实现此目标研究员们认为 Large Search Model 应该具有统一建模多种检索任务的能力、通过提示词进行定制的能力、长文本建模能力和多模态处理能力。此外语言模型的推理效率、幻觉和一致性也是实际中需要考虑的问题。研究员们在 MS-MARCO 数据集上进行了初步的实验。检索结果排序表1和结果生成表2的实验都取得了优于基线的结果。 表1列表排序的初步实验结果 表2答案摘要生成结果示例
在未来研究员们希望能在更大规模的真实场景下进行实验并为搜索引擎的研究提供一种新的思路。
