如何开发手机网站,移动端关键词排名如何优化,酒店做网站,张槎网站建设在大规模语言模型#xff08;LLMs#xff09;通往通用人工智能#xff08;AGI#xff09;的道路中#xff0c;从传统的单一的“语言模态”扩展到“图像”、“语音”等等的“多模态”必然是大模型进化的必经之路。
在过去的 2023 年#xff0c;多模态大规模语言模型…在大规模语言模型LLMs通往通用人工智能AGI的道路中从传统的单一的“语言模态”扩展到“图像”、“语音”等等的“多模态”必然是大模型进化的必经之路。
在过去的 2023 年多模态大规模语言模型MM LLMs伴随着大模型本身的飞速进化也不断的产生新的突破而年底谷歌 Gemini 的宣传片更是一举提升了人们对多模态大模型上限的想象。 而最近腾讯 AI Lab 发表了一篇关于多模态大模型的最新综述《MM-LLMs: Recent Advances in MultiModal Large Language Models》整理归纳了现在多模态大模型的整体架构设计方向并且提供了现有主流的 26 个多模态大模型的简介总结了提升多模态大模型性能的关键方法可谓一文跟上 MM LLMs 的最新前沿一起来看看吧 论文题目 MM-LLMs: Recent Advances in MultiModal Large Language Models 论文链接 https://arxiv.org/pdf/2401.13601.pdf 多模态大模型架构
如果对过去一年主流的多模态大模型按时间顺序进行排列可以看到这样一张时间线图 多模态大模型脱胎于大模型的发展传统的多模态模型面临着巨大的计算开销而 LLMs 在大量训练后掌握了关于世界的“先验知识”因而一种自然的想法就是使用 LLMs 作为多模态大模型的先验知识与认知推动力来加强多模态模型的性能并且降低其计算开销从而多模态大模型这一“新领域”应运而生。
作为在语言模态上得到了良好训练的 LLMsMM LLMs 面对的主要任务是如何有效的将 LLMs 与其他模态的信息进行结合使其可以综合多模态的信息进行协作推理并且最终使得 MM LLMs 的输出与人类价值观保持一致。
多模态大模型的整体架构可以被归类为如下图的五个部分整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。多模态理解包含多模态编码器输入投影与大模型主干三个部分而多模态生成则包含输出投影与多模态生成器两个部分通常而言在训练过程中多模态的编码器、生成器与大模型的参数一般都固定不变不用于训练主要优化的重点将落在输入投影与输出投影之中而这两部分一般参数量仅占总体参数的 2%。 多模态编码器
如果用公式表示多模态编码器ME完成的任务是编码输入的多模态信息 将其映射到特征空间中获得
这里 用来表示如图像、视频、音频、3D 等的不同多模态信息。不同的模态对应有不同的模态编码器对于图像常用的编码器有 NFNet-F6、ViT、CLIP ViT 以及 Eva-CLIP ViT。其中 NFNet-F6 是一种抛弃了 Batch Norm 的 ResNet 变体而后面三种都基于 Vision Transformer 方法。
对于音频而言常用的编码器是 CFormer、HuBERT、BEATs 与 Whisper。对于三维点云数据而言编码器有 ULIP-2PointBERT 等。而对于视频而言常用的方法是将视频均匀采样五帧再进行与图像相同的输入编码。此外还有类似 ImageBind 这类 any to ang one 的涵盖六种模态的统一编码器可以使用。
输入投影
输入投影主要用于将编码器编码得到的特征向量对齐到大模型擅长的文本模态空间 之中。具体而言
其中 一般指输入的 Prompt为了训练输入投影其目标是给定多模态数据集{,}最小化其文本生成 Loss:
通常输入投影可以直接使用多层感知器 MLP或者也可以使用更加复杂的如 Crossattention、Q-Former、PFormer 等。
大模型主干
作为多模态大模型的核心大模型主干主要用于参与模式的表示、语义理解、推理与决策输出一般而言在MM LLMs大模型主干主要产生直接的文本输出 与指导多模态生成器生成多模态信息的信号 即
MM LLMs 中常用的大模型主干有 Flan-T5ChatGLMUL2Qwen、Chinchilla、OPT、PaLM、LLaMA、LLaMA-2 和 Vicuna。
输出投影
对称的在大模型主干后紧跟着输出投影 将多模态信号 映射到多模态生成器的特征空间 :
类似的给定数据集{,}输出投影的目标在于
这里 是多模态生成器中文本条件编码器输入文本 后输出的多模态信息。输入投影通常使用 MLP 或者小型的 Transformer 进行构建。
多模态生成器
多模式生成器MG的任务是生成不同模态的输出通常使用潜在扩散模型Latent Diffusion ModelsLDMs) 实现例如非常有名的用于图像生成的 Stable Diffusion以及用于视频合成的 Zeroscope、用于音频生成的 AudioLDM-2 等。
在训练过程中首先将真实标题通过 VAE 获得潜在特征 通过给 添加噪音 构建噪音潜在特征 使用一个预训练的 Unet 计算条件 LDM 损失 同时优化输入投影与输出投影:
多模态大模型训练
整体多模态大模型的训练可以被划分为两个主要阶段MM PT 和 MM IT。
其中MM PT 主要利用 X-Text 数据集对输入投影与输出投影进行优化其中 X-Text 数据集有图像文本对 $()交替图像文本对()$常用的 X-Text 数据集如下 类似 InstructGPT 与 InstructBLIP 的思路MM IT 阶段Instruction Tuning主要包含有监督微调SFT与基于人类反馈的强化学习(RLHF)旨在使用一组指令数据对预训练的 MM LLMs 进行微调在 MM IT 的过程在 MM LLMs 通过新的指令来增强其泛化能力加强其 Zero-shot 的能力。
多模态大模型综述
介绍完多模态大模型的架构那么多模态大模型哪家强呢这篇综述总结了 26 种大模型的核心贡献与其发展趋势归纳成一个表如下 在这张表中I——O表示输入到输出模态其中 I 表示图像V 表示视频A 表示音频3D 表示点云而 T 表示文字。整体各个模型详细的归纳整理了多模态大模型架构各个部分使用的各个组件其中 #.PT 与 #.IT 指代表MM PT 与MM IT 的训练数据集规模。
根据这个表比较有代表性的 MM LLM 有例如 BLIP-2在输入投影中创新使用轻量的 Q-Former 引入了更加高效的资源框架在 23 年 2 月份刚面世时在多个任务中取得 SOTA。LLaVA 首先将 IT 技术Instruction Tuning引入多模态领域构成了最成熟的开源多模态大模型。
Mini GPT-4 将视觉编码器 BLIP-2 和大模型 Vicuna 进行结合训练产生了许多类似于 GPT-4 中展示的新兴视觉语言能力。X-LLM 是中科院发布的多模态大模型使用 Q-Former构建的 X2L 接口将多个单模态编码器与 LLM 进行对齐中科院发布多模态 ChatGPT图片、语言、视频都可以 Chat 中文多模态大模型力作 VideoChat 来自上海 AI Lab提出了以 Chat 为中心的端到端视频理解系统以可学习的方式集成了视频和语言的基础模型通过构建视频基础模型与 LLMs 的接口通过对接口进行训练与学习从而完成视频与语言的对齐上海AI lab提出VideoChat可以与视频对话啦InstructBLIP 是 BLIP 作者团队的续作将指令微调的范式用于 BLIP-2 模型上面实现了灵活多样的特征提取。PandaGPT 将大型语言模型与不同模态对齐、绑定实现了跨模态的指令跟随能力。 Qwen-VL 是阿里开源的多模态模型包含 Qwen-VL 与 Qwen-VL-Chat 两个版本。MiniGPT-5 则以生成式 voken 概念为基础创新了交错视觉语言生成技术。 从这些大模型之中作者也归纳总结了 MM LLMs 的发展趋势与方向 从具体的某一模态发展到任意到任意模型的转换MiniGPT-4 → MiniGPT-5 → NExT-GPT 从有监督微调到基于人类反馈的强化学习BLIP-2 → InstructBLIP → DRESS 多样化模态扩展(BLIP-2 → X-LLMInstructBLIP → X-InstructBLIP) 更高质量的数据集(LLaVA → LLaVA1.5) 更高效的模型架构
多模态大模型 SOTA 与未来
统一上文中的 26 个多模态大模型综述作者也让这些模型站上擂台在主流的 18 个 VL 基准上对这些多模态大模型进行了测试结果如下 从这些 SOTA 中作者总结了如下的几个“小trick” 更高的图像分辨率可以纳入更多的视觉细节有利于需要细粒度的任务但是更高的分辨率会导致额外的训练与推理成本 高质量的 SFT 数据可以显著的提升特定任务的性能 在 VILA 中可以发现对 LLM 主干进行微调可以促进对齐实现更好的上下文学习并且交替图像文本对也有利于多模态能力的形成
鉴古知今从过去这一年多以来的多模态大模型的发展出发作者总结了 MM LLMs 未来的发展方向在增强模型性能方面 从多模态到更多模态目前主流的多模态停留在图像、视频、音频、3D和文本数据但是现实世界中用于更多模态的信息网页、表格、热图…… 统一的多模态通过将各种类型的多模态大模型进行统一来实现各种具体的现实需求 数据集质量的提高当前的 MM IT 数据集还有很大的提升空间未来可以在指令范围多样化等方面增强 MM LLM 的能力 增强生成能力大模型的主要能力尚且在“理解”这一层面受制于 LDM 的容量多模态大模型的生成能力还需要提升。
除了性能以外当下的多模态大模型也呼唤着更加强大有效的评价基准目前的基准有可能已经无法充分的挑战多模态大模型的能力。此外多模态大模型也需要在轻量级/移动设备中部署迈出新的一步为了在资源受限的平台中使用多模态大模型的能力轻量级的实现至关重要目前突出的方法有 MobileVLM参数量少于 2000 万大大提升了推理速度。具身智能是通往 AGI 的必由之路多模态大模型在具身智能上的应用也需要进一步探索目前的 MM LLMs 很大程度上还是静态的无法适应具身智能动态多阶段的需求。
总结与讨论
在腾讯 2024 数字科技前沿应用趋势中强调了“通用人工智能渐行渐近大模型走向多模态AI智能体Agent有望成为下一代平台”。当下多模态大模型不仅仅是学界新宠也是未来行业发展进步的一大方向站在这篇综述的基础之上期待我们可以更快更好的理解未来多模态大模型的发展赶上这波通用人工智能的新浪潮
