搭建什么网站好,百度打广告收费表,网站更换程序,公司网站建设沈阳BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation #xff08;1#xff09;单模态编码器#xff0c;它分别对图像和文本进行编码。图像编码器用ViT#xff0c;并使用附加的 [CLS] 标记来表示全局图像特征。文本…BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation 1单模态编码器它分别对图像和文本进行编码。图像编码器用ViT并使用附加的 [CLS] 标记来表示全局图像特征。文本编码器与 BERT 相同Devlin et al., 2019其中 [CLS] 标记附加到文本输入的开头以总结句子。
2基于图像的文本编码器通过在文本编码器的每个变换器块的自注意SA层和前馈网络FFN之间插入一个额外的交叉注意CA层来注入视觉信息。特定于任务的 [Encode] 标记被附加到文本中并且 [Encode] 的输出嵌入用作图像-文本对的多模态表示。
3基于图像的文本解码器用因果自注意力层替换基于图像的文本编码器中的双向自注意力层。 [Decode] 标记用于表示序列的开始序列结束标记用于表示序列的结束。 三个损失
Image-Text Contrastive Loss (ITC)
Image-Text Matching Loss (ITM) 图像文本匹配损失ITM激活图像文本编码器。它的目的是学习图像文本多模态表示捕获视觉和语言之间的细粒度对齐。 ITM 是一项二元分类任务其中模型使用 ITM 头线性层来预测图像文本对在给定多模态特征的情况下是正匹配还是负不匹配。
Language Modeling Loss (LM) 语言建模损失LM激活基于图像的文本解码器其目的是根据给定的图像生成文本描述。它优化了交叉熵损失训练模型以自回归方式最大化文本的可能性。在计算损失时我们应用 0.1 的标签平滑。与 VLP 中广泛使用的 MLM 损失相比LM 使模型具有泛化能力可以将视觉信息转换为连贯的字幕。 CapFilt处理网络图像文本对数据大量噪声 我们提出了字幕和过滤CapFilt这是一种提高文本语料库质量的新方法。图 3 给出了 CapFilt 的图示。它引入了两个模块一个用于在给定网络图像的情况下生成字幕的字幕生成器以及一个用于消除噪声图像文本对的过滤器。字幕生成器和过滤器都是从相同的预训练 MED 模型初始化的并在 COCO 数据集上单独进行微调。微调是一个轻量级的过程。具体来说字幕生成器是一个基于图像的文本解码器。它通过 LM 目标进行微调以解码给定图像的文本。
给定网络图像 Iw字幕生成器生成合成字幕 Ts每个图像一个字幕。该过滤器是一个基于图像的文本编码器。它根据 ITC 和 ITM 目标进行了微调以了解文本是否与图像匹配。该过滤器会去除原始网络文本 Tw 和合成文本 Ts 中的噪声文本其中如果 ITM 头预测文本与图像不匹配则文本被认为是噪声文本。最后我们将过滤后的图像文本对与人工注释对结合起来形成一个新的数据集我们用它来预训练新模型。 实验
模型在 PyTorch 中实现并在两个 16-GPU 节点上进行预训练。图像转换器是从 ImageNet 上预训练的 ViT 初始化的文本转换器是从 BERTbase 初始化的。
使用 AdamW (Loshchilov Hutter, 2017) 优化器权重衰减为 0.05。学习率预热至 3e-4 (ViT-B) / 2e-4 (ViT-L)并以 0.85 的速率线性衰减。我们在预训练期间随机采集分辨率为 224 × 224 的图像并在微调期间将图像分辨率提高到 384 × 384。我们使用预训练数据集总共 1400 万张图像包括两个人工注释数据集COCO 和 Visual Genome 和三个网络数据集Conceptual Captions 、Conceptual 12MSBU captions。我们还尝试了另一个网络数据集 LAION其中包含 1.15 亿张图像其中文本噪声较多1。 CapFilt 可以通过更大的数据集和更大的视觉主干进一步提高性能这验证了其在数据大小和模型大小方面的可扩展性。
