做家教备课用什么网站,新编网页设计与制作教程,如何用群晖nas做网站,wordpress 页面 自定义页面代码以及视频讲解
本文所涉及所有资源均在传知代码平台可获取
ChatGPT辅助细化知识增强#xff01; 多模态命名实体识别#xff08;MNER#xff09;最近引起了广泛关注。 用户在社交媒体上生成大量非结构化内容#xff0c;主要由图像和文本组成。这些帖子具有与社交媒体相…代码以及视频讲解
本文所涉及所有资源均在传知代码平台可获取
ChatGPT辅助细化知识增强 多模态命名实体识别MNER最近引起了广泛关注。 用户在社交媒体上生成大量非结构化内容主要由图像和文本组成。这些帖子具有与社交媒体相关的固有特征包括简洁和非正式的写作风格。 这些独特的特征对传统的命名实体识别NER方法提出了挑战。
在本文中我提出了一个两阶段框架旨在利用 ChatGPT 作为隐式知识库并使其能够启发式生成辅助知识以实现更有效的实体预测。 具体来说其中包含一个多模态相似示例感知模块该模块从少量预定义的人工样本中选择合适的示例。 然后将这些示例集成到适合 MNER 的格式化提示模板中并指导 ChatGPT 生成辅助细化知识。 最后将获得的知识与原始文本集成并输入下游模型以进行进一步处理。
【注】 文章中所用到的数据集都经过预处理的数据集文件.txt代码和数据集都放在了附件中感兴趣的小伙伴可以进行下载谢谢支持
一、研究背景
社交媒体上的多模态命名实体识别MNER旨在通过结合基于图像的线索来增强文本实体预测。 现有的研究主要集中在最大限度地利用相关图像信息或结合显式知识库中的外部知识。 然而这些方法要么忽视了为模型提供外部知识的必要性要么遇到检索知识冗余度高的问题。
二、模型结构和代码
我的模型主要分为两个阶段。在生成辅助细化知识的阶段我利用一组有限的预定义人工样本并采用多模态相似示例感知模块来仔细选择相关实例。然后将这些选定的示例合并到格式正确的提示中从而增强为 ChatGPT 提供的启发式指导以获取精炼的知识。 在基于辅助知识的实体预测阶段将原始文本与ChatGPT生成的知识信息相结合。然后将此级联输入输入基于转换器的编码器以生成token表示。最后将表示输入线性链条件随机场层以预测原始文本序列的概率分布。
任务流程
1. 任务公式化 将MNER任务视为一个序列标注任务。给定一个包含n个词元的句子 T t 1 , ⋅ ⋅ ⋅ , t n T {t_1, ···, t_n} Tt1,⋅⋅⋅,tn及其对应的图像 I I IMNER的目标是定位并分类句中提到的命名实体生成标签序列 y y 1 , ⋅ ⋅ ⋅ , y n y {y_1, ···, y_n} yy1,⋅⋅⋅,yn其中 y i ∈ Y y_i ∈ Y yi∈Y 是使用BIO2标注体系的预定义语义类别。
2. 上下文学习 GPT-3及其后续模型ChatGPT以下简称GPT是基于大量数据集预训练的自回归语言模型。在推理过程中上下文少样本学习通过在冻结的GPT模型上执行文本序列生成任务的方式来完成新的下游任务。具体来说给定一个测试输入 x x x其目标y基于格式化的提示 p ( h , C , x ) p(h, C, x) p(h,C,x)作为条件进行预测其中 h h h指的是描述任务的提示头 C c 1 , ⋅ ⋅ ⋅ , c n C {c_1, ···, c_n} Cc1,⋅⋅⋅,cn 是 n n n个上下文示例构成的上下文。所有的 h 、 C 、 x 、 y h、C、x、y h、C、x、y均为文本序列目标 y y 1 , ⋅ ⋅ ⋅ , y L y {y_1, ···, y_L} yy1,⋅⋅⋅,yL是长度为L的文本序列。在每一步解码过程中我们有 y l arg max y l p L L M ( y l ∣ p , y l ) y_l \argmax_{y_l} p_{LLM}(y_l | p, y_{l}) ylylargmaxpLLM(yl∣p,yl)
其中 L L M LLM LLM代表预训练的大型语言模型的权重这些权重在新任务中是冻结的。每个上下文示例 c i ( x i , y i ) c_i (x_i, y_i) ci(xi,yi)由任务的输入-目标对构成这些示例可以手动构建或从训练集中采样。
虽然GPT-4可以接受多模态信息输入但这一功能仅处于内部测试阶段尚未公开使用。此外与ChatGPT相比GPT-4的成本更高API请求速度较慢。为了提高可复现性我们仍然选择ChatGPT作为主要的研究对象并且提供的这一范式也可以用于GPT-4。
为了使ChatGPT能够完成图文多模态任务使用了先进的多模态预训练模型将图像转换为图像说明。最后将测试输入x设计为以下模板:
其中 t t t、 p p p 和 q q q 代表特定的测试输入。KaTeX parse error: Undefined control sequence: \n at position 2: \̲n̲ 表示模板中的换行符。同样每个上下文示例 c i c_i ci的定义也遵循以下类似模板:
其中 t i t_i ti、 p i p_i pi、 q q q 和 a i a_i ai 指的是从预定义的人工样本中检索的文本-图像问题-答案四元组。 MNER 的完整提示模板由固定提示头、一些上下文示例和测试输入组成被馈送到 ChatGPT 以进行辅助知识生成。
第一阶段辅助精炼知识启发式生成
1. 预定义的人工样本 使ChatGPT在MNER任务中表现更好的关键在于选择合适的上下文示例。获取准确标注的上下文示例这些示例能够精确反映数据集的标注风格并提供扩展辅助知识的途径是一个显著的挑战。直接从原始数据集中获取这些示例并不可行。为了解决这个问题我采用了随机抽样的方法从训练集中选择一小部分样本进行人工标注。具体来说对于Twitter-2017数据集从训练集中随机抽取200个样本进行人工标注而对于Twitter-2015数据集数量为120。标注过程包括两个主要部分。第一部分是识别句子中的命名实体第二部分是综合考虑图像和文本内容以及相关知识提供全面的理由说明。在标注过程中遇到的多种情况中标注者需要从人类的角度正确判断并解释样本。对于图像和文本相关的样本我们直接说明图像中强调了文本中的哪些实体。对于图像和文本无关的样本我们直接声明图像描述与文本无关。通过人工标注过程强调了句子中的实体及其对应的类别。此外引入了相关的辅助知识来支持这些判断。这个细致的标注过程为ChatGPT提供了指导使其能够生成高度相关且有价值的回答。
2. 多模态相似示例感知模块 由于GPT的少样本学习能力在很大程度上取决于上下文示例的选择我设计了多模态相似示例感知MSEA模块来选择合适的上下文示例。作为一个经典的多模态任务MNER的预测依赖于文本和视觉信息的整合。因此我们将文本和图像的融合特征作为评估相似示例的基本标准。而这种多模态融合特征可以从之前的多模态命名实体识别MNER模型中获得。将MNER数据集D和预定义的人工样本 G G G表示为 D ( t i , p i , y i ) M i 1 D {(t_i, p_i, y_i)}M i1 D(ti,pi,yi)Mi1 G ( t j , p j , y j ) N j 1 G {(t_j, p_j, y_j)}N j1 G(tj,pj,yj)Nj1 其中 t i t_i ti, p i p_i pi, y i y_i yi分别指代文本、图像和真实标签。基于 D D D训练的基础MNER模型 M M M主要由骨干编码器 M b M_b Mb和 C R F CRF CRF解码器 M c M_c Mc组成。输入的多模态图像-文本对通过编码器 M b M_b Mb编码得到多模态融合特征 H H H H M b ( t , p ) H M_b(t, p) HMb(t,p) 在以往的研究中经过交叉注意力投射到高维潜在空间的融合特征 H H H会直接输入到解码层以进行结果预测。我们的模型选择 H H H作为相似示例的判断依据因为在高维潜在空间中相近的示例更有可能具有相同的映射方式和实体类型。计算测试输入与每个预定义人工样本的融合特征 H H H的余弦相似度。然后选择前N个相似的预定义人工样本作为上下文示例以启发ChatGPT生成辅助的精炼知识 I a r g T o p N j ∈ 1 , 2 , . . . , N H T H j ∥ H ∥ 2 ∥ H j ∥ 2 I argTopN_{j∈{1,2,...,N}} \frac{H^TH_j}{ ∥H∥_2∥H_j∥_2} IargTopNj∈1,2,...,N∥H∥2∥Hj∥2HTHj I I I 是 G G G中前 N N N个相似样本的索引集。上下文示例C定义如下 C ( t j , p j , y j ) ∣ j ∈ I C {(t_j, p_j, y_j) | j ∈ I} C(tj,pj,yj)∣j∈I 为了高效实现相似示例的感知所有的多模态融合特征可以提前计算并存储。
3. 启发式增强提示生成
在获得上下文示例C之后构建了一个完整的启发式增强提示以利用ChatGPT在MNER任务中的少样本学习能力。提示头、一组上下文示例和测试输入共同构成了一个完整的提示。提示头根据任务需求以自然语言描述MNER任务。鉴于输入的图像和文本不一定总是直接相关鼓励ChatGPT发挥其自主判断力。上下文示例由MSEA模块的结果 C c 1 , ⋅ ⋅ ⋅ , c n C {c_1, ···, c_n} Cc1,⋅⋅⋅,cn构建。对于测试输入答案部分留空由ChatGPT生成。
第二阶段基于辅助精炼知识的实体预测
定义经过上下文学习后由ChatGPT生成的辅助知识为KaTeX parse error: Expected }, got EOF at end of input: … {z_1, ···, zm} 其中 其中 其中m 是 是 是Z 的长度。将原始文本 的长度。将原始文本 的长度。将原始文本T {t_1, ···, t_n} 与获得的辅助精炼知识 Z 拼接为 与获得的辅助精炼知识Z拼接为 与获得的辅助精炼知识Z拼接为[T; Z]$并将其输入基于Transformer的编码器 h 1 , ⋅ ⋅ ⋅ , h n , ⋅ ⋅ ⋅ , h n m e m b e d ( [ T ; Z ] ) {h_1, ···, h_n, ···, h_{nm}} embed([T; Z]) h1,⋅⋅⋅,hn,⋅⋅⋅,hnmembed([T;Z]) 由于Transformer编码器中使用的注意力机制得到的词元表示 H h 1 , ⋅ ⋅ ⋅ , h n H {h_1, ···, h_n} Hh1,⋅⋅⋅,hn包含了来自辅助知识Z的相关线索。与先前的研究类似将 H H H输入标准的线性链条件随机场层定义给定输入句子 T T T的标签序列 y y y的概率为 P ( y ∣ T , Z ) ∏ i 1 n ψ ( y i − 1 , y i , h i ) ∑ y ′ ∈ Y ∏ i 1 n ψ ( y ′ i − 1 , y ′ i , h i ) P(y|T, Z) \frac{\prod_{i1}^{n} \psi(y_{i−1}, y_i, h_i)}{\sum_{y′∈Y} \prod_{i1}^{n} \psi(y′_{i−1}, y′_i, h_i)} P(y∣T,Z)∑y′∈Y∏i1nψ(y′i−1,y′i,hi)∏i1nψ(yi−1,yi,hi) 其中 ψ ( y i − 1 , y i , h i ) ψ(y_{i−1}, y_i, h_i) ψ(yi−1,yi,hi)和$ψ(y′_{i−1}, y′_i, h_i)是势函数。最后使用负对数似然作为带有真实标签 y ∗ y∗ y∗的输入序列的损失函数 L N L L ( θ ) − l o g P θ ( y ∗ ∣ T , Z ) L_{NLL}(θ) −log Pθ(y∗|T, Z) LNLL(θ)−logPθ(y∗∣T,Z)
三、数据集介绍
我们在两个公共 MNER 数据集上进行了实验Twitter-2015和 Twitter-2017。这两个数据集都是从Twitter平台上收集的包含了文本和图像的配对信息主要用于研究在社交媒体短文本场景下的多模态命名实体识别和情感分析等任务。 1. Twitter-2015 推文中的文本部分被手动标注了命名实体并使用BIO2Beginning- Inside-Outside标注方案对命名实体进行分类。实体类别包括人物Person、组织Organization、地点Location等。3373/723/723(train/development/test)
2. Twitter-2017 相比于Twitter-2015Twitter-2017数据集的规模更大包含了更多的推文样本。Twitter-2017不仅扩大了数据规模还提高了标注的多样性和复杂性推文中的命名实体更加丰富。此外推文配对的图像信息在识别命名实体方面也具有重要作用尤其是那些无法通过文本直接判断的实体。4000/1000/3257(train/development/test)
三、性能展示
1. Twitter-2015
ModelPreRecF1UMT71.6775.2373.41UMGF74.4975.2174.85MNER-QG77.7672.3174.94R-GCN73.9576.1875.00CAT-MNER78.7578.6978.72Proposed79.2179.4579.33
2. Twitter-2017
ModelPreRecF1UMT85.2885.3485.31UMGF86.5484.5085.51MNER-QG88.5785.9687.25R-GCN86.7287.5387.11CAT-MNER90.2790.6790.47Proposed90.8692.0191.43
六、实现过程
在下载附件并准备好数据集并调试代码后进行下面的步骤附件已经调通并修改可直接正常运行 环境要求
python 3.7
torch 1.13.1
transformers 4.30.2
modelscope 1.7.12. 我们的项目基于AdaSeq, AdaSeq项目基于Python版本 3.7和PyTorch版本 1.8。
3. 下载
git clone https://github.com/modelscope/adaseq.git
cd adaseq
pip install -r requirements.txt -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html4. 将我们的附件文件夹复制到/adaseq/examples/
-adaseq
---|examples
-----|ER
-------|twitter-15-txt.yaml
-------|twitter-17-txt.yaml5. 用我们的adaseq文件夹替换原来的adaseq文件夹
-adaseq
---|.git
---|.github
---|adaseq -- (Use our adaseq replace it)
---|docs
---|examples
---|scripts
---|tests
---|tools6. 训练模型 python -m scripts.train -c examples/ER/twitter-15.yamlpython -m scripts.train -c examples/ER/twitter-17.yaml七、运行过程 训练过程 最终结果
源码下载
