网站建设费可以计业务费吗,融晟网,河北省住房与建设厅网站首页,网站运营团队引言
本系列文章开始介绍深度学习在文本匹配领域的应用#xff0c;并且会尝试得到各种模型在给定的数据集上的表现。
深度文本匹配发展比较久#xff0c;积累了很多文本匹配方法。也有很多的分类方式#xff0c;一种分类方式是表示型和交互型。
表示型方法
表示型(repre…引言
本系列文章开始介绍深度学习在文本匹配领域的应用并且会尝试得到各种模型在给定的数据集上的表现。
深度文本匹配发展比较久积累了很多文本匹配方法。也有很多的分类方式一种分类方式是表示型和交互型。
表示型方法
表示型(representation-based method)方法也称为双塔型方法主要思路是计算一段文本的表示向量。对于要匹配的两段文本分别计算出两个表示向量然后通过匹配度函数计算两端文本的匹配程度。匹配度函数可以是固定参数的相似度度量函数或可学习的匹配度打分模型。 比如对同一个编码器分别计算文本a和文本b的表示向量可以把它们合并起来再喂给一个分类器进行打分。
代表方法
DSSMSiamCNNSiamLSTMSkipThoughtFastSentSDAEJoint-manyInferSentSSEGenSenQuick-ThoughtUSEMT-DAN(USE)Cross-thoughtSentence-BERTR-DropBERT-flowBert-whitentingSimBERTSimBERT v2SimCSE
交互型方法
而交互型(interaction-based)方法主要思路是计算两段文本之间的交互做法是首先计算两段文本单词级的词向量然后对两段文本的单词表示进行交互构建两段文本之间的匹配模式可以捕获到更细致、更局部的文本交互信息。最后使用DNN来提取更高层的匹配模式计算匹配得分。
强调的是待匹配的两段文本之间的充分交互以及交互后的匹配。 代表方法
DecAttPWIMMatchPyramidESIMBERTHCANRE2
那么这两种方式有什么区别呢什么情况下用哪种方式呢
表示型方法侧重于表示层的构建和相似度的计算可以预先李离线计算好文本表示推断效率高适合于对实时性要求高的场景比如检索式聊天机器人。交互型方法建模更细致、充分一般效果也更好。一般以Attention为代表的方式对文本进行不同粒度的交互然后融合不同粒度交互的结果作为一个特征向量进而得到最终的匹配结果。但是这种交互方式计算成本(时间)较高适合于对于匹配精度要求高但非实时的场景。
