网站导航栏设计要求,seo搜索引擎的优化,网站建设存在的问题及对策,espcms易思企业网站系统内容来自七月算法nlp课程。 文章目录1 句子向量1.1 bert句子向量表示相似度效果不好1.2 sentence-bert1 句子向量
句子向量是用于实体消岐的。可以使用Elmo#xff0c;也可以使用bert。这里介绍用bert生成句子向量。
1.1 bert句子向量表示相似度效果不好
Bert中最常用的句向…内容来自七月算法nlp课程。
文章目录1 句子向量1.1 bert句子向量表示相似度效果不好1.2 sentence-bert1 句子向量
句子向量是用于实体消岐的。可以使用Elmo也可以使用bert。这里介绍用bert生成句子向量。
1.1 bert句子向量表示相似度效果不好
Bert中最常用的句向量方式是采用cls标记位或者平均所有位置的输出值注意在采用平均的方式的时候我们需要先做一个mask的操作计算均值时除以mask的和。但bert的句子向量效果不理想。
为什么呢 原因1词频率影响词向量的空间分布。bert词向量表示与原点的L2距离的均值。高频的词更接近原点。
原因2低频次分布偏向稀疏。度量词向量空间中与K近邻单词的 L2 距离的均值。我们可以看到高频词分布更集中而低频词分布则偏向稀疏。然而稀疏性的分布会导致表示空间中存在很多“洞”这些洞会破坏向量空间的“凸性”。考虑到BERT句子向量的产生保留了凸性因而直接使用其句子embeddings会存在问题。 这个凸性听得云里雾里。
解决的模型有sentence-bert、bert-flow和simCSE。
1.2 sentence-bert
论文https://arxiv.org/pdf/1908.10084.pdf 代码https://github.com/UKPLab/sentence-transformers
