建设银行网站密码忘记了咋办,邢台营销型网站建设费用,国外免费建站网站不用下载,公司网站推广方式前情回顾
由上一节#xff0c;我们可以得到#xff1a; 任何一个独热编码的词都可以通过Q矩阵得到一个词向量#xff0c;而词向量有两个优点#xff1a; 可以改变输入的维度#xff08;原来是很大的独热编码#xff0c;但是我们经过一个Q矩阵后#xff0c;维度就可以控…前情回顾
由上一节我们可以得到 任何一个独热编码的词都可以通过Q矩阵得到一个词向量而词向量有两个优点 可以改变输入的维度原来是很大的独热编码但是我们经过一个Q矩阵后维度就可以控制了相似词之间的词向量有了关系 但是在NNLM神经网络语言模型的一种中词向量是一个副产品即主要目的并不是生成词向量而是去预测下一个词是什么所以它对预测的精度要求很高模型就会很复杂也就不容易去计算Q矩阵和词向量模型图如下 因此提出了一个专门生成词向量的神经网络语言模型----Word2Vec
Word2Vec
主要目的是生成词向量模型图如下 虽然NNLM和Word2Vec基本一致不考虑细节网络架构基本一致但是由于Word2Vec的主要目的是生成词向量那么对预测精度的要求可以放低甚至只要合理就算有多个结果也可以因此模型不会很复杂也就是可以更容易的计算出Q矩阵和词向量所以对比NNLMWord2Vec不用预测更准确只需要可以正常的进行一个反向传播可以去掉激活函数加快计算速度如下 Word2Vec的缺点 词向量不能表示一词多义如果我们在训练中给某一个词选择了一个词向量但是在测试中同样的词可能会有其他意思那模型仍然不知道这个位置应该填入什么词如下
CBOW
给出一个词的上下文预测这个词如下 由于Q矩阵和词向量的产生在INPUT到PROJECTION的过程中且CBOW会有更多的Q矩阵和词向量也就意味着它生成词向量的效率更高如下
Skip-gram
给出一个词得到这个词的上下文如下 相反在Skip-gram中我们得到Q矩阵和词向量的效率会低一些
如何将词向量使用在下游任务中
Word2Vec是预训练模型而预训练模型分为两种假设给出任务A和任务B其中对于任务A我们已经得出了一个良好的模型A而任务B由于数据集太小或训练太复杂等其他原因无法解决即无法得出模型B 我们可以使用模型A来辅助解决任务B或者使用模型A来加快模型B的生成 词向量大多数用在第二种加快模型B的生成 在经典的NLP领域中在将输入X、Y传入网络后从W独热编码是一种一一对应的表查询不是预训练到隐藏层需要经过一个Q矩阵而这个Q矩阵可以使用Word2Vec预训练好的Q矩阵并直接得到词向量然后进行接下来的具体任务在我们使用Word2Vec的Q矩阵也有两种方式 冻结不改变Q矩阵微调随着任务的改变在模型的训练过程中改变Q矩阵 以后的transformer和BERT都是用在预训练这一块而其他的网络结构是根据任务的不同进行改变的也就意味着在相同的任务下我们可以通过改变预训练来找到创新点。
参考文献
06 Word2Vec模型第一个专门做词向量的模型CBOW和Skip-gram
