张店网站制作首选专家,网站注册平台,中国建设网站用户名,开发网站如何选需要1.transformer
transformer
self-attention 当前编码的词和整个句子所有词做attention#xff0c;权重加在所有句子上获得当前的表示 encoder-decoder-attention 当前解码的单元和编码器的所有输出做attention#xff0c;权重加在所有编码输出上#xff0c;获得当前的表示…1.transformer
transformer
self-attention 当前编码的词和整个句子所有词做attention权重加在所有句子上获得当前的表示 encoder-decoder-attention 当前解码的单元和编码器的所有输出做attention权重加在所有编码输出上获得当前的表示
1.1 self-attention
单头 多头
1.2 残差 2.Bert
Bert-
