自适应网站制作费用,网站的行为怎么做,石家庄网站建设公司怎么样,怎么制作wordpress主题预训练
在相似任务中#xff0c;由于神经网络模型的浅层是通用的#xff0c;如下图#xff1a; 所以当我们的数据集不够大#xff0c;不能产生性能良好的模型时#xff0c;可以尝试让模型B在用模型A的浅层基础上#xff0c;深层的部分自己生成参数#xff0c;减小数据集…预训练
在相似任务中由于神经网络模型的浅层是通用的如下图 所以当我们的数据集不够大不能产生性能良好的模型时可以尝试让模型B在用模型A的浅层基础上深层的部分自己生成参数减小数据集的压力使用模型A的浅层来实现任务B由两种方式 冻结frozen浅层参数不变微调Fine-Tuning)浅层参数会跟着任务B的训练而改变 总结一个任务A一个任务B两者极其相似任务A已经通过大数据集训练出一个模型A使用模型A的浅层参数去训练任务B得到模型B。 使用的特性为CNN浅层参数通用任务B也可以是大数据我们仍可以使用模型A的浅层参数这样在训练模型B的时候能节省训练时间节省成本
统计语言模型
语言模型通常是通过模型来完成两个任务 判断这两句话哪一个的概率大P(“判断这个词的词性”)P(判断这个词的磁性“)选择在这句话的后面填什么词比较好“判断这个词的__” 统计语言模型用统计的方法解决以上两个问题 统计的方法条件概率的链式法则解决第一个问题 首先对一句话进行分词操作如“判断”“这个”“词”“的”“词性”那求这句话出现的概率就变成了求这些词按顺序出现的概率即W1出现的概率 * (W1出现时W2出现的概率) *…公式如下 解决第二个问题 首先还是对这句话进行分词操作那求划线处填什么就变成了求词库中的所有词哪一个放在这个句子中的概率最大即求P(W_next | “判断”“这个”“词”“的”)的最大值即 Wnext判断这个词的出现的个数除以判断这个词的出现的个数公式如下 词库就像一个新华字典把所有词都装进了词库集合V中例如 n元统计语言模型 统计语言模型的缺陷如果n特别大即W1W2W3…Wn有很多那么我们算条件概率的计算量很大n元统计语言模型如果可以把n个词在不影响结果的情况下改为取更少量的词这样可以减小计算量如下 实际计算步骤 假设词库如下
判断单词的词性”
磁性很强的磁铁”
”北京的词性是名词那P(词性 | 的)的结果如下 平滑策略 如果在词库V中求不存在的词出现的概率即选词填空问题中无法从词典中选择一个词填入那容易出现 0 0 \frac{0}{0} 00的情况如P(策略 | 平滑)于是为了避免这种情况会在分子和分母中都加入一个非0正数如下 总结 语言模型统计两个问题计算一句话的概率计算下一个词可能是什么统计语言模型统计的方法去解决语言模型的问题条件概率n元统计语言模型只取n个词平滑策略避免出现 0 0 \frac{0}{0} 00的情况
