南京设计网站建设,自己做免费的网站,上海医疗 网站制作,新媒体运营师考试报名官网参考
3.11 模型选择、欠拟合和过拟合
3.11.1 训练误差和泛化误差
在解释上述现象之前#xff0c;我们需要区分训练误差#xff08;training error#xff09;和泛化误差#xff08;generalization error#xff09;。通俗来讲#xff0c;前者指模型在训练数据集上表现…参考
3.11 模型选择、欠拟合和过拟合
3.11.1 训练误差和泛化误差
在解释上述现象之前我们需要区分训练误差training error和泛化误差generalization error。通俗来讲前者指模型在训练数据集上表现出的误差后者指模型在任意一个测试数据样本上表现出的误差的期望并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。
让我们以高考为例来直观地解释训练误差和泛化误差这两个概念。训练误差可以认为是做往年高考试题训练题时的错误率泛化误差则可以通过真正参加高考测试题时的答题错误率来近似。假设训练题和测试题都随机采样于一个未知的依照相同考纲的巨大试题库。如果让一名未学习中学知识的小学生去答题那么测试题和训练题的答题错误率可能很相近。但如果换成一名反复练习训练题的高三备考生答题即使在训练题上做到了错误率为0也不代表真实的高考成绩会如此。
在机器学习里我们通常假设训练数据集训练题和测试数据集测试题里的每一个样本都是从同一个概率分布中相互独立地生成的。基于该独立同分布假设给定任意一个机器学习模型含参数它的训练误差的期望和泛化误差都是一样的。例如如果我们将模型参数设成随机值小学生那么训练误差和泛化误差会非常相近。但我们从前面几节中已经了解到模型的参数是通过在训练数据集上训练模型而学习出的参数的选择依据了最小化训练误差高三备考生。所以训练误差的期望小于或等于泛化误差。也就是说一般情况下由训练数据集学到的模型参数会使模型在训练数据集上的表现优于或等于在测试数据集上的表现。由于无法从训练误差估计泛化误差一味地降低训练误差并不意味着泛化误差一定会降低。
机器学习模型应关注降低泛化误差。
3.11.2 模型选择
在机器学习中通常需要评估若干候选模型的表现并从中选择模型。这一过程称为模型选择model selection)。以多层感知机为例我们可以选择隐藏层的个数以及每个隐藏层中隐藏单元个数和激活函数。为了得到有效的模型我们通常要在模型选择上下一番功夫。下面我们来描述模型选择中经常使用的验证数据集validation data set。
3.11.2.1 验证数据集
从严格意义上来讲,测试集只能在所有超参数和模型选定后使用一次。不可以使用测试数据集选择模型,如调参。由于无法从训练误差估计泛化误差,因此也不应只依赖训练数据选择模型。鉴于此,我们可以预留一部分训练数据集和测试数据集以外的数据来进行模型选择。这部分数据称为验证数据集,简称验证集(validation set)。
然而在实际应用中由于数据不容易获取测试数据极少只使用一次就丢弃。因此实践中验证数据集和测试数据集的界限可能比较模糊。从严格意义上讲除非明确说明否则本书中实验所使用的测试集应为验证集实验报告的测试结果如测试准确率应为验证结果如验证准确率。
3.11.2.2 K折交叉验证
由于验证数据集不参与模型训练,当训练数据不够时,预留大量的验证数据显得太奢侈。一种改善的方法是KK折交叉验证K-fold cross-validation。在K折交叉验证中,我们把原始训练数据集分割成K个不重合的子数据集,然后我们做K次模型训练和验证。每一次,我们使用一个子数据集验证模型,并使用其他K-1个子数据集来训练模型。在这K次训练和验证中,每次用来验证模型的子数据集都不同。最后,我们对这K次训练误差和验证误差分别求平均。
3.11.3 欠拟合和过拟合
欠拟合: 模型无法得到较低的误差 过拟合: 模型在训练集上的误差远远小于在测试集上的误差
3.11.3.1 模型复杂度 3.11.3.2 训练数据集大小
影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说如果训练数据集中样本数过少特别是比模型参数数量按元素计更少时过拟合更容易发生。此外泛化误差不会随训练数据集里样本数量增加而增大。因此在计算资源允许的范围之内我们通常希望训练数据集大一些特别是在模型复杂度较高时例如层数较多的深度学习模型。
3.11.4 多项式函数拟合实验
import torch
import numpy as np
import sys
sys.path.append(..)
import d2lzh_pytorch as d2l3.11.4.1 生产数据集 n_train, n_nest, true_w, true_b 100, 100, [1.2, -3.4, 5.6], 5
features torch.randn((n_train n_nest, 1))
poly_features torch.cat((features, torch.pow(features, 2), torch.pow(features, 3)), 1) # 按列拼起来
labels (true_w[0] * poly_features[:,0] true_w[1] * poly_features[:,1] true_w[2] * poly_features[:, 2] true_b)labels torch.tensor(np.random.normal(0, 0.01, size labels.size()), dtypetorch.float)3.11.4.2 定义、训练模型
def semilogy(x_vals, y_vals, x_label, y_label, x2_valsNone, y2_valsNone, legendNone, figsize(3.5, 2.5)):d2l.set_figsize(figsize)d2l.plt.xlabel(x_label)d2l.plt.ylabel(y_label)d2l.plt.semilogy(x_vals, y_vals)if x2_vals and y2_vals:d2l.plt.semilogy(x2_vals, y2_vals, linestyle:)d2l.plt.legend(legend)num_epochs, loss 100, torch.nn.MSELoss()def fit_and_plot(train_features, test_features, train_labels, test_labels):net torch.nn.Linear(train_features.shape[-1], 1) # 线性,传入输入输出即可batch_size min(10, train_labels.shape[0])dataset torch.utils.data.TensorDataset(train_features, train_labels)# Dataloader根据 TensorDataset、batch_size随机取值返回train_iter torch.utils.data.DataLoader(dataset, batch_size, shuffle True)# optim传入模型的参数和学习率,返回一个优化器optimizer torch.optim.SGD(net.parameters(), lr0.01)train_ls, test_ls [], []for _ in range(num_epochs):for X, y in train_iter:l loss(net(X), y.view(-1, 1))optimizer.zero_grad() # 将上一次的梯度清0l.backward()optimizer.step()train_labels train_labels.view(-1, 1)test_labels test_labels.view(-1, 1)train_ls.append(loss(net(train_features), train_labels).item())test_ls.append(loss(net(test_features), test_labels).item())print(final epoch: train loss, train_ls[-1], test loss, test_ls[-1])semilogy(range(1, num_epochs 1), train_ls, epochs, loss,range(1, num_epochs 1), test_ls, [train, test])print(weight:, net.weight.data,\nbias:, net.bias.data)3.11.4.3 三阶多项式函数拟合(正常)
fit_and_plot(poly_features[:n_train, :], poly_features[n_train:, :], labels[:n_train], labels[n_train:])3.11.4.4 线性函数拟合(欠拟合)
fit_and_plot(features[:n_train, :], features[n_train:, :], labels[:n_train],labels[n_train:])3.11.4.5 训练样本不足过拟合
fit_and_plot(poly_features[0:2, :], poly_features[n_train:, :], labels[0:2],labels[n_train:])
