找建网站公司,网站置顶代码,专做医药中间体的网站,建设网站文献数据集划分方法 K折交叉验证法
将全部训练集S分成k个不相交的子集#xff0c;假设S中的训练样例子数为m#xff0c;那么每一个子集有m/k个训练样例#xff0c;相应子集称作{s1,s2……sk}每次从分好的子集里面#xff0c;拿一个作为测试集#xff0c;其他k-1作为训练集在k…数据集划分方法 K折交叉验证法
将全部训练集S分成k个不相交的子集假设S中的训练样例子数为m那么每一个子集有m/k个训练样例相应子集称作{s1,s2……sk}每次从分好的子集里面拿一个作为测试集其他k-1作为训练集在k-1个训练集中训练出学习器模型把这个模型放到测试集上得到分类率计算k次求得的分类率的平均值作为改模型或者假设函数的真实分类率这个方法充分利用了所有样本但计算比较繁琐需要训练k次测试k次
留一法
假设有N个样本将每一个样本作为测试样本其它N-1个样本作为训练样本这样得到N个分类器N个测试结果。用这N个结果的平均值来测量模型的性能 如果LOD与K-fold—CV比较LOD在N个样本上建立N个模型而不是k个更进一步N个模型的每一个都是在N-1个样本上训练的而不是k-1n/k。两种方法中假定k不是很大且kN.LOD比k-fold-cv更加耗时 留p法验证 有N个样本将每p个样本作为测试样本其它N-p个样本作为训练样本这样得到n p个分类器不像其他p1,会发生数据重叠。
随机划分法
Shuffle Split迭代器 产生指定数量 独立的train/test数据集划分。首先对样本全体随机打乱然后再划分train/test对 可以使得随机种子random_test来控制随机数序列产生器是的运算结果可重现 Shuffle Split是Kfold交叉验证的比较好的替代它允许更好的控制迭代次数和train/test样本比例 StratifiedShuffle Split 是Shuffle Split的一个变体返回分层划分也就是在创建划分的时候要保证每个划分中类的样本比例与整体数据集中的原始比例保持一致
超参数优化方法
学习器模型中一般有两个参数一类参数可以从数据中学习可以估计得到还有一类参数无法从数据中估计只能靠人的经验进行设计指定。后一类参数叫超参数 比如支持向量机中C Kernel gama 朴素贝叶斯里的alpha等 在学习器模型设计中我们要搜索超参数空间的学习器模型找到最合理的超参数 通过此方法获得学习器模型参数列表和当前取值 estimator.get_params(). 有些学习器模型有自己的独特的参数优化方法 SKLEARN提供两种参数优化方法网络搜索与随机采样 网格搜索交叉验证以穷举方式遍历所有可能的参数组合 随机采样交叉验证依据某种分布对参数空间采样随机得到一些参数组合方案
网格式搜索超参数优化方法 随机采样式超参数优化方法 超参数空间搜索技巧
技巧一指定一个合适的目标测度对模型进行评估 默认情况下参数搜索使用estimator的score函数来评估模型在某种参数配置下的性能 分类器对应于:sklearn.metrics.accuracy_score 回归器对应于sklearn.metrics.r2_score 但是在某些应用中其他评分函数或许更加的合适。比如在非平衡的分类问题中准确率accuracy_score通常不管用。这时我们可以通过参数scoring来指定GridSearchCV类或者RandomizedSearchCV类内部我们自己定义评分函数 技巧二 使用sklearn的PipLine将estimator和他们的参数空间组合起来 技巧三 合理划分数据集开发集用于GridSearchCV)测试集Test使用model_selection.train_test_split() 技巧四 并行化GridSearchCV和RandomizedSearchCV在参数点的计算上可以做到并行运算用n_jobs来指定 技巧五 提高到某些参数节点发生错误的鲁棒性再出错节点提示警告设置参数error_score0搞定
模型验证方法 1.交叉验证计算得分 2.每个输入数据点交叉验证估计 3计算并绘制模型的学习率曲线
学习率曲线 计算指定的学习器模型在不同大小的训练集上经过交叉验证的训练得分和测试得分 首先用一个交叉验证生成器划分整体数据集k次每一次划分都有一个训练集和测试集然后从第k次的训练集中拿出若干个数量不断增加的子集在这些子训练集上训练模型然后再计算模型在对应的子训练集和测试集上的得分。最后对于每种子训练集大小下将k次训练得分和测试集得分分别进行平均
sklearn模型预测性能的评估方法
estimator对象的score方法 交叉验证中使用scoring参数
