肇庆网站seo,365建站器,东莞人才服务中心官网,小程序开发报价明细所谓不平衡指的是#xff1a;不同类别的样本数量差异非常大。数据规模上可以分为大数据分布不均衡和小数据分布不均衡。大数据分布不均衡#xff1a;例如拥有1000万条记录的数据集中#xff0c;其中占比50万条的少数分类样本便于属于这种情况。小数据分布不均衡#xff1a;…所谓不平衡指的是不同类别的样本数量差异非常大。数据规模上可以分为大数据分布不均衡和小数据分布不均衡。大数据分布不均衡例如拥有1000万条记录的数据集中其中占比50万条的少数分类样本便于属于这种情况。小数据分布不均衡例如拥有1000条数据样本的数据集中其中占有10条的少数分类样本便于属于这种情况。样本类别分布不平衡主要出现在分类问题的建模上。导致样本量少的分类所包含的特征过少很难从中提取规律即使得到分类模型也容易产生过度依赖于有限的数据样本而导致过拟合的问题当模型应用到新的数据上模型的准确性和鲁棒性很差。样本分布不平衡主要在于不同类别间的样本比例差异超过10倍就要考虑该问题超过20倍一定要解决。1. 数据挖掘中容易出现样本不均衡的场景1. 异常检测场景比如恶意刷单、黄牛订单、信用卡欺诈、电力窃电、设备故障等。这些数据样本所占的比例通常是整体样本中很少一部分以信用卡欺诈为例欺诈比例一般在 0.1% 以内。2. 客户流失场景大型企业流失的客户相对于整体客户通常是少量的。比如电信、石油等。3. 低频事件的发生例如每年1次的双11盛会一般都会产生较高的销售额但放到全年来看这一天的销售额占比很可能只有1%不到尤其对于很少参与活动的公司而言这种情况更加明显。这种属于典型的低频事件。2. 解决样本不均衡1. 过抽样和欠抽样解决样本不均衡过抽样(也叫上采样、over-sampling)即增加分类中少量样本的数量简单方法就是复制少数类样本形成多条记录缺点是样本特征少导致过拟合。改进的过抽样通过在少数类中加入随机噪声、干扰数据或通过一定规则产生新的合成样本。如SMOTE算法(Synthetic Minority Oversampling Technique即合成少数类过采样技术)。欠抽样(也叫下采样、under-sample)即减少分类中多数样本的数量简单方法就是随机去掉一些多数类样本减小规模缺点丢失多数类样本中的重要信息。总体上过抽样和欠抽样更适合大数据分布不均衡的情况。2. 正负样本的惩罚权重解决样本不均衡思想对不同样本数量的类别赋予不同的权重(一般分类中的小样本量类别权重高大样本量类别权重低)。很多算法都有基于类别参数的调整设置以 SVM 为例在class_weight{dict, balanced}中针对不同类别手动指定不同的权重。适用默认方法balancedSVM将权重设置为与不同类别样本数量呈反比的权重来做自动均衡处理计算公式n_samples / (n_classes * np.bincount(y))。3. 组合/集成方法解决样本不均衡思想在每次生成训练集时使用所有分类中的小样本量同时从分类中的大样本量中随机抽取数据来与小样本量合并构成训练集这样反复多次得到很多训练集和训练模型。最后使用组合方法(比如投票、加权投票等)产生分类预测结果。例如 在数据集中的正、负的样本分别为100和10000条比例为1:100。此时可以将负样本(类别中的大量样本集)随机分为100份(当然也可以分更多)每份100条数据然后每次形成训练集时使用所有的正样本(100条)和随机抽取的负样本(100条)形成新的数据集。如此反复可以得到100个训练集和对应的训练模型。来自《Python数据分析与数据化运营》
