美容网站建设一个多少钱,网站手机验证码注册怎么做,上海建设网站是多少,互联网推广方案目录
一、模型评估分类
1.在线评估
2.离线评估
二、离线模型评估
1.特征评估
① 特征自身稳定性
② 特征来源稳定性
③ 特征成本
2.模型评估
① 统计性评估
覆盖度
最大值、最小值
分布形态
② 模型性能指标
分类问题
回归问题 ③ 模型的稳定性 模型评估指标分…目录
一、模型评估分类
1.在线评估
2.离线评估
二、离线模型评估
1.特征评估
① 特征自身稳定性
② 特征来源稳定性
③ 特征成本
2.模型评估
① 统计性评估
覆盖度
最大值、最小值
分布形态
② 模型性能指标
分类问题
回归问题 ③ 模型的稳定性 模型评估指标分五小节课程这节课全局讲述模型评估指标有什么下三节课重点讲解模型性能指标了解他们的计算最后一节课详细讲解模型的稳定性指标。
一、模型评估分类
模型评估分为离线评估和在线评估两类。
1.在线评估
在线评估通常是将模型部署上线后使用线上真实数据对模型进行评估。通常会采取ABTest方式来评估业务的表现。
ABTest的操作方式是先导入一部分流量到模型中使得一部分用户使用模型训练后的商品页面而一部分用户看到原来的界面这两部分用户互相独立测试1周或1天观察两者点击率或者购买转化率的差异判断模型是否达到业务预期。
如果想继续了解ABTest请查看详情
产品经理需要懂的AB测试 - 知乎 (zhihu.com)
如何避免产品开发的致命陷阱AB测试是你不可或缺的救命稻草 | 人人都是产品经理 (woshipm.com)
2.离线评估
离线评估是模型在上线之前进行的验证和评估工作如果验收不通过算法同学要进行模型的调整和优化。
离线评估更关注模型指标如准确率、稳定性等而上线评估更加关注业务指标如用户转化率、优惠劵的核销率。
接下来我们为了讲述模型指标主要关注离线模型的评估。
二、离线模型评估
离线模型评估分为特征评估和模型评估两类。
特征是模型的基础所以我们不仅要对模型最终效果进行评估还要对特征进行评估。
1.特征评估
对于特征评估我们并不是对所有的特征进行评估我们只对重要特征进行评估。那么我们就需要和算法同学进行沟通了解哪些特征比较重要。
特征评估包括三点特征自身稳定性、特征来源稳定性、特征成本
① 特征自身稳定性
特征自身稳定性我们会使用PSI指标进行评估。PSI指标模型随着时间推移发生变化而不稳定的指标。特征自身稳定性会影响模型的整体效果所以我们需要测评重要特征是否达到稳定指标。
② 特征来源稳定性
特征一般分为内部来源和外部来源。
如果特征是从集团内部接入的那我们需要看他从哪条业务线获取的这个业务的稳定性如何业务方是否有可能中止共享数据或者收回数据。
如果特征是从集团外部接入的我们需要审核外部公司的资质是否合法技术储备是否完善。
③ 特征成本
不同来源的特征可能成本也不相同如果特征来源是集团内部业务可能不需要成本或者需要年终进行成本均摊。如果是外部购买的特征数据那就正常支付就好了。
作为产品经理我们在进行评估的时候要充分考虑到付费特征在模型中产生的增益是否大于成本如果成本过高那么我们考虑是否可以替换特征或者使用数据缓存的方式减少调用。
2.模型评估
模型评估也包括三部分统计性评估、模型性能指标和模型的稳定性。
① 统计性评估 在进行模型性能指标和稳定性评估之前我们首先要对统计性能进行评估。包括覆盖度、最大值、最小值、分布规律。 覆盖度 计算公式打分的人数/需要打分的人数 结果越大覆盖度越大。比如我们要做一个用户逾期还款预测的模型如果覆盖率只有60%那么银行就没有办法按照这个模型进行决策这个模型就是没有用的。 最大值、最小值 我们需要对最大值和最小值进行评估。 如果最大值和最小值相隔太近例如0-100作为一个信用划分的区间用户很容易集中在一个分数段难以进行用户的区分。如果将0-100作为一个划分的总区间相当于过去大的1份区间被细化成为现在的10份就会更便于划分用户。 分布形态 我们的预测结果和我们的人群行为的分布应该符合一定的规律。 比如预测用户消费能力人群的分布情况应该满足应该满足正态分布。 业务场景不同需要重点观察的统计性能指标也不同。
② 模型性能指标
根据问题的差异被分为回归问题和分类问题。
模型被分为分类模型和回归模型。不同类型的模型评估指标不相同。 分类问题 主要指标混淆矩阵、KS、AUC。 将混淆矩阵作为基础工具我们可以计算出召回率、准确率。评判模型的区分能力。我们也可以计算出TPR、FPR从而计算出AUC和KS等相关指标。 因此混淆矩阵是二分类问题的基础工具。 回归问题 主要指标MAE平均绝对误差、MSE均方误差、RMSE均方根误差、R方等。 这些指标主要预测数值回归问题。 ③ 模型的稳定性
最后我们需要评估模型整体效果的稳定性。主要使用PSI指标进行评估。
这节课我们主要从全局角度了解模型评估评估指标计算方法后面文章会详细说明。
今天的知识思维导图如下所示 参考文献刘海丰——《成为AI产品经理》
