在哪些网站做收录比较快,视频模板免费制作,网站推广方法ppt,wordpress登陆后台很慢1.问题的动机
什么是异常检测呢#xff1f;为了解释这个概念#xff0c;让我举一个例子吧#xff1a; 假想你是一个飞机引擎制造商#xff0c;当你生产的飞机引擎从生产线上流出时#xff0c;你需要进行QA(质量控制测试)#xff0c;而作为这个测试的一部分#xff0c;你…1.问题的动机
什么是异常检测呢为了解释这个概念让我举一个例子吧 假想你是一个飞机引擎制造商当你生产的飞机引擎从生产线上流出时你需要进行QA(质量控制测试)而作为这个测试的一部分你测量了飞机引擎的一些特征变量比如引擎运转时产生的热量或者引擎的振动等等。 这样一来就有了一个数据集从(1)到()如果生产了个引擎的话将这些数据绘制成图表: 每个点、每个叉都是无标签数据。这样异常检测问题可以定义如下我们假设后来有一天你有一个新的飞机引擎从生产线上流出而你的新飞机引擎有特征变量。所谓的异常检测问题就是我们希望知道这个新的飞机引擎是否有某种异常或者说我们希望判断这个引擎是否需要进一步测试。因为如果它看起来像一个正常的引擎那么 我们可以直接将它运送到客户那里而不需要进一步的测试。 给定数据集 (1), (2), . . , ()我们假使数据集是正常的我们希望知道新的数据 是不是异常的即这个测试数据不属于该组数据的几率如何。我们所构建的模型应该能根据该测试数据的位置告诉我们其属于一组数据的可能性 ()。 上图中在蓝色圈内的数据属于该组数据的可能性较高而越是偏远的数据其属于该组数据的可能性就越低。 异常检测主要用来识别欺骗。例如在线采集而来的有关用户的数据一个特征向量中可能会包含如用户多久登录一次访问过的页面在论坛发布的帖子数量甚至是打字速度等。尝试根据这些特征构建一个模型可以用这个模型来识别那些不符合该模式的用户。再一个例子是检测一个数据中心特征可能包含内存使用情况被访问的磁盘数量 CPU 的负载网络的通信量等。根据这些特征可以构建一个模型用来判断某些计算机是不是有可能出错了。
2.高斯分布
高斯分布也称为正态分布。 高斯分布的基本知识: 注机器学习中对于方差我们通常只除以而非统计学中的( − 1)。
3.算法
应用高斯分布开发异常检测算法。 异常检测算法 我们选择一个将() 作为我们的判定边界当() 时预测数据为正常数据否则为异常。 学会如何拟合()也就是 的概率值以开发出一种异常检测算法。通过给出的数据集拟合参数进行参数估计得到参数 和 然后检测新的样本确定新样本是否是异常。
4.开发和评价一个异常检测系统
异常检测算法是一个非监督学习算法意味着我们无法根据结果变量 的值来告诉我们数据是否真的是异常的。我们需要另一种方法来帮助检验算法是否有效。当我们开发一个异常检测系统时我们从带标记异常或正常的数据着手我们从其中选择一部分正常数据用于构建训练集然后用剩下的正常数据和异常数据混合的数据构成交叉检验集和测试集。 例如我们有 10000 台正常引擎的数据有 20 台异常引擎的数据。 我们这样分配数据 6000 台正常引擎的数据作为训练集 2000 台正常引擎和 10 台异常引擎的数据作为交叉检验集 2000 台正常引擎和 10 台异常引擎的数据作为测试集 具体的评价方法如下
根据测试集数据我们估计特征的平均值和方差并构建()函数对交叉检验集我们尝试使用不同的值作为阀值并预测数据是否异常根据 F1 值 或者查准率与查全率的比例来选择 选出 后针对测试集进行预测计算异常检验系统的1值或者查准率与查全率之比。
5.异常检测与监督学习对比
两者比较
6.选择特征
如何选择特征 异常检测假设特征符合高斯分布如果数据的分布不是高斯分布异常检测算法也能够工作但是最好还是将数据转换成高斯分布例如使用对数函数 ( )其中 为非负常数 或者 的c次方为 0-1 之间的一个分数等方法。 注在 python 中通常用 np.log1p()函数1就是 ( 1)可以避免出现负数结果反向函数就是 np.expm1()) 误差分析 一个常见的问题是一些异常的数据可能也会有较高的()值因而被算法认为是正常的。这种情况下误差分析能够帮助我们我们可以分析那些被算法错误预测为正常的数据观察能否找出一些问题。我们可能能从问题中发现我们需要增加一些新的特征增加这些新特征后获得的新算法能够帮助我们更好地进行异常检测。 异常检测误差分析 通常可以通过将一些相关的特征进行组合来获得一些新的更好的特征异常数据的该特征值异常地大或小例如在检测数据中心的计算机状况的例子中我们可以用 CPU负载与网络通信量的比例作为一个新的特征如果该值异常地大便有可能意味着该服务器是陷入了一些问题中。
