房子如何上网站做民宿,wordpress获取标签链接地址,做个企业网站要多少钱,关键词是指什么文章目录 前言day01工业上刻画物理世界模型忽略业务的数据挖掘是本末倒置数据分析算法的朴素思想 前言
从毕业后从事的行业是机房动力环境运维行业#xff0c;职责为动环设备的监控预警和故障诊断#xff0c;核心主旨为动环设备的数智化#xff0c;个人浅见从大类视角来看隶… 文章目录 前言day01工业上刻画物理世界模型忽略业务的数据挖掘是本末倒置数据分析算法的朴素思想 前言
从毕业后从事的行业是机房动力环境运维行业职责为动环设备的监控预警和故障诊断核心主旨为动环设备的数智化个人浅见从大类视角来看隶属于工业设备的数据挖掘。恰逢公司举办21天flag活动本人参加该活动并立flag为在21天内读完1本与工作技能相关的书籍《工业大数据分析算法实战》每天阅读60分钟每周完成3-4个章节21天后输出一篇不少于500字的心得总结。有幸选择田春华老师的这本书进行观摩学习非常感谢作者的辛勤书写。
day01
第1章节数据分析概览建立数据分析算法的概念框架并给予学习路线
第2-5章节侧重通用的分析算法包含数据预处理、机器学习、时序挖掘算法、最优化等其他算法
第6-8章节讨论工业分析的算法思路涵盖了生产质量分析、生产效率优化等典型分析的算法套路
第9章节侧重分析的工程方法讨论了工业上专家知识沉淀的方法
第10章节讨论数据分析的软件工程
工业上刻画物理世界模型
优点前提/限制条件适用的场景机理模型分析推演能力强基于大量的简化或者强假设。模型参数的可测量性理论基础、实验条件良好统计模型归纳能力强具备自适应能力对数据要求高预测结果有一定的不确定性大量类似的场景。概念逻辑清楚但是缺乏具象的关系专家规则可解释性强规则的模糊与不完备逻辑简单明了需要实时计算
统计模型可与机理模型想融合
统计模型可为机理模型做校准点的估计、分布估计统计模型可为机理模型结果进行修正或者结合统计方法综合多个机理模型提高预测稳定性机理模型结果可作为统计模型的特征做融合机理全局推演统计局部较高精度刻画
统计模型与专家经验规则融合:
在设备异常预警等场景大多存在异常样本较少的情况此时除了无监督可采取专家经验融合统计模型构建大数据平台将大量比如故障态的历史数据研究分析不断完善专家经验规则统计模型可给出一些容易混淆的样本让领域专家进行标记
忽略业务的数据挖掘是本末倒置
CRISP-DM一种数据挖掘分析方法框架
业务理解从业务角度理解目的和需求转换为数据挖掘问题诸如确定业务目标、评估形式、确定DM的目标、制定项目计划数据理解始于原始数据的收集熟悉数据标明数据质量问题发掘出值得关注的数据自己以形成对隐藏信息的假设。数据准备选择数据、清洗数据、生成数据、融合数据、格式化数据、数据集描述模型建立选择模型、产生检验设计、建立模型、评估模型模型评估评估结果、回顾DM过程、确定下一步工作模型部署计划发布、监测和维护、最终报告、回顾项目
在工业领域的细化如下图 数据分析算法的朴素思想
数据分析算法看问题的角度
优化角度构建一定的模型约束最大化某个性能指标或者极小化某个惩罚的函数概率角度变量存在均值方差指标通过参数的先验分布求解目标极大化似然度、后验概率分布获得参数的点/区间估计
角度优化方法概率方法理论基础数学优化目标函数 约束条件概率统计先验、似然、后验等概念目标最大化性能指标或最小化代价函数求解最优参数的概率分布或最大似然估计适用场景强调精确优化问题如模型参数的直接优化需要处理不确定性或随机性的场景如贝叶斯推断难度通常在构建目标函数后计算较直接需要假设分布和构建概率模型推导复杂
问题定义方式
方式关注点特点例子指令式明确步骤和过程规则清晰、逐步定义自己写排序算法声明式描述问题和目标自动化求解机器学习中的模型训练过程激励式用奖励/惩罚调节行为结果导向、灵活适配GAN 的生成学习强化学习的策略优化
模型的求解算法
解析表达式对于一些简单的模型能够直接通过数学解析法求解即直接计算出明确的解比如线性计算存在明确梯度如果可以明确地计算目标函数的梯度或使用数值方法近似梯度可以采用梯度下降等方法求解比如神经网络相关分而治之将问题分解为更小的子问题分别求解再组合成整体解的策略比如决策树模型多个变量迭代求解先固定一部分利用局部优化算法求解剩余变量然后再固定剩余变量求解原来部分变量比如kmeans转换为典型范式模型比如在整数规划上存在很多模型范式可以增加参数将非线性整数优化模型转换为整数规划模型再通过高效的引擎求解
