扬州学做网站培训多少钱,大连网络建站模板,关联词有哪些三年级,网泰网站建设网络更加详细的只找得到pdf版本 填空10分 判断并改错10分 计算8分 综合20分 客观题 填空10分 判断并改错10分--错的要改 mooc中的--尤其考试题 名词解释12分 4个#xff0c;每个3分 经常碰到的专业术语 简答题40分 5个#xff0c;每道8分 综合 画roc曲线 …更加详细的只找得到pdf版本 填空10分 判断并改错10分 计算8分 综合20分 客观题 填空10分 判断并改错10分--错的要改 mooc中的--尤其考试题 名词解释12分 4个每个3分 经常碰到的专业术语 简答题40分 5个每道8分 综合 画roc曲线 类似于和计算相关的题目 C1 什么是数据挖掘概念是什么 哪些操作属于数据挖掘操作哪些操作不属于 数据海量、多源异构 操作从大量的数据中提取出有趣的重要、隐含、以前未知、潜在有用模式或知识。 数据分析与数据挖掘有区别 数据挖掘AKA知识发现KDD 数据挖掘的流程 在数据管理的视角下数据挖掘的流程是什么有哪些环节一定要注意是一个迭代反馈的过程 数据集成 不同数据源中描述同一条数据对象《变成一个比较统一的数据信息 数据清理 错误、异常、冗余、缺失 进入数据仓库 按主题存储数据 选择、变换 把数据仓库中的数据变成与数据挖掘任务相关的数据集 选择选择相关数据、属性特征 变换格式可能不满足算法要求、数据量纲特征转换--相乘相除etc… 得到和任务相关的数据集可供我们使用算法 数据挖掘 设计或选择合适的模型用于任务相关的数据上得到模式 知识评估 若不满足考虑到之前所有步骤--哪个或哪几个步骤不合适 反复试验的过程 数据挖掘的任务 分类回归 利用历史记录预测未来的值--预测问题 聚类 相关性分析与关联分析-关联规则挖掘 异常检测 预测性任务 描述性任务 关联规则挖掘-物品之间共线关系 C2 数据集的主要特征 维度、分辨率、稀疏性 识别数据属性值中的异常的方法 画图【箱线图】、统计的3σ原则 标称【标称属性中的二分属性-对称二分与不对称二分】、序数、数值如何计算这些数据类型的相似度如果数据的属性是混合类型的数据类型的相似度怎么计算【核心】 数据对象的相似性度量问题【两个行的相似性】【属性之间的相似性是两个列】 相似性和相异性此涨彼消 标称 p为属性个数m是两个对象属性取值相等的个数p-m两个对象取值不相等的个数 二分 需要四个指标 非对称 取0的可能性更高尽管差异性很大但是因为取0概率高导致差异性不准 序数 取值转换为数值类型--把级别从低到高排序 取值按公式转换 数值 用距离衡量 常用距离 闵氏距离 曼哈顿距离-出租车距离-沿着街道走走折线--高维 上确界距离 文档 余弦相似度 混合类型 f:每个属性 dij(f):在f属性上的相异度 前面为权重 属性之间的相关性 单相关和复相关 正相关和负相关 线性相关和非线性相关 不相关、完全相关、不完全相关 画散点图 相关系数 线性 协方差 皮尔森相关系数 等级 最大信息系数MIC用于度量高维数据中属性变量之间强相关性 属性和属性间的计算属于相关性分析--方法 C3 数据预处理主要包括哪些步骤 数据清理、数据集成、数据转换、数据约减 简述数据清理的主要任务、常用方法、流程 处理缺失数据、平滑噪声、识别或移除异常属性值的异常、解决数据不一致的问题… 常用方法 缺失值 删除 插补 异常值 噪音 不一致 实体识别技术 流程 流程 右侧是数据清理的过程首先import data导入数据集中相关数据处理缺失值标准化【max-min这种目标是统一特征维度的量纲】、规范化【变换后吻合一个分布zscore】重复性检测、修正错误与丰富导出 常用离散化方法有哪些【看下游任务】 无监督 分箱 直方图 聚类k-means 有监督--类标签指导下 基于熵的方法 不断离散化 如何识别冗余属性 通过相关性分析发现冗余属性 数值属性相关系数、协方差 标称类型卡方检验 常用的约减方法--前三个对数据量压缩PCA是无监督的降维 回归 聚类 抽样 PCA 数据量的压缩 有参 回归 只保留参数wb想生成数据集的时候直接在x上随机采样生成y值 无参 聚类 对每个簇抽样 抽样 有放回、无放回、分层 维度压缩 无监督pca 把原始的属性描述的特征空间映射为正交矩阵空间尽可能多的保留原始数据信息 消除冗余--维度彼此独立 pca通过做正交矩阵分解得到主成分选前k个重要特征作为新的空间中的特征把所有数据对象由前k个特征的线性组合表示 属性子集选择 Method1:删除冗余属性、删除不重要的…得到子集 Method2:添加最重要的、次重要的…得到子集 Vs 属性选择得到的特征有具体含义PCA没有【黑箱】-可能可以得到非常好的特征提取但是可解释性差 olap 数仓的基本架构 简述数仓的数据模型及各模型特点 数据仓库与数据库的区别 关联规则挖掘 方法与评估指标 两阶段 频繁项集的产生--关联规则的产生 频繁项集的实现 用了性质缩小频繁项集的空间 关联规则挖掘的内容 评估指标--常用支持度和置信度并不一定是一个有意义的关联规则 提升度 聚类 聚类和分类的区别 kmeans和DBSCAN的原理和流程和优缺点特点对kmeans的缺点有哪些办法可以解决 k值需要确定 设置不同k值求sse考虑拐点附近的k值 初始聚类中心的选择 第一个随机选下一个选离当前选择的最远的 对噪声点和异常敏感【因为均值敏感】 使用k-medoids用真实数据对象作为中心-复杂度高-由簇中的数据对象替代用k中位数 球形簇【基于距离】 空簇 选sse贡献最大的点作为簇中心从簇中选一个对sse贡献最大的点 尺寸 密度 非凸 解决 k取较大值分为多个小簇再合并 纵轴第k个最近邻距离的变化范围 横轴数据对象按最近邻距离编码 大部分数据对象的第k个最近邻的变化变化幅度不大拐点飙升-异常点当k取大距离大 由此判断k 聚类的评估指标--有监督【和分类一样】和无监督【规范化的互信息与轮廓系数】 标准化的互信息-Y是聚类标签C是真实标签-I(Y,C)互信息H(C )-H(Y|C)yc依赖性越高越好 分类 roc怎么画 tpr是召回率 评估指标--精度召回率fscore 决策树、贝叶斯、集成 贝叶斯易于实现结果比较好鲁棒的 有可能有依赖 集成 对于不稳定的分类器才有提升效果 评估框架--bootstrap cosostation交叉验证的bootstrap 二分类问题 正事例 异常 异常的类型 异常的方法 基于统计、距离、密度、
