常州建设网站代理商,电子工程世界app下载,遵义网吧什么时候恢复营业,wordpress带微信二维码2019年8月19日 问答题1#xff1a;缺失值数据预处理有哪些方法#xff1f;https://juejin.im/post/5b5c4e6c6fb9a04f90791e0c 处理缺失值的方法如下#xff1a;删除记录#xff0c;数据填补和不处理。主要以数据填补为主。 1 删除记录#xff1a;该种方法在样本数据量十分…2019年8月19日 问答题1缺失值数据预处理有哪些方法https://juejin.im/post/5b5c4e6c6fb9a04f90791e0c 处理缺失值的方法如下删除记录数据填补和不处理。主要以数据填补为主。 1 删除记录该种方法在样本数据量十分大且确实值不多的情况下非常有效。 2 数据填补插补大体有替换缺失值拟合缺失值虚拟变量等操作。替换是通过数据中非缺失数据的相似性来填补其中的核心思想是发现相同群体的共同特征拟合是通过其他特征建模来填补虚拟变量是衍生的新变量代替缺失值。 替换缺失值 1 定类数据众数填补 2定量定比数据 平均数或中位数填补 3 热卡填补 热卡填充法是在完整数据中找到一个与它最相似的对象然后用这个相似对象的值来进行填充。 4 k最近距离邻法k-means cluster 通过无监督机器学习的k均值聚类的方法将所有样本进行聚类划分然后在通过划分的种类的均值对各自类中的缺失值进行填补。本质是通过找相似来填补缺失值。 拟合缺失值 如果缺失的变量跟其他特征变量相关则通过建模预测的缺失值就有意义反之则不用 回归预测 基于完整的数据集建立回归方程。对于有缺失值的特征值将已知的特征值代入模型来估计未知特征值一次估计值来进行填充。该方法适合缺失值是连续的即定量的类型才可以使用回归来预测。 极大似然估计 在随机类型为随机缺失的条件下假设模型对于完整的样本是正确的那么通过观测数据的边际分布可以对未知参数进行极大似然估计。该方法适合大样本 多重插补 多重插补的思想来源于贝叶斯估计认为待插补的值是随机的它的值来自于已观测到的值。具体实践上通常是估计出待插补的值然后再加上不同的额噪声形成多组可选插补值。根据某种选择依据选取最合适的插补值。 根据数据缺失机制、模式以及变量类型可分别采用回归、预测均数匹配( predictive mean matching, PMM )、趋势得分( propensity score, PS )、Logistic回归、判别分析以及马尔可夫链蒙特卡罗( Markov Chain Monte Carlo, MCMC) 等不同的方法进行填补。 注使用多重插补要求数据缺失值为随机性缺失一般重复次数20-50次精准度很高但是计算也很复杂需要大量计算。 随机森林 虚拟变量 虚拟变量其实就是缺失值的一种衍生变量。具体做法是通过判断特征值是否有缺失值来定义一个新的二分类变量。 不处理 在希望保持原始信息不发生变化的前提下对信息系统进行处理
问答题2中心极限定理是什么他的应用方向是 中心极限定理就是研究随机变量和的极限分布在什么条件下为正态分布的问题。 (1)独立同分布的中心极限定理[林德伯格列维Lindburg-Levy定理] 应用一求随机变量之和Sn落在某区间的概率。 应用二已知随机变量之和Sn取值的概率,求随机变量的个数n。 (2)棣莫佛拉普拉斯de Movire - Laplace定理 应用一:近似计算服从二项分布的随机变量在某范围内取值的概率 应用二:已知服从二项分布的随机变量在某范围内取值的概率,估计该范围(或该范围的最大值)。 应用三:与用频率估计概率有关的二项分布的近似计算 (3)李雅普诺夫定理 问答题3 1 对于外层职工关系 A 中的每一个记录都要对内层职工关系B进行检索所有效率不高 21使用临时表 SELECT MAX(月工资) as 最高工资部门号 INTO temp FROM 职工 GROUP BY 部门号; SELECT 职工号 FROM 职工temp WHERE 月工资最高工资 AND 职工.部门号 temp.部门号 2 SELECT 职工号 FROM 职工SELECT MAX(月工资) as 最高工资部门号 FROM 职工 GROUP BY 部门号 as DEPMAX
WHERE 月工资最高工资 AND 职工.部门号 DEPMAX. 部门号 SQL经典5道 https://cloud.tencent.com/developer/article/1062773
