网站是否wordpress,如何建设内网网站,松原网站建设公司,上海市建筑业官网数据分析-Pandas的Andrews曲线可视化解读
数据分析和处理中#xff0c;难免会遇到各种数据#xff0c;那么数据呈现怎样的规律呢#xff1f;不管金融数据#xff0c;风控数据#xff0c;营销数据等等#xff0c;莫不如此。如何通过图示展示数据的规律#xff1f;
数据…数据分析-Pandas的Andrews曲线可视化解读
数据分析和处理中难免会遇到各种数据那么数据呈现怎样的规律呢不管金融数据风控数据营销数据等等莫不如此。如何通过图示展示数据的规律
数据表时间序列数据在数据分析建模中很常见例如天气预报空气状态监测股票交易等金融场景。数据分析过程中重新调整重塑数据表是很重要的技巧此处选择Titanic数据以及巴黎、伦敦欧洲城市空气质量监测 N O 2 NO_2 NO2数据作为样例。
数据分析
数据分析-Pandas如何转换产生新列
数据分析-Pandas如何统计数据概况
数据分析-Pandas如何轻松处理时间序列数据
数据分析-Pandas如何选择数据子集
数据分析-Pandas如何重塑数据表-CSDN博客
本文用到的样例数据
Titanic数据
空气质量监测 N O 2 NO_2 NO2数据
样例代码
源代码参考 Pandas如何重塑数据表
源代码参考 python数据分析-数据表读写到pandas
导入关键模块
import pandas as pd
import numpy as np
import matplotlib.pyplot as pltplt.close(all)在pandas数据分析中了解观察多维数据的分布规律是非常重要的。各个维度数据的分布、度量通常用来直观描述数据集的分类位置作为进一步探查分析的方向。
Andrews Curves 是一种用于可视化多元数据的图形表示方法它通过将每个观测值转换为一个曲线来展示数据集中的模式。Andrews Curves 最初由 B.W. Andrews 在 1972 年提出是一种基于函数型数据分析的方法。
Andrews 曲线是基于余弦级数的傅里叶级数表示法在这种表示法中任意的函数都可以表示为一系列余弦函数的线性组合就是余弦级数的展开每个函数的振幅和波长都是不同的。常用于信号处理技术。
Andrews Curves 的详细技术解读 原理 Andrews Curves 的基本原理是将多维数据降维到二维空间通过绘制曲线来展示数据的特征。具体而言它利用傅里叶级数Fourier series将多维数据转化为一系列正弦和余弦函数的组合从而生成具有独特形状的曲线。这些曲线的形状反映了数据集的内在结构和类别信息。 数据 在使用 Andrews Curves 之前需要准备一组多维数据集。这些数据集可以是不同的类别、组或条件下的观测值。每个数据集都应包含相同数量的观测值并且每个观测值都应具有相同数量的特征。 曲线生成 对于每个数据集Andrews Curves 算法会计算其傅里叶级数展开式。这个过程涉及到对数据的标准化、傅里叶变换和系数计算等步骤。最终每个数据集都会被表示为一条曲线曲线的形状由数据集的内在结构决定。 具体步骤假设我们有N个样本每个样本有d个特征那么我们可以用如下的公式来表示每个样本的Andrews 曲线 F i ( t ) 1 2 ∑ k 1 d w i k sin ( k t ) b i F_i(t) \frac{1}{\sqrt{2}} \sum_{k1}^{d} w_{ik} \sin(k t) b_i Fi(t)2 1k1∑dwiksin(kt)bi 其中i是样本的编号从1到Nt是时间参数$ w_{ik} $ 和 $ b_i $ 分别表示第 i 个样本的第k个特征的权重和偏移。将这个公式应用于每个样本就可以得到N条Andrews曲线每条曲线表示一个样本。
Andrews曲线图画法
pandas画 平行坐标图方法最简单只要一句语句搞定。相当于雷达图在一条直线上展开。
直接使用 Dataframeparallel_coordinates函数即可。
from pandas.plotting import andrews_curvesdata pd.read_csv(data/iris.csv)
plt.figure();
andrews_curves(data, Name);plt.show()
plt.close(all)通过观察整个曲线集合可以发现相似样本和异常值。Andrews曲线的可视化效果非常好不仅可以方便的观察多个特征之间的关系还能够将多个样本之间的差异可视化出来。
Andrews曲线解读
Andrews Curves 是一种用于可视化和比较多个数据集或类别的统计图形工具。这些曲线通过将多维数据映射到二维空间中使得我们可以直观地观察到不同数据集或类别之间的相似性和差异性。
Andrews Curves 的坐标轴通常不直接表示具体的数值而是表示时间或序列位置。每个观测值例如一个样本或一个数据点都被映射到一个曲线这个曲线在横轴通常是时间或序列位置上展示了一系列纵坐标值。这些纵坐标值是通过某种函数转换原始数据得到的通常是基于某种基函数如傅里叶级数的系数。
通过将不同数据集的曲线绘制在同一个坐标系中我们可以直观地比较它们之间的相似性和差异性。如果两条曲线形状相似意味着它们所代表的数据集在结构上具有较高的相似性反之如果曲线形状差异较大则表明数据集之间存在明显的差异。
解读方法
形状识别观察不同曲线之间的形状差异。相似的形状可能意味着对应的观测值在原始特征空间中有相似的模式或结构。聚类分析通过识别形状相似的曲线可以对观测值进行聚类。这有助于发现数据集中的潜在结构或类别。异常值检测与其他曲线显著不同的曲线可能表示异常值或离群点。这些观测值在原始特征空间中可能具有与其他观测值显著不同的特征。趋势分析通过观察曲线的变化趋势可以分析数据集中的整体趋势或周期性模式。例如如果曲线呈现出周期性变化这可能意味着原始数据中存在某种周期性结构。
应用场景
Andrews Curves 适用于多种场景如模式识别、分类和聚类等。在模式识别中它可以帮助我们识别不同类别之间的差异在分类任务中我们可以使用 Andrews Curves 来展示不同类别的特征分布在聚类分析中我们可以通过比较聚类结果的 Andrews Curves 来评估聚类的质量。
优缺点
Andrews Curves 的优点在于它可以直观地展示多维数据的结构和类别信息并且具有较好的可视化效果。然而它也有一些缺点。
首先Andrews Curves 对于数据的维度和数量有一定的限制过高的维度或过多的数据可能导致计算量大增影响曲线的生成速度。
其次Andrews Curves 在某些情况下可能无法充分揭示数据的复杂性和差异性需要结合其他统计方法进行分析。
总之Andrews Curves 是一种有效的可视化工具它可以帮助我们直观地比较和分析多维数据集之间的相似性和差异性。通过合理地应用这种方法我们可以更好地理解和挖掘数据的内在结构为模式识别、分类和聚类等任务提供有力支持。
注意事项
Andrews Curves 的解释可能受到所选基函数的影响。不同的基函数可能会产生不同的曲线形状从而影响对数据集的解读。Andrews Curves 主要用于可视化高维数据。当数据维度非常高时传统的散点图等方法可能无法有效地展示数据中的模式而 Andrews Curves 通过将每个观测值映射为一个曲线来克服这个问题。由于 Andrews Curves 是基于函数型数据分析的方法因此在解释时需要考虑到函数的性质和特征。
总之Andrews Curves 是一种强大的可视化工具能够直观地展示高维数据中的模式和结构。通过识别曲线的形状、聚类和趋势等信息可以更好地理解数据集并发现其中的潜在规律。
以上代码只是一个简单示例示例代码中的表达式可以根据实际问题进行修改。
后面介绍下其他的展示形式。
觉得有用 收藏 收藏 收藏
点个赞 点个赞 点个赞
End
GPT专栏文章
GPT实战系列-ChatGLM3本地部署CUDA111080Ti显卡24G实战方案
GPT实战系列-LangChain ChatGLM3构建天气查询助手
大模型查询工具助手之股票免费查询接口
GPT实战系列-简单聊聊LangChain
GPT实战系列-大模型为我所用之借用ChatGLM3构建查询助手
GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型到底做了什么(二)
GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型到底做了什么(一)
GPT实战系列-ChatGLM2模型的微调训练参数解读
GPT实战系列-如何用自己数据微调ChatGLM2模型训练
GPT实战系列-ChatGLM2部署UbuntuCuda11显存24G实战方案
GPT实战系列-Baichuan2本地化部署实战方案
GPT实战系列-Baichuan2等大模型的计算精度与量化
GPT实战系列-GPT训练的PretrainingSFTReward ModelingRLHF
GPT实战系列-探究GPT等大模型的文本生成-CSDN博客
