网站开发 就业简历模板,什么是搜索引擎优化用一句话概括,梁志天室内设计作品,长泰微新闻Numpy 简介import numpy as npNumpy是应用Python进行科学计算的基础库。它的功能包括多维数组、基本线性代数、基本统计计算、随机模拟等。Numpy的核心功能是ndarray 类#xff0c;即多维数组。多维数组是线性代数中非常广泛的概念#xff0c;如一维数组就是向量#xff0c;… Numpy 简介import numpy as npNumpy是应用Python进行科学计算的基础库。它的功能包括多维数组、基本线性代数、基本统计计算、随机模拟等。Numpy的核心功能是ndarray 类即多维数组。多维数组是线性代数中非常广泛的概念如一维数组就是向量二维数组是矩阵。在数组中要求所有元素必须是同一类型这是与列表与字典的区别之一一。针对数组通过Numpy可以实现的基本操作包括数组的创建、数组切片、数组重组、数组运算等。01数组的创建常见的创建数组的方法之一转换Python的列表、元组等数据结构为数组类型。下面实例给出了创建数组的常用命令。 import numpy as np # 载入Numpy库简写为np arr1 np.array([1,2,3,4,5,6]) arr1array([1, 2, 3, 4, 5, 6]) type(arr1) # 查看数据类型numpy.ndarray arr1.shape # 各个维度的数组长度(6,) arr2 np.array([[1,2,3],[4,5,6]]) arr2 array([[1, 2, 3], [4, 5, 6]]) arr2.shape(2, 3)另外还可以利用Numpy的内置函数来直接创建数组。 arr3 np.arange(0,1,0.1) arr3array([ 0. , 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9])# 创建一维长度为2二维长度为3的元素全为0的数组 arr4 np.zeros((2,3)) arr4 array([[ 0., 0., 0.], [ 0., 0., 0.]])# 创建一维长度为2二维长度为3的元素全为1的二维数组 arr5 np.ones((2,3)) arr5array([[ 1., 1., 1.], [ 1., 1., 1.]])# 创建一维长度为2二维长度为3的二维空数组 arr6 np.empty([2,3]) arr6array([[ 1., 1., 1.], [ 1., 1., 1.]]) # 从[0,1]区间的均匀分布随机抽取四个数 arr7 np.random.rand(4) arr7array([ 0.36570416, 0.83097711, 0.98761922, 0.87057992])# 生成一个标准正态分布的4*4样本值 arr8 np.random.normal(size(4,4)) arr8array([[-0.15990639, 0.7088309 , -0.20267733, 2.14992874], [ 0.05542048, -1.15103197, 0.21129526, 0.6212253 ], [-1.31547565, 1.4401065 , 0.6680733 , -0.60608497], [-1.03471769, 0.55338916, -0.05869825, 0.61610795]])注意这里的 np.arange() 可以指定步长为(0,1)为小数而Python内置函数range无此功能。另外np.random 中包括多种概率分布的随机样本是数据分析辅助的重点工具之一。02数组的切片与索引数组的截取与 list 相同可以通过 [] 来指定每个维度的索引。 import numpy as np a np.array([[1,2,3,4,5],[6,7,8,9,10]]) print(a)[[ 1 2 3 4 5] [ 6 7 8 9 10]] print(a[0:1]) # 截取第一行[[1 2 3 4 5]] print(a[1,2:5]) # 截取第二行第三、四、五列[ 8 9 10] print(a[1:]) # 截取第二行[[ 6 7 8 9 10]]另外在应用中经常需要返回满足给定条件的数组元素。为此下面介绍一个按照条件索引的数组操作。 b a[a6] # 截取矩阵中大于6的元素范围是一维数组 print(b)[ 7 8 9 10]03数组重组数组重组主要是指对原来数组进行修改具体包括数组类型修改、数组维度修改与数组元素修改。 # 数组元素的数据类型为字符串 num_str1 np.array([1.2,2.4,3.6],dtypenp.string_) # 利用astype转换为浮点型 num_str1.astype(float)array([ 1.2, 2.4, 3.6]) data np.arange(6) # 利用reshape 指定新数组各个维度 data data.reshape(2,3) dataarray([[0, 1, 2], [3, 4, 5]]) # data中小于3的元素用0代替否则用1代替 np.where(data 3,0,1) array([[0, 0, 0], [1, 1, 1]])这里 np.where(condition,x,y)函数是三元表达式满足条件(condition)输出 x 不满足输出 y 。04 数组运算数学中的加减乘除运算同样也使用于数组。在数组中是按照元素级进行批量运算的下面挑选几个实例来说明这一点 arr7 np.array([[1,2,3],[4,5,6]]) arr7array([[1, 2, 3], [4, 5, 6]]) arr7 * 2 # 数组的每个每个元素都乘以2array([[ 2, 4, 6], [ 8, 10, 12]]) arr7*arr7 # 两个数组对应的元素进行运算array([[ 1, 4, 9], [16, 25, 36]]) np.log(arr7) # 数组的每个元素都取 logarray([[ 0. , 0.69314718, 1.09861229], [ 1.38629436, 1.60943791, 1.79175947]])除了上述简单的元素级运算数组也可以进行各种矩阵运算如矩阵向量的混合运算、矩阵求逆、矩阵行列式、矩阵特征值。 A np.array([[0,1],[2,3]]) Aarray([[0, 1], [2, 3]]) v np.array([1,2]) varray([1, 2]) v.dot(A) # dot是内积运算运算规则与线性代数相同array([4, 7]) A.dot(v) # 这里v看作列变量array([2, 8])Numpy 库为Python中的数组运算提供了很多便捷这里只列举了常用的少数几个操作命令。其实Numpy可以看作计算科学的基础模块而接下来介绍的pandas库是在Numpy基础上的拓展也具备Numpy中的许多功能而且不要求数据类型必须单一。pandas 简介import pandas as pdPamdas是建立在 Numpy库之上的是使得数据分析工作变得更简单更快的高级操作工具。pandas的进行数据处理主要针对两种数据结构Series 和 DataFrame 。SeriesSeries 是建立在 pandas 库之上的是使得数据分析工作变得更简单更快的高级操作工具。引入索引的一大作用是数据对其功能使得进行数据处理后不会发生数据错行。最简单的 Series 可以由一个列表类型的数据生成 import pandas as pd ser1 pd.Series([1,3,5,7]) ser10 11 32 53 7dtype: int64Series的数据变现形式索引在左侧值在右边默认的索引是从0开始的整数型序列。我们也可以在创建的时候通过 index 参数指定索引数据。 ser2 pd.Series([1,3,5,7], index[a,b,c,d]) ser2a 1b 3c 5d 7dtype: int64在创建 Series 后可以对它们的一些属性进行修改如下所示 ser2.indexIndex([a, b, c, d], dtypeobject) ser2.index [A,B,C,D] ser2A 1B 3C 5D 7dtype: int64对 Series 中特定数据的查找可以通过以下几种方式来实现 ser2[A] # 通过索引值查找值1 ser2[1] # 通过行号查找值3 ser2[0:2] # 通过切片来查找子序列A 1B 3dtype: int64在 Series 类型运算中输出结果会自动对齐不同索引的数据。当序列中没有共同的索引时则输出缺失值符号 NaN ser3 pd.Series([1,3,5],index[a,b,c]) ser4 pd.Series([2,4,6],index[c,d,b]) ser3 ser4a NaNb 9.0c 7.0d NaNdtype: float64上述这种运算机制在数据处理中非常有用按照索引来进行运算可以避免错误分行。总结Series 基本操作类似数组和字典它们之间可以相互转换。但是序列是顺序指定的、具有索引的数据类型。数组是没有索引的而字典的元素是无序的。DataframeDataFrame是将若干个 Series 按列合并而成的二维数据结构每一列单独取出来就是一个 Series 。数据框 DataFrame是用于存储多行和多列的数据集合是机器学习算法读取数据的最常用格式。就像日常见到的二维 Excel 表格一样第一行默认表示变量名后续每行为一个样本而每列表示变量(特征)的取值。利用数据框之前需要导入处理数据的核心库 pandas 。下列几行代码基本包括了 DataFrame 的创建。 import pandas as pd # 导入 Python 库 pandas dic1 {age:[18,20,22],name:[xiaoming,wanghan,hanwei],Chinese:[90,78,97],Math:[87,69,89],English:[98,78,83],History:[86,79,80],Physics:[99,78,94]} df pd.DataFrame(dic1,index[a,b,c]) print(df) age name Chinese Math English History Physicsa 18 xiaoming 90 87 98 86 99b 20 wanghan 78 69 78 79 78c 22 hanwei 97 89 83 80 94从上面实例可以看出数据框是由字典 data 直接转化而来。实际数据分析中采集到的数据结构往往是多种类型的而数据框恰好可以存放不同类型的数据。另外利用 Python 读取的数据往往自动转化为数据框类型的如前面介绍的读取本地数据命令 pd.read_csv() 。01 了解数据全貌一旦把数据载入到 Python 中首先要做的是了解数据的全貌与基本特征。例如要知道数据框大小(行和列)、列变量名、索引号、数据类型等。如果想知道数据框的列变量与索引名称可以使用如下命令 print(df.columns) # 列变量名称Index([age, name, Chinese, Math, English, History, Physics], dtypeobject) print(df.index) # 索引序列Index([a, b, c], dtypeobject) print(df.shape) # 行数与列数(3, 7)另外Python 中存在一些内置函数可以输出许多数据框属性例如 df.info() # 整体汇总class pandas.core.frame.DataFrameIndex: 3 entries, a to cData columns (total 7 columns):age 3 non-null int64name 3 non-null objectChinese 3 non-null int64Math 3 non-null int64English 3 non-null int64History 3 non-null int64Physics 3 non-null int64dtypes: int64(6), object(1)memory usage: 168.0 bytes df.describe() # 对每一列数值型数据进行统计包括计数、均值、标准差、标准差、各个分位数等 age Chinese ... History Physicscount 3.0 3.000000 ... 3.000000 3.000000mean 20.0 88.333333 ... 81.666667 90.333333std 2.0 9.609024 ... 3.785939 10.969655min 18.0 78.000000 ... 79.000000 78.00000025% 19.0 84.000000 ... 79.500000 86.00000050% 20.0 90.000000 ... 80.000000 94.00000075% 21.0 93.500000 ... 83.000000 96.500000max 22.0 97.000000 ... 86.000000 99.000000[8 rows x 6 columns] df.describe(include[object]) # 基本统计描述(指定变量为类别型) namecount 3unique 3top wanghanfreq 102 访问数据访问数据框一列与若干列的常用的方法有如下两种 df[name] # 按列变量访问a xiaomingb wanghanc hanweiName: name, dtype: object df.iloc[:,3] # 按照列数访问这里表示第二列对应的所有行a 87b 69c 89Name: Math, dtype: int64 df[[name,age,Math]] # 指定列变量名 name age Matha xiaoming 18 87b wanghan 20 69c hanwei 22 89 df.iloc[:,:3] # 按照列数访问这里表示前两列对应所有行 age name Chinesea 18 xiaoming 90b 20 wanghan 78c 22 hanwei 97 df.head() # 默认输出前五行 age name Chinese Math English History Physicsa 18 xiaoming 90 87 98 86 99b 20 wanghan 78 69 78 79 78c 22 hanwei 97 89 83 80 94 df.tail() # 默认输出后五行 age name Chinese Math English History Physicsa 18 xiaoming 90 87 98 86 99b 20 wanghan 78 69 78 79 78c 22 hanwei 97 89 83 80 94类似的访问数据框的行有如下几种方法 df[1:2] # 取第二行 age name Chinese Math English History Physicsb 20 wanghan 78 69 78 79 78 df.iloc[1,:] # 按照行数访问这里表示第二行对应的所有列age 20name wanghanChinese 78Math 69English 78History 79Physics 78Name: b, dtype: object df.iloc[0:2,] # 前两行的所有列 age name Chinese Math English History Physicsa 18 xiaoming 90 87 98 86 99b 20 wanghan 78 69 78 79 78 df.iloc[1,1] # 第二行第二列wanghan03 数字特征统计既然数据框是个数据集合那么我们经常需要对其进行一些基本统计描述。下面几行代码给出了常用的统计描述的操作 print(df.mean()) # 默认对数值型的所有列分布求平均age 20.000000Chinese 88.333333Math 81.666667English 86.333333History 81.666667Physics 90.333333dtype: float64 df.sum() # 列求和方式类似 meanage 60name xiaomingwanghanhanweiChinese 265Math 245English 259History 245Physics 271dtype: object df.max() # 求最大值求最小值用 df.min()age 22name xiaomingChinese 97Math 89English 98History 86Physics 99dtype: object df.isnull() # 布尔值输出检查每列是否有缺失值 age name Chinese Math English History Physicsa False False False False False False Falseb False False False False False False Falsec False False False False False False False df[age].unique() # 该列不同值的个数array([18, 20, 22], dtypeint64) df[age].value_counts() # 统计某一列 age 中各个值出现的次数18 122 120 1Name: age, dtype: int64
