电子商务网站建设与维护ppt,博客X WordPress主题,电话销售电销系统,手机室内设计软件apppandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包
类似于 Numpy 的核心是 ndarray#xff0c;pandas 也是围绕着 Series 和 DataFrame 两个核心数据结构展开的 。Series 和 DataFrame 分别对应于一维的序列和二维的表结构。pandas 约定俗成的导入方法如下pandas 也是围绕着 Series 和 DataFrame 两个核心数据结构展开的 。Series 和 DataFrame 分别对应于一维的序列和二维的表结构。pandas 约定俗成的导入方法如下
from pandas import Series,DataFrame
import pandas as pd
Series
Series 可以看做一个定长的有序字典。基本任意的一维数据都可以用来构造 Series 对象s Series([1,2,3.0,abc])s
0 1
1 2
2 3
3 abc
dtype: object
虽然 dtype:object 可以包含多种基本数据类型但总感觉会影响性能的样子最好还是保持单纯的 dtype。
Series 对象包含两个主要的属性index 和 values分别为上例中左右两列。因为传给构造器的是一个列表所以 index 的值是从 0 起递增的整数如果传入的是一个类字典的键值对结构就会生成 index-value 对应的 Series或者在初始化的时候以关键字参数显式指定一个 index 对象s Series(data[1,3,5,7],index [a,b,x,y])s
a 1
b 3
x 5
y 7
dtype: int64s.index
Index([a, b, x, y], dtypeobject)s.values
array([1, 3, 5, 7], dtypeint64)
Series 对象的元素会严格依照给出的 index 构建这意味着如果 data 参数是有键值对的那么只有 index 中含有的键会被使用以及如果 data 中缺少响应的键即使给出 NaN 值这个键也会被添加。
注意 Series 的 index 和 values 的元素之间虽然存在对应关系但这与字典的映射不同。index 和 values 实际仍为互相独立的 ndarray 数组因此 Series 对象的性能完全 ok。
Series 这种使用键值对的数据结构最大的好处在于Series 间进行算术运算时index 会自动对齐。
另外Series 对象和它的 index 都含有一个 name 属性s.name a_seriess.index.name the_indexs
the_index
a 1
b 3
x 5
y 7
Name: a_series, dtype: int64
DataFrame
DataFrame 是一个表格型的数据结构它含有一组有序的列类似于 index每列可以是不同的值类型不像 ndarray 只能有一个 dtype。基本上可以把 DataFrame 看成是共享同一个 index 的 Series 的集合。
DataFrame 的构造方法与 Series 类似只不过可以同时接受多条一维数据源每一条都会成为单独的一列data {state:[Ohino,Ohino,Ohino,Nevada,Nevada],
year:[2000,2001,2002,2001,2002],
pop:[1.5,1.7,3.6,2.4,2.9]}df DataFrame(data)df
pop state year
0 1.5 Ohino 2000
1 1.7 Ohino 2001
2 3.6 Ohino 2002
3 2.4 Nevada 2001
4 2.9 Nevada 2002
[5 rows x 3 columns]
虽然参数 data 看起来是个字典但字典的键并非充当 DataFrame 的 index 的角色而是 Series 的 “name” 属性。这里生成的 index 仍是 “01234”。
较完整的 DataFrame 构造器参数为DataFrame(dataNone,indexNone,coloumnsNone)columns 即 “name”df DataFrame(data,index[one,two,three,four,five],
columns[year,state,pop,debt])df
year state pop debt
one 2000 Ohino 1.5 NaN
two 2001 Ohino 1.7 NaN
three 2002 Ohino 3.6 NaN
four 2001 Nevada 2.4 NaN
five 2002 Nevada 2.9 NaN
[5 rows x 4 columns]
同样缺失值由 NaN 补上。看一下 index、columns 和 索引的类型df.index
Index([one, two, three, four, five], dtypeobject)df.columns
Index([year, state, pop, debt], dtypeobject)type(df[debt])DataFrame 面向行和面向列的操作基本是平衡的任意抽出一列都是 Series。
对象属性
重新索引
Series 对象的重新索引通过其 .reindex(indexNone,**kwargs) 方法实现。**kwargs 中常用的参数有俩methodNone,fill_valuenp.NaN
ser Series([4.5,7.2,-5.3,3.6],index[d,b,a,c])a [a,b,c,d,e]ser.reindex(a)
a -5.3
b 7.2
c 3.6
d 4.5
e NaN
dtype: float64ser.reindex(a,fill_value0)
a -5.3
b 7.2
c 3.6
d 4.5
e 0.0
dtype: float64ser.reindex(a,methodffill)
a -5.3
b 7.2
c 3.6
d 4.5
e 4.5
dtype: float64ser.reindex(a,fill_value0,methodffill)
a -5.3
b 7.2
c 3.6
d 4.5
e 4.5
dtype: float64
.reindex() 方法会返回一个新对象其 index 严格遵循给出的参数method:{backfill, bfill, pad, ffill, None} 参数用于指定插值填充方式当没有给出时自动用 fill_value 填充默认为 NaNffill padbfill back fill分别指插值时向前还是向后取值
DataFrame 对象的重新索引方法为.reindex(indexNone,columnsNone,**kwargs)。仅比 Series 多了一个可选的 columns 参数用于给列索引。用法与上例类似只不过插值方法method 参数只能应用于行即轴 0。state [Texas,Utha,California]df.reindex(columnsstate,methodffill)
Texas Utha California
a 1 NaN 2
c 4 NaN 5
d 7 NaN 8
[3 rows x 3 columns]df.reindex(index[a,b,c,d],columnsstate,methodffill)
Texas Utha California
a 1 NaN 2
b 1 NaN 2
c 4 NaN 5
d 7 NaN 8
[4 rows x 3 columns]
不过 fill_value 依然对有效。聪明的小伙伴可能已经想到了可不可以通过 df.T.reindex(index,method**).T 这样的方式来实现在列上的插值呢答案是可行的。另外要注意使用 reindex(index,method**) 的时候index 必须是单调的否则就会引发一个 ValueError: Must be monotonic for forward fill比如上例中的最后一次调用如果使用index[a,b,d,c] 的话就不行。
删除指定轴上的项
即删除 Series 的元素或 DataFrame 的某一行列的意思通过对象的.drop(labels, axis0) 方法ser
d 4.5
b 7.2
a -5.3
c 3.6
dtype: float64df
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]ser.drop(c)
d 4.5
b 7.2
a -5.3
dtype: float64df.drop(a)
Ohio Texas California
c 3 4 5
d 6 7 8
[2 rows x 3 columns]df.drop([Ohio,Texas],axis1)
California
a 2
c 5
d 8
[3 rows x 1 columns]
.drop() 返回的是一个新对象元对象不会被改变。
索引和切片
就像 Numpypandas 也支持通过 obj[::] 的方式进行索引和切片以及通过布尔型数组进行过滤。
不过须要注意因为 pandas 对象的 index 不限于整数所以当使用非整数作为切片索引时它是末端包含的。foo
a 4.5
b 7.2
c -5.3
d 3.6
dtype: float64bar
0 4.5
1 7.2
2 -5.3
3 3.6
dtype: float64foo[:2]
a 4.5
b 7.2
dtype: float64bar[:2]
0 4.5
1 7.2
dtype: float64foo[:c]
a 4.5
b 7.2
c -5.3
dtype: float64
这里 foo 和 bar 只有 index 不同——bar 的 index 是整数序列。可见当使用整数索引切片时结果与 Python 列表或 Numpy 的默认状况相同换成c 这样的字符串索引时结果就包含了这个边界元素。
另外一个特别之处在于 DataFrame 对象的索引方式因为他有两个轴向双重索引。
可以这么理解DataFrame 对象的标准切片语法为.ix[::,::]。ix 对象可以接受两套切片分别为行axis0和列axis1的方向df
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]df.ix[:2,:2]
Ohio Texas
a 0 1
c 3 4
[2 rows x 2 columns]df.ix[a,Ohio]
0
而不使用 ix 直接切的情况就特殊了
索引时选取的是列
切片时选取的是行
这看起来有点不合逻辑但作者解释说 “这种语法设定来源于实践”我们信他。df[Ohio]
a 0
c 3
d 6
Name: Ohio, dtype: int32df[:c]
Ohio Texas California
a 0 1 2
c 3 4 5
[2 rows x 3 columns]df[:2]
Ohio Texas California
a 0 1 2
c 3 4 5
[2 rows x 3 columns]
使用布尔型数组的情况注意行与列的不同切法列切法的 : 不能省df[Texas]4
a False
c True
d True
Name: Texas, dtype: booldf[df[Texas]4]
Ohio Texas California
c 3 4 5
d 6 7 8
[2 rows x 3 columns]df.ix[:,df.ix[c]4]
Texas California
a 1 2
c 4 5
d 7 8
[3 rows x 2 columns]
算术运算和数据对齐
pandas 最重要的一个功能是它可以对不同索引的对象进行算术运算。在将对象相加时结果的索引取索引对的并集。自动的数据对齐在不重叠的索引处引入空值默认为 NaN。foo Series({a:1,b:2})foo
a 1
b 2
dtype: int64bar Series({b:3,d:4})bar
b 3
d 4
dtype: int64foo bar
a NaN
b 5
d NaN
dtype: float64
DataFrame 的对齐操作会同时发生在行和列上。
当不希望在运算结果中出现 NA 值时可以使用前面 reindex 中提到过fill_value 参数不过为了传递这个参数就需要使用对象的方法而不是操作符df1.add(df2,fill_value0)。其他算术方法还有sub(), div(), mul()。
Series 和 DataFrame 之间的算术运算涉及广播暂时先不讲。
函数应用和映射
Numpy 的 ufuncs元素级数组方法也可用于操作 pandas 对象。
当希望将函数应用到 DataFrame 对象的某一行或列时可以使用.apply(func, axis0, args(), **kwds) 方法。
f lambda x:x.max()-x.min()df
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]df.apply(f)
Ohio 6
Texas 6
California 6
dtype: int64df.apply(f,axis1)
a 2
c 2
d 2
dtype: int64
排序和排名
Series 的 sort_index(ascendingTrue) 方法可以对 index 进行排序操作ascending 参数用于控制升序或降序默认为升序。
若要按值对 Series 进行排序当使用 .order() 方法任何缺失值默认都会被放到 Series 的末尾。
在 DataFrame 上.sort_index(axis0, byNone, ascendingTrue) 方法多了一个轴向的选择参数与一个 by 参数by 参数的作用是针对某一些列进行排序不能对行使用 by 参数df.sort_index(byOhio)
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]df.sort_index(by[California,Texas])
Ohio Texas California
a 0 1 2
c 3 4 5
d 6 7 8
[3 rows x 3 columns]df.sort_index(axis1)
California Ohio Texas
a 2 0 1
c 5 3 4
d 8 6 7
[3 rows x 3 columns]
排名Series.rank(methodaverage, ascendingTrue)的作用与排序的不同之处在于他会把对象的 values 替换成名次从 1 到 n。这时唯一的问题在于如何处理平级项方法里的 method 参数就是起这个作用的他有四个值可选average, min, max, first。serSeries([3,2,0,3],indexlist(abcd))ser
a 3
b 2
c 0
d 3
dtype: int64ser.rank()
a 3.5
b 2.0
c 1.0
d 3.5
dtype: float64ser.rank(methodmin)
a 3
b 2
c 1
d 3
dtype: float64ser.rank(methodmax)
a 4
b 2
c 1
d 4
dtype: float64ser.rank(methodfirst)
a 3
b 2
c 1
d 4
dtype: float64
注意在 ser[0]ser[3] 这对平级项上不同 method 参数表现出的不同名次。
DataFrame 的 .rank(axis0, methodaverage, ascendingTrue) 方法多了个 axis 参数可选择按行或列分别进行排名暂时好像没有针对全部元素的排名方法。
统计方法
pandas 对象有一些统计方法。它们大部分都属于约简和汇总统计用于从 Series 中提取单个值或从 DataFrame 的行或列中提取一个 Series。
比如 DataFrame.mean(axis0,skipnaTrue) 方法当数据集中存在 NA 值时这些值会被简单跳过除非整个切片行或列全是 NA如果不想这样则可以通过 skipnaFalse 来禁用此功能df
one two
a 1.40 NaN
b 7.10 -4.5
c NaN NaN
d 0.75 -1.3
[4 rows x 2 columns]df.mean()
one 3.083333
two -2.900000
dtype: float64df.mean(axis1)
a 1.400
b 1.300
c NaN
d -0.275
dtype: float64df.mean(axis1,skipnaFalse)
a NaN
b 1.300
c NaN
d -0.275
dtype: float64
其他常用的统计方法有
########################
******************************************
count
非 NA 值的数量
describe
针对 Series 或 DF 的列计算汇总统计
min , max
最小值和最大值
argmin , argmax
最小值和最大值的索引位置整数
idxmin , idxmax
最小值和最大值的索引值
quantile
样本分位数0 到 1
sum
求和
mean
均值
median
中位数
mad
根据均值计算平均绝对离差
var
方差
std
标准差
skew
样本值的偏度三阶矩
kurt
样本值的峰度四阶矩
cumsum
样本值的累计和
cummin , cummax
样本值的累计最大值和累计最小值
cumprod
样本值的累计积
diff
计算一阶差分对时间序列很有用
pct_change
计算百分数变化
处理缺失数据
pandas 中 NA 的主要表现为 np.nan另外 Python 内建的 None 也会被当做 NA 处理。
处理 NA 的方法有四种dropna , fillna , isnull , notnull 。
is(not)null
这一对方法对对象做元素级应用然后返回一个布尔型数组一般可用于布尔型索引。
dropna
对于一个 Seriesdropna 返回一个仅含非空数据和索引值的 Series。
问题在于对 DataFrame 的处理方式因为一旦 drop 的话至少要丢掉一行列。这里的解决方式与前面类似还是通过一个额外的参数dropna(axis0, howany, threshNone) how 参数可选的值为 any 或者 all。all 仅在切片元素全为 NA 时才抛弃该行(列)。另外一个有趣的参数是 thresh该参数的类型为整数它的作用是比如 thresh3会在一行中至少有 3 个非 NA 值时将其保留。
fillna
fillna(valueNone, methodNone, axis0) 中的 value 参数除了基本类型外还可以使用字典这样可以实现对不同的列填充不同的值。method 的用法与前面 .reindex() 方法相同这里不再赘述。
inplace 参数
前面有个点一直没讲结果整篇示例写下来发现还挺重要的。就是 Series 和 DataFrame 对象的方法中凡是会对数组作出修改并返回一个新数组的往往都有一个 replaceFalse 的可选参数。如果手动设定为 True那么原数组就可以被替换。
