做学院网站用到的动图,会员卡管理系统软件哪个好用,物流公司网站怎么做,网站制作的设备环境目录 一、概述 #xff08;一#xff09;series 1、组成 2、创建方式 3、Series常用属性 #xff08;二#xff09;DataFrame 1、组成#xff1a; 2、构建方式 #xff08;三#xff09;数据导入和导出 二、加载数据集 加载部分数据 loc / iloc 三、分组和聚合计算 需求… 目录 一、概述 一series 1、组成 2、创建方式 3、Series常用属性 二DataFrame 1、组成 2、构建方式 三数据导入和导出 二、加载数据集 加载部分数据 loc / iloc 三、分组和聚合计算 需求1查询每个大洲的平均年龄寿命 需求2查询各大洲的平均年龄和平均GDP 需求3查询各个大洲和国家各自的平均年龄寿命和平均GDP 需求4查询各个大洲的平均和最大GDP、年龄 需求5查询各个大洲的平均GDP和最大年龄 需求6每个大洲列出了多少个国家和地区去重 需求7去重后打印所有国家个数/打印所有国家名称去重后 四、matplotlib绘图 数据集网盘下载 链接https://pan.quark.cn/s/0e577858dba3?pwdFJnb 提取码FJnb
一、概述
DataFrame和Series是Pandas最基本的两种数据结构Series和Python中的列表非常相似但是它的每个元素的数据类型必须相同在Pandas中Series是一维容器Series表示DataFrame的每一行或每一列可以把DataFrame理解成一张表可以把DataFrame看作由Series对象组成的字典其中key是列名值是Series
一series
1、组成
索引一组与之关联的标签如果不显式的提供索引pandas会自动创建一个从0开始的整数索引数据一组值(可以是任意numPy支持的数据类型:int、float、string等
2、创建方式 注意index参数可以覆盖自动创建的索引序列自定义
通过字典的方式创建 import pandas as pd
s pd.Series({a:1,b:2,c:3,d:4,e:5})
print(s)
print(type(s)) 通过ndarray方式创建 import pandas as pd
s pd. Series([1,2,3,4,5])
print(s)
print(type(s)) 通过python的list方式创建 import pandas as pd
import numpy as np
arr np.array([1,2,3,4,5])
print(arr)
print(type(arr))
s pd.Series(arr)
print(s)
print(type(s)) 通过元祖对象的方式创建 import pandas as pd
s pd.Series((1,2,3,4,5))
print(s)
print(type(s))
3、Series常用属性 # 1.导入pandas模块
import pandas as pd
import osprint(os.getcwd())
print(-------------------------------------------)# 2.创建series创建一个csv文件
# 使用read_csv函数,返回的是DataFrame对象而不是Series对象
df pd.read_csv(data/nobel_prizes.csv, index_colid)
# print(df.head()) # 获取前5行数据# 3.创建series
# 获取第一行数据
first df.iloc[0]
print(first) # 获取第一行数据
print(-------------------------------------------)
print(type(first))
print(-------------------------------------------)
print(first.dtype) # 获取数据类型
print(-------------------------------------------)
print(first[year],first[year].dtype)
print(-------------------------------------------)
print(first.shape)
print(-------------------------------------------)
print(first.size)
print(-------------------------------------------)
print(first.index)
print(-------------------------------------------)
print(first.values)
常用方法
# 1导入pandas模块
import pandas as pd# 2: 创建series对象
s1 pd.Series([1, 2, 3, 4, 2, 3], index[a, b, c, d, e, f])
#
# 核心区别
# 形式 类型 行为 返回值
# s1.max 方法对象没有被调用 返回方法本身 bound method Series.max of
# s1.max() 方法调用 执行计算操作 实际的最大值
#
# print(s1.max)
# print(s1.max())
# print(s1.size)
# print(s1.min())
print(s1)print(s1.max)
print(--------------)
print(s1.max())
print(--------------)
print(s1.to_list()) # [1, 2, 3, 4, 2, 3]
print(--------------)
print(s1.to_list) # [1, 2, 3, 4, 2, 3]# 3演示series的常用方法
print(len(s1)) # 6
print(s1.size) # 6
print(s1.head()) # 默认打印前五条
print(s1.head(3)) # 打印前3条
print(s1.tail()) # 默认打印后5条
print(s1.tail(3)) # 打印后3条
print(s1.index) # Index([a, b, c, d, e, f], dtypeobject)
print(s1.keys()) # Index([a, b, c, d, e, f], dtypeobject)
print(s1.values) # [1 2 3 4 2 3]
print(s1.to_list()) # [1, 2, 3, 4, 2, 3]
print(type(s1.to_list())) # class listprint(---------------------------)
print(s1.describe()) # 统计信息
print(s1.max()) # 获取series的元素最大值
print(s1.min()) # 获取series的元素最小值
print(s1.mean()) # 获取series的元素平均值
print(s1.median()) # 获取series的元素中位数
print(s1.mode()) # 获取series的元素众数
print(s1.std()) # 获取series的元素标准差print(---------------------------)
print(s1.drop_duplicates())# 删除重复的元素
print(s1.sort_values())# 排序根据值排序默认是升序
print(s1.sort_values())# 排序根据值排序默认是升序
print(s1.sort_values(ascendingFalse))# 排序根据值排序降序
print(s1.sort_index()) # 排序根据索引排序默认是升序
print(s1.sort_index(ascendingFalse)) # 排序根据索引排序降序
print(s1.unique()) # 去重
print(s1.value_counts()) # 统计每个元素出现的次数
二DataFrame
可以看成是一个二维表格行列类似于Excel表格每一列就是一个series所有列共享一个索引
1、组成
列 每一列就是一个series所有的列共享同一个索引行 由索引标记的每一行数据行索引索引 行的标签称之为行索引如果不指定pandas会自动创建0,1,2....列索引column 列的标签也称为列名。
2、构建方式
使用字典来创建DataFrame
import pandas as pd
s {name:[张三,李四,王五],age:[18,19,31],sex:[男,女,男]}
df pd.DataFrame(s)
print(df)
print(type(df))
创建DataFrame的时指定列的顺序和行索引
# 创建DataFrame的时指定列的顺序和行索引
import pandas as pd
df pd.DataFrame({name:[张三,李四,王五],age:[18,19,31],sex:[男,女,男]},index[a,b,c],columns[name,age,sex,id])
print(df)
print(type(df))
三数据导入和导出
1、保存pickle文件 可以使用pd.read_pickle函数读取.pickle文件中的数据
import pandas as pd
# 读取movie.csv文件
movie_fd pd.read_csv(data/movie.csv)
# 将读取的数据保存为pickle文件
movie_fd.to_pickle(data/movie.pickle)
movie_fd.head()2、保存csv文件 在CSV文件中对于每一行各列采用逗号分隔 CSV是数据协作和共享的首选格式
import pandas as pd
movie_fd.to_csv(data/movie2.csv)
movie_fd2 pd.read_csv(data/movie2.csv)
movie_fd2.head()
二、加载数据集
目的 1、做数据分析首先要加载数据并查看其结构和内容对数据有初步的了解 2、查看行列数据分布情况 3、查看每一列中存储信息的类型
import pandas as pddata pd.read_csv(data/movie.csv) # 读取数据
print(data.head()) # 查看前5行数据# 也可以通过指定分隔符加载tsv文件
data pd.read_csv(data/gapminder.tsv, sep\t)
data.head()
加载部分数据
加载一列数据通过df[列名]方式获取
print(df[movie_title])
加载多列数据通过df[[列名1,列名2,...]]
print(df[[movie_title, imdb_score]])
获取第4行数据
获取第1行和第62行和83行数据
print(df.loc[[3]])
print(df.loc[[0, 61, 82]])
loc / iloc
需要注意的是iloc传入的是索引的序号loc是索引的标签 如果loc 和 iloc 传入的参数弄混了会报错 loc 只能接受行/列 的名字iloc只能接受行/列的序号
# 获取第1行和第62行和83行数据
print(df.iloc[[0, 61, 82]])
# 获取前3行数据
print(df.iloc[:3])
# 使用iloc时可以传入-1来获取最后一行数据使用loc的时候不行
print(df.iloc[[-1]]) import pandas as pddf pd.read_csv(data/scientists.csv)print(df.loc[0, [Name, Age, Born]]) # 获取第1行数据的三列数据
print(-----------------------------------------------------------------------)
print(df.loc[[0, 1], [Name, Age, Born]]) # 获取第1行和第2行数据,三列数据
print(-----------------------------------------------------------------------)
tmp_range list(range(3, 5))
print(tmp_range) # 获取连续多列数据
print(df.iloc[:, tmp_range])
print(-----------------------------------------------------------------------)
print(df.iloc[0, 1]) # 获取第1行第2列数据
print(-----------------------------------------------------------------------)
print(df.iloc[[0, 1, 5], [1, 2]]) # 获取第1行和第2行第6行、第2列和第3列数据
print(-----------------------------------------------------------------------)
print(df.iloc[0:3, 0:3]) # 获取第1行到第3行、第1列到第3列数据
print(-----------------------------------------------------------------------)
print(df.iloc[:, 1:5:2]) # 获取第2列到第5列、步长为2的数据
print(-----------------------------------------------------------------------)
# 获取第1列、第3列、第4列的数据
print(df.iloc[:, [True, False, True, True, False]])
知识点总结 三、分组和聚合计算
需求1查询每个大洲的平均年龄寿命
# 分组操作
print(df.groupby(continent))
# 写法一
print(df.groupby(continent)[lifeExp].mean())
print(--------------------------------------------------)
# 写法二
print(df.groupby(continent).lifeExp.mean())
需求2查询各大洲的平均年龄和平均GDP
print(df.groupby(continent)[[lifeExp,gdpPercap]].mean()) 需求3查询各个大洲和国家各自的平均年龄寿命和平均GDP
print(df.groupby([continent,country])[[lifeExp,gdpPercap]].mean()) 需求4查询各个大洲的平均和最大GDP、年龄
# 写法1
print(df.groupby(continent)[[lifeExp,gdpPercap]].aggregate([mean,max]))需求5查询各个大洲的平均GDP和最大年龄
# 写法2
print(df.groupby(continent).aggregate({lifeExp:mean,gdpPercap:max})) 需求6每个大洲列出了多少个国家和地区去重
print(df.groupby(continent)[country].nunique())
print(--------------------------------------------------)
# 每个大洲列出了多少个国家不去重
print(df.groupby(continent)[country].size()) 需求7去重后打印所有国家个数/打印所有国家名称去重后
print(df[country].nunique())
print(df[country].unique())
运行结果
142
[Afghanistan Albania Algeria Angola Argentina AustraliaAustria Bahrain Bangladesh Belgium Benin BoliviaBosnia and Herzegovina Botswana Brazil Bulgaria Burkina FasoBurundi Cambodia Cameroon Canada Central African RepublicChad Chile China Colombia Comoros Congo, Dem. Rep.Congo, Rep. Costa Rica Cote dIvoire Croatia CubaCzech Republic Denmark Djibouti Dominican Republic EcuadorEgypt El Salvador Equatorial Guinea Eritrea Ethiopia FinlandFrance Gabon Gambia Germany Ghana Greece Guatemala GuineaGuinea-Bissau Haiti Honduras Hong Kong(China) Hungary IcelandIndia Indonesia Iran Iraq Ireland Israel Italy JamaicaJapan Jordan Kenya Korea, Dem. Rep. Korea, Rep. KuwaitLebanon Lesotho Liberia Libya Madagascar Malawi MalaysiaMali Mauritania Mauritius Mexico Mongolia MontenegroMorocco Mozambique Myanmar Namibia Nepal NetherlandsNew Zealand Nicaragua Niger Nigeria Norway Oman PakistanPanama Paraguay Peru Philippines Poland PortugalPuerto Rico Reunion Romania Rwanda Sao Tome and PrincipeSaudi Arabia Senegal Serbia Sierra Leone SingaporeSlovak Republic Slovenia Somalia South Africa Spain Sri LankaSudan Swaziland Sweden Switzerland Syria Taiwan(China)Tanzania Thailand Togo Trinidad and Tobago Tunisia TurkeyUganda United Kingdom United States Uruguay Venezuela VietnamWest Bank and Gaza Yemen, Rep. Zambia Zimbabwe]
四、matplotlib绘图
import pandas as pd
import matplotlib.pyplot as pltdf pd.read_csv(data/gapminder.tsv, sep\t)
globals_yearly_life_expectancy df.groupby(year)[lifeExp].mean()
print(globals_yearly_life_expectancy)
globals_yearly_life_expectancy.plot()
plt.show()
