网络游戏网站开发,闸北区网站设计与制,泉州专业制作网站开发,dedecms菜谱网站源码前言#xff1a;
Pandas 是一个开源的 Python 数据分析库#xff0c;它提供了高性能、易于使用的数据结构和数据分析工具。Pandas提供 了方便的类表格和类SQL的操作#xff0c;同时提供了强大的缺失值处理方法#xff0c;可以方便的进行数据导入、选取、清洗、处理、合并、…前言
Pandas 是一个开源的 Python 数据分析库它提供了高性能、易于使用的数据结构和数据分析工具。Pandas提供 了方便的类表格和类SQL的操作同时提供了强大的缺失值处理方法可以方便的进行数据导入、选取、清洗、处理、合并、统计分析等操作。最核心的两个数据结构是 DataFrame 和 Series。
1 DataFrame和 Series的用法
DataFrame 是 Pandas 库中另一个基本的数据结构。DataFrame 可以看作是一个表格型的数据结构它含有一组有序的列每列可以是不同的值类型数值、字符串、布尔值等。DataFrame 既有行索引也有列索引它可以被看作是由 Series 组成的字典共用同一个索引。 Pandas中的Series对象是一种带有标签数据的一维数组,标签在Pandas 中有对应的数据类型Index Series类似于一维数组与字典的结合。
1.1 创建一个 DataFrame 的示例
#!/usr/bin/env python
# codingutf-8# Time : 2024/4/14 14:14
# Author : Summer
# File : pandas_test
# describe:import pandas as pd# 创建一个 DataFrame 对象
data {Country: [Belgium, India, Brazil],Capital: [Brussels, New Delhi, Brasília],Population: [11190846, 1303171035, 207847528]}df pd.DataFrame(data)# 查看 DataFrame 对象
print(df)
Country Capital Population
0 Belgium Brussels 11190846
1 India New Delhi 1303171035
2 Brazil Brasília 207847528访问和操作 DataFrame 数据
#!/usr/bin/env python
# codingutf-8# Time : 2024/4/14 14:14
# Author : Summer
# File : pandas_test
# describe:import pandas as pd# 创建一个 DataFrame 对象
data {Country: [Belgium, India, Brazil],Capital: [Brussels, New Delhi, Brasília],Population: [11190846, 1303171035, 207847528]}df pd.DataFrame(data)# 访问列数据
print(df[Capital]) # 输出: Capital 列的值# 添加新列
df[Area] pd.Series([30510, 3287263, 8515767], index[0, 1, 2])
print(df)# 访问行数据通过行索引 (loc) 或行数 (iloc)
print(df.loc[1]) # 输出第二行数据基于行标签
print(df.iloc[1]) # 输出第二行数据基于行数# 数据筛选
filtered_df df[df[Population] 100000000]
print(filtered_df)# 数据排序
sorted_df df.sort_values(byPopulation, ascendingFalse)
print(sorted_df)
1.2 Series的创建
#!/usr/bin/env python
# codingutf-8# Time : 2024/4/14 14:14
# Author : Summer
# File : pandas_test
# describe:import pandas as pd# 通过列表创建 Series
s1 pd.Series([1, 3, 5, 7, 9])# 创建时指定索引
s2 pd.Series([1, 3, 5, 7, 9], index[a, b, c, d, e])# 通过字典创建 Series字典的键自动成为索引
s3 pd.Series({a: 1, b: 3, c: 5, d: 7, e: 9})
1.3 索引和切片
# 使用索引访问数据
print(s2[c]) # 输出: 5# 使用切片访问多个数据切片可以使用位置或索引
print(s2[b:d]) # 输出索引 b 到 d 的数据b 3
c 5
d 7
dtype: int64print(s2[1:4]) # 输出位置 1 到 3 的数据b 3
c 5
d 7
dtype: int641.4 处理缺失值
#!/usr/bin/env python
# codingutf-8# Time : 2024/4/14 14:14
# Author : Summer
# File : pandas_test
# describe:import pandas as pd# 检测缺失值
s6 pd.Series([1, 2, None, 4])
print(s6.isnull()) # 查看哪些是缺失值0 False
1 False
2 True
3 False
dtype: bool
# 填充缺失值
print(s6.fillna(0)) # 将缺失值填充为 00 1.0
1 2.0
2 0.0
3 4.0
dtype: float64
# 删除缺失值
print(s6.dropna()) # 删除所有缺失值0 1.0
1 2.0
3 4.0
dtype: float641.5 Series 之间的运算
Pandas 支持 Series 之间的算数运算包括加、减、乘、除等并且会自动根据索引对齐数据。
#!/usr/bin/env python
# codingutf-8# Time : 2024/4/14 14:14
# Author : Summer
# File : pandas_test
# describe:import pandas as pds7 pd.Series([10, 20, 30, 40], index[a, b, c, d])
s8 pd.Series([1, 2, 3, 4], index[b, c, d, e])# 根据索引对齐进行加法运算没有对齐的索引处会产生 NaN
result s7 s8
print(result)a NaN
b 21.0
c 32.0
d 43.0
e NaN
dtype: float641.6 数据描述和统计
#!/usr/bin/env python
# codingutf-8# Time : 2024/4/14 14:14
# Author : Summer
# File : pandas_test
# describe:import pandas as pds2 pd.Series([1, 3, 5, 7, 9], index[a, b, c, d, e])# 计算基本的统计数据
print(s2.describe()) # 输出 count, mean, std, min, percentiles, max# 其他统计函数
print(s2.max()) # 最大值
print(s2.min()) # 最小值
print(s2.sum()) # 求和count 5.000000
mean 5.000000
std 3.162278
min 1.000000
25% 3.000000
50% 5.000000
75% 7.000000
max 9.000000
dtype: float64
9
1
252 常见的pandas使用场景
2.1 数据读取和写入
Pandas 支持多种格式的数据读取和写入如 CSV、Excel、JSON、HTML、SQL 等。
#!/usr/bin/env python
# codingutf-8# Time : 2024/4/14 14:14
# Author : Summer
# File : pandas_test
# describe:import pandas as pdtry:df pd.read_csv(example.csv, encodingutf-8) # 默认编码
except UnicodeDecodeError:try:df pd.read_csv(example.csv, encodinglatin1) # 尝试 latin1 编码except UnicodeDecodeError:df pd.read_csv(example.csv, encodingISO-8859-1) # 尝试 ISO-8859-1 编码# 或者使用其他可能的编码比如 cp1252, gbk 等# 写入 Excel 文件
df.to_excel(example.xlsx, sheet_nameSheet1)2.2 数据查看和简单统计
# 查看前5行数据
print(df.head())# 查看数据描述性统计
print(df.describe())
2.3 数据筛选和过滤
使用条件表达式选择数据或者使用某些特定的列。
# 选择 age 列大于 30 的行
filtered_df df[df[age] 30]# 仅选择 name 和 age 两列
selected_columns df[[name, age]]
2.4. 缺失数据处理
Pandas 提供了处理缺失数据的功能如填充缺失值或删除含有缺失值的行列。
# 填充缺失值
df.fillna(value0, inplaceTrue)# 删除含有缺失值的行
df.dropna(inplaceTrue)
2.5. 数据合并和连接
可以将多个 DataFrame 进行合并横向或纵向。
# 纵向合并
df1 pd.DataFrame({A: [1, 2], B: [3, 4]})
df2 pd.DataFrame({A: [5, 6], B: [7, 8]})
merged_df pd.concat([df1, df2], ignore_indexTrue)# 横向连接
df3 pd.DataFrame({C: [10, 11], D: [12, 13]})
joined_df df1.join(df3)
2.6. 数据分组与聚合
使用 groupby 方法进行数据分组并可以对分组后的数据进行聚合操作。
# 按 department 分组并计算薪资平均值
grouped_df df.groupby(department)[salary].mean()2.7. 数据排序
可以对数据进行排序按照某一列或多列的值进行排序。
# 按照 age 列升序排序
sorted_df df.sort_values(byage, ascendingTrue)
2.8. 处理时间序列数据
Pandas 提供了很多处理时间序列数据的功能如日期的生成、解析、时间范围的生成等。
# 将字符串转换为 datetime 对象并作为 DataFrame 的索引
df[date] pd.to_datetime(df[date])
df.set_index(date, inplaceTrue)
总结
以上只是pandas的一些简单的应用实际pandas的功能远不止于此对于有兴趣的朋友可以继续深入了解pandas的应用。 Pandas 的一些关键特性和功能的总结。 核心数据结构 Series一维带标签数组能够保存任意数据类型整数、字符串、浮点数、Python 对象等。 DataFrame二维标签数据结构类似于 SQL 表格或 Excel 表单。它由多种类型的列构成。
数据输入/输出 支持多种格式的数据读取和写入如 CSV、Excel、JSON、HTML 和 SQL 数据库。提供简洁的代码来导入和导出数据。
数据查看与检索 通过 head(), tail(), describe() 等方法方便地查看数据摘要。 可以通过索引、名称进行切片和筛选操作。
数据处理 索引、选择与过滤涵盖数据标签和整数索引访问。 数据清洗 便于识别和过滤缺失数据或基于其他准则进行数据选择。 数据合并与连接支持多种方式将多个 DataFrame 和 Series 组合或连接。 数据透视表功能对数据集进行透视和汇总。
数据聚合和分组操作 通过 groupby 功能实现数据分组后进行汇总、转换和过滤。 时间序列分析 支持日期范围生成、频率转换、日期移动等操作。 适用于时间序列数据的统计和绘图。 数据清洗和准备 提供多种数据类型转换的能力。 支持对文本数据进行正则表达式处理。
性能和效率 底层编写有大量优化的 Cython 代码。 功能扩展性强很好地与其他库如 NumPy 和 Matplotlib整合。 数据可视化与 Matplotlib 集成可以方便地创建各种图表来可视化数据。
使用场景 数据分析、数据科学、机器学习、金融分析等领域的数据处理和数据清洗。 适用于从小型到大型、复杂数据集的多样化数据操作。
可以与其他流行的 Python 数据科学库如 Scikit-learn、Statsmodels 和 TensorFlow 结合使用。 总之Pandas 是数据科学领域广泛使用的必备工具它提供了数据处理和分析所需的一切基础设施使得数据分析更加直观和高效。
