妇科医院网站建设怎么做,网站建设培训心得体会,高端品牌网站建设有哪些,做门户网站的框架对数据表中的问题进行清洗。主要内容包括对空值#xff0c;大小写问题#xff0c;数据格式和重复值的处理。这里不包含对数据间的逻辑验证。
处理空值(删除或填充)
我们在创建数据表的时候在 price 字段中故意设置了几个 NA 值。对于空值的处理方式有很多种#xff0c;可以…对数据表中的问题进行清洗。主要内容包括对空值大小写问题数据格式和重复值的处理。这里不包含对数据间的逻辑验证。
处理空值(删除或填充)
我们在创建数据表的时候在 price 字段中故意设置了几个 NA 值。对于空值的处理方式有很多种可以直接删除包含空值的数据也可以对空值进行填充比如用 0 填充或者用均值填充。还可以根据不同字段的逻辑对空值进行推算。
Excel中可以通过“查找和替换”功能对空值进行处理将空值统一替换为 0 或均值。也可以通过“定位”空值来实现。
查找和替换空值
Python中处理空值的方法比较灵活可以使用 Dropna 函数用来删除数据表中包含空值的数据也可以使用 fillna 函数对空值进行填充。下面的代码和结果中可以看到使用 dropna 函数后包含 NA 值的两个字段已经不见了。返回的是一个不包含空值的数据表。
1#删除数据表中含有空值的行
2df.dropna(how‘any’)
除此之外也可以使用数字对空值进行填充下面的代码使用 fillna 函数对空值字段填充数字 0。
1#使用数字0 填充数据表中空值
2df.fillna(value0)
我们选择填充的方式来处理空值使用 price 列的均值来填充 NA 字段同样使用 fillna 函数在要填充的数值中使用 mean 函数先计算 price 列当前的均值然后使用这个均值对 NA 进行填充。可以看到两个空值字段显示为 3299.5。
1#使用price 均值对 NA 进行填充
2df[‘price’].fillna(df[‘price’].mean())
3
40 1200.0
51 3299.5
62 2133.0
73 5433.0
84 3299.5
95 4432.0
10Name: price, dtype: float64
清理空格
除了空值字符中的空格也是数据清洗中一个常见的问题下面是清除字符中空格的代码。
1 #清除 city 字段中的字符空格
2 df[‘city’]df[‘city’].map(str.strip)
大小写转换
在英文字段中字母的大小写不统一也是一个常见的问题。Excel 中有 UPPERLOWER等函数python 中也有同名函数用来解决大小写的问题。在数据表的 city 列中就存在这样的问题。我们将 city 列的所有字母转换为小写。下面是具体的代码和结果。
1#city列大小写转换
2df[‘city’]df[‘city’].str.lower()
更改数据格式
Excel中通过“设置单元格格式”功能可以修改数据格式。Python 中通过 astype 函数用来修改数据格式。
设置单元格格式
Python中 dtype 是查看数据格式的函数与之对应的是 astype 函数用来更改数据格式。下面的代码中将 price 字段的值修改为 int 格式。
1#更改数据格式2df[‘price’].astype(‘int’)340 120051 329962 213373 543384 329995 443210Name: price, dtype: int32
更改列名称
Rename是更改列名称的函数我们将来数据表中的 category 列更改为 category-size。下面是具体的代码和更改后的结果。
删除重复值
很多数据表中还包含重复值的问题Excel 的数据目录下有“删除重复项”的功能可以用来删除数据表中的重复值。默认Excel 会保留最先出现的数据删除后面重复出现的数据。
删除重复项
Python中使用 drop_duplicates 函数删除重复值。我们以数据表中的 city 列为例city 字段中存在重复值。默认情况下 drop_duplicates()将删除后出现的重复值(与 excel 逻辑一致)。增加 keep’last’参数后将删除最先出现的重复值保留最后的值。下面是具体的代码和比较结果。
原始的 city 列中 beijing 存在重复分别在第一位和最后一位。
1 df[‘city’]
2 0 beijing
3 1 sh
4 2 guangzhou
5 3 shenzhen
6 4 shanghai
7 5 beijing
8 Name: city, dtype: object
使用默认的 drop_duplicates()函数删除重复值从结果中可以看到第一位的beijing 被保留最后出现的 beijing 被删除。
1 #删除后出现的重复值
2 df[‘city’].drop_duplicates()
3 0 beijing
4 1 sh
5 2 guangzhou
6 3 shenzhen
7 4 shanghai
8 Name: city, dtype: object
设置 keep’last’’参数后与之前删除重复值的结果相反第一位出现的 beijing 被删除保留了最后一位出现的 beijing。
1 #删除先出现的重复值
2 df[‘city’].drop_duplicates(keep‘last’)
3 1 sh
4 2 guangzhou
5 3 shenzhen
6 4 shanghai
7 5 beijing
8 Name: city, dtype: objec
数值修改及替换
数据清洗中最后一个问题是数值修改或替换Excel 中使用“查找和替换”功能就可以实现数值的替换。
查找和替换空值
Python中使用 replace 函数实现数据替换。数据表中 city 字段上海存在两种写法分别为 shanghai 和 SH。我们使用replace 函数对 SH 进行替换。
1 #数据替换
2 df[‘city’].replace(‘sh’, ‘shanghai’)
3 0 beijing
4 1 shanghai
5 2 guangzhou
6 3 shenzhen
7 4 shanghai
8 5 beijing
9 Name: city, dtype: object
文章来源网络 版权归原作者所有
上文内容不用于商业目的如涉及知识产权问题请权利人联系小编我们将立即处理
