- 数据清洗一般是现从重复值和缺失值开始处理的
- 重复值一般采用删除法来处理
- 但有些重复值不能删除,例如订单明细数据或交易明细数据等
#使用duplicated()方法判断数据是否重复
df[df.duplicated()]
np.sum(df.duplicated())
df.drop_duplicates()
df.drop_duplicates(subset=['appname','size'],inplace=True)
#实操
import pandas as pd
import numpy as np
import os
os.chdir(r'your path')
#na_values:把某一个值转化为空字符串,na_values='Man',将数据Man转化为缺失值NaN
df=pd.read_csv('yourFile.csv',encoding='gbk',na_values='Man')
df.head(10)
#将$134.987转化为134987
def f(x)
if '$' in str(x):
x=str(x).strip('$')
x=str(x).replace(',','')
else:
x=str(x).replace(',','')
return float(x)
df['Price']=df['Price'].apply(f)
#对每一行进行判断,是否有重复值,返回bool向量
df.duplicated()
#只要有一个重复值,即返回True
any(df.duplicated())
#输出重复的行数据
df[df.duplicated()]
#重复的数据的个数
np.sum(df.duplicated())
#除去重复数据后的数据的视图
df.drop_duplicated()
#除去重复数据后的数据的文件
df.drop_duplicated(inplace=True)
#
df.columns
#判断指定的字段直接是否有重复值
df.drop_duplicates(subset=['Id','Sex','Price','Location'],inplace=True)
df.info()