1 缺失值处理

1.1 查看缺失值 df.isnull()

df.isnull() #将空值转换为真
df.notnull() #空值转换为假

配合上面的功能,使用掩码提取对应数据

df[df.column名.isnull()]
df[df.column名.notnull()]

1.2 统计缺失值 df.isnull().sum()

df.isnull().sum()

1.3 删除缺失值 df.drop()

axis0: 删除行数据1: 删除列数据
subset: 参数表示删除时只考虑的索引或列名
thresh: 当数据有效值超过thresh参数值的时候,则数据会予以保留,否则会被删除

1.4 填充缺失值 df.fillna()

1.4.1 固定值填充 df.fillna(value)

1. value: 固定值填充
2. method

• ffill #用上面最近的一个非空值填充
• bfill #用下面最近的一个非空值填充
• df.fillna(method=“bfill”,limit=2,axis=1) #限制轴信息
  
  
  
  

1.4.2 线性插值填充 df.fillna(df.interpolate())

用上面非空值的线性插值填充数据

df.fillna(df.interpolate())

2 重复值处理

2.1 查看重复值 df.duplicated()

2.2 筛选重复值 df[df.duplicated()]

2.3 删除重复值 df.drop_duplicates()

默认保留位置靠前的数据行，可以通过keep来决定两行数据完全相同保留后面的还是前面的。

3 排序

dataFrame进行排序时，可以按照索引排序，也可以按照值进行排序。

3.1 按照索引排序 df.sort_index

df.sort_index()  #按照索引进行排序，默认升序排序，axis决定按照行索引还是列索引
ascending=False  #降序
df.reset_index()  #重置索引，把原来的索引列转化成一个普通列，行索引用位置信息做索引名

二维列表排序

3.2 按照值进行排序 df.sort_values

df.sort_values(by = '列名') #按照某一列进行排序
df.sort_values(by =[ '列名','列名'],ascending=[False,True])

3.3 数值型数据快速排序 df.nlargest

df.列名.nlargest() #默认取前五个，先排序，取前五名
df.nlargest(5,'列名')
df.列名.nsmallest() #默认取后五个，先排序，取后五名
df.nsmallest(5,'列名')

4 替换 df.replace

df.replace('xxm','小明',inplace = True) #inplace为True时，原地替换