数据清洗

为什么进行数据清洗？

• 我们拿到的数据通常是不干净的，所谓的不干净，就是数据中有缺失值，有一些异常点等，需要经过一定的处理才能继续做后面的分析或建模，所以拿到数据的第一步是进行数据清洗

缺失值的观察与处理

查看缺失值

方法一：df.info()

方法二：df.isnull().sum()

查找缺失值

• 有none、nan、isnull三种方法，具体效果如图所示
• 对于数值型：nan和isnull是相同效果；对于非数值型：nan并不起作用，只可以用isnull查找

dropna()函数

• axis:axis=0: 删除包含缺失值的行axis=1: 删除包含缺失值的列
• how: 与axis配合使用 how=‘any’ :只要有缺失值出现，就删除该行或列 how=‘all’: 所有的值都缺失，才删除行或列
• thresh：axis中至少有thresh个非缺失值，否则删除 比如axis=0，thresh=10：标识如果该行中非缺失值的数量小于10，将删除改行
• subset: list 在哪些列中查看是否有缺失值
• inplace: 是否在原数据上操作。如果为真，返回None否则返回新的copy，去掉了缺失值。

fillna()函数

• value: scalar, dict, Series, or DataFrame
• dict： 可以指定每一行或列用什么值填充
• method： {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}
• default None在列上操作
• ffill / pad: 使用前一个值来填充缺失值
• backfill / bfill :使用后一个值来填充缺失值
• limit 填充的缺失值个数限制

重复值的观察与处理

重复值的观察 df[df.duplicated()]

重复值的处理 df = df.drop_duplicates()

• 在对一些数值型属性进行判空处理后，填充0就可以进行重复值处理

特征处理

对连续型进行离散化处理

• 首先，使用describe()查看min和max

• 对于age属性进行平均划分，5代表分为五份；df[‘AgeBand’]代表新生成一个列；labels代表新属性列的取值

• 对于连续取值，不想均匀划分怎么办？
• 比如按照(0,5] (5,15] (15,30] (30,50] (50,80]五个年龄段，并分别用类别变量12345表示
  
• 另一种，按比例划分；按10% 30% 50 70% 90%五个年龄段，并用分类变量12345表示

对文本型变量进行转换

方法一：replace

• df[‘Sex_num’] = df[‘Sex’].replace([‘male’,‘female’],[1,2])

方法二：map

• df['Sex_num'] = df['Sex'].map({'male': 1, 'female': 2})
  

方法三：使用sklearn.preprocessing的LabelEncoder

使用onehot编码

利用正则编码提取信息