1. Pandas数据清洗的核心价值

数据清洗是机器学习项目中最耗时但至关重要的环节。我经手过的真实项目中，约70%的时间都花在数据预处理上。Pandas之所以成为数据科学家的首选工具，关键在于它用简洁的语法解决了以下痛点：

• 脏数据识别 ：一份电商用户行为数据中，常出现年龄为999的"魔法值"、下单时间为2099年的未来数据
• 缺失值处理 ：传感器采集的IoT数据可能因网络波动产生间断性缺失
• 类型转换 ：从CSV读取的"2023-01-01"会被自动识别为字符串而非日期类型

举个真实案例：某金融风控项目中，原始数据包含37%的缺失值和5%的异常值。直接训练模型AUC只有0.51（相当于随机猜测），经过Pandas清洗后提升到0.83。

2. 数据质量评估实战

2.1 快速诊断数据健康度

加载数据后首先要做全面体检：

import pandas as pd

# 加载泰坦尼克号数据集
df = pd.read_csv('titanic.csv')

# 基础诊断三件套
print(f"数据维度：{df.shape}")
print("\n数据类型概览：")
print(df.dtypes)
print("\n缺失值统计：")
print(df.isnull().sum())

输出结果会显示：

• 年龄(Age)列有177个缺失值
• 船舱(Cabin)列缺失高达687条
• 登船港口(Embarked)缺失2条

2.2 异常值检测方法

不同数据类型需要不同的检测策略：

数据类型	检测方法	示例阈值
数值型	IQR法则	> Q3 + 1.5IQR
类别型	频次统计	出现次数 < 总量1%
时间型	范围检查	不在业务时间范围内

# 数值型异常值检测示例
q1 = df['Fare'].quantile(0.25)
q3 = df['Fare'].quantile(0.75)
iqr = q3 - q1
upper_bound = q3 + 1.5*iqr
outliers = df[df['Fare'] > upper_bound]

3. 缺失值处理全攻略

3.1 删除策略的陷阱

直接 df.dropna() 是最危险的操作，可能导致：

• 时间序列数据出现断点
• 特征矩阵出现大量信息损失
• 破坏数据集的原始分布

更稳妥的做法是分步处理：

1. 计算各列缺失比例
2. 对缺失>30%的列考虑删除或标记
3. 其余列采用合理填充

# 分步处理示例
missing_ratio = df.isnull().mean()
cols_to_drop = missing_ratio[missing_ratio > 0.3].index
df_clean = df.drop(columns=cols_to_drop)

# 对年龄列用中位数填充
df_clean['Age'] = df_clean['Age'].fillna(df_clean['Age'].median())

3.2 高级填充技巧

• 时间序列 ： df.fillna(method='ffill') 前向填充
• 分类数据 ：填充新类别"UNKNOWN"
• 数值特征 ：考虑用KNN或随机森林预测填充

4. 异常值处理的艺术

4.1 保留异常值的情况

这些场景不建议处理异常值：

• 金融欺诈检测中的异常交易
• 工业设备监控中的故障信号
• 电商领域的真实高消费用户

4.2 处理方案对比

方法	优点	缺点	适用场景
截断法	保持数据量	破坏分布	数值范围明确的指标
分箱法	保留趋势信息	损失精度	年龄/价格等连续变量
对数变换	保持数据顺序	改变量纲	右偏分布数据

# 分箱处理示例
df['Age_bin'] = pd.cut(df['Age'], 
                      bins=[0,12,18,60,100],
                      labels=['Child','Teen','Adult','Elder'])

5. 数据转换关键操作

5.1 类型转换最佳实践

常见坑点及解决方案：

• 混入特殊字符的数值列：先 str.replace() 再 astype
• 日期列格式混乱：指定 format 参数避免自动推断错误
• 大整数列被误判为float：使用 pd.Int64Dtype()

# 安全类型转换模板
def safe_convert(series, target_type):
    try:
        return series.astype(target_type)
    except ValueError as e:
        print(f"转换失败：{e}")
        return series

df['Price'] = safe_convert(df['Price'], 'float64')

5.2 特征工程入门

创建有效特征的常用手法：

• 时间特征 ：从日期提取星期、是否节假日
• 组合特征 ：身高体重组合为BMI指数
• 统计特征 ：滚动窗口的均值/标准差

# 创建时间特征示例
df['OrderDate'] = pd.to_datetime(df['OrderDate'])
df['OrderDayOfWeek'] = df['OrderDate'].dt.dayofweek
df['IsWeekend'] = df['OrderDayOfWeek'].isin([5,6]).astype(int)

6. 数据验证与保存

6.1 清洗后检查清单

• 分布对比： df.describe() 前后对比
• 关联性验证： pd.plotting.scatter_matrix 观察特征关系
• 业务规则校验：如"订单金额>=0"等

6.2 高效保存技巧

不同存储格式的优劣：

格式	读取速度	磁盘占用	特殊优势
CSV	慢	大	可读性强
Parquet	快	小	保留数据类型
Feather	最快	中等	内存映射

# 推荐保存方式
df.to_parquet('cleaned_data.parquet', engine='pyarrow') 

在实际项目中，我习惯保存清洗过程的中间快照，方便回溯：

1. raw_data.parquet - 原始数据
2. cleaned_basic.parquet - 基础清洗后
3. cleaned_advanced.parquet - 特征工程后

记得每次保存时记录处理日志，可以用 df.attrs 存储元数据：

df.attrs['processing_log'] = {
    'last_processed': pd.Timestamp.now(),
    'missing_handled': True,
    'outlier_method': 'IQR'
}