06-机器学习-数据预处理

数据清洗

数据清洗是数据预处理的核心步骤，旨在修正或移除数据集中的错误、不完整、重复或不一致的部分，为后续分析和建模提供可靠基础。以下是数据清洗的详细流程、方法和实战示例：

一、数据清洗的核心任务

问题类型	表现示例	影响
缺失值	数值型字段为空（NaN）	模型无法处理缺失值，导致训练中断或偏差
异常值	年龄=200岁，房价=-100万	扭曲统计指标（如均值），降低模型泛化性
重复数据	两行记录完全相同	导致模型过拟合，降低数据代表性
不一致数据	日期格式混乱（2023-09-01 vs 01/09/23）	解析错误，特征提取失败

二、数据清洗流程与工具

1. 缺失值处理

检测缺失值：

# 统计每列缺失比例
missing_ratio = data.isnull().mean() * 100
print(missing_ratio.sort_values(ascending=False))

处理方法：

方法	适用场景	代码示例
直接删除	缺失比例高（>80%）或无关字段	`data.dropna(axis=1, thresh=len(data)*0.2)`
均值/中位数填充	数值型字段，缺失随机分布	`data['age'].fillna(data['age'].median(), inplace=True)`
众数填充	类别型字段	`data['gender'].fillna(data['gender'].mode()[0], inplace=True)`
插值法	时间序列数据（如温度记录）	`data['temperature'].interpolate(method='time', inplace=True)`
模型预测填充	复杂场景（如多变量关联缺失）	使用KNN或随机森林预测缺失值（见下方代码）

KNN填充示例：

from sklearn.impute import KNNImputer
imputer = KNNImputer(n_neighbors=5)
data_filled = pd.DataFrame(imputer.fit_transform(data), columns=data.columns)

2. 异常值处理

检测方法：

描述性统计：检查最小/最大值是否合理
```
print(data.describe())
```

箱线图（Boxplot）：

plt.figure(figsize=(8,4))
sns.boxplot(x=data['income'])
plt.title("Income Distribution")
plt.show()

Z-Score法（正态分布数据）：

z_scores = (data['value'] - data['value'].mean()) / data['value'].std()
outliers = data[abs(z_scores) > 3]  # Z>3为异常

IQR法（非正态分布数据）：

Q1 = data['age'].quantile(0.25)
Q3 = data['age'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

处理方法：

方法	代码示例
删除异常值	`data = data[(data['age'] >= 0) & (data['age'] <= 100)]`
截断（Winsorize）	`from scipy.stats.mstats import winsorize<br>data['income'] = winsorize(data['income'], limits=[0.05, 0.05])`
分箱（Binning）	`data['age_bin'] = pd.cut(data['age'], bins=[0,18,35,60,100])`

3. 重复数据处理

检测与删除：

# 检测完全重复的行
duplicates = data.duplicated()
print(f"重复行数量: {duplicates.sum()}")

# 删除重复行（保留第一个出现值）
data.drop_duplicates(keep='first', inplace=True)

部分重复处理（如用户ID重复但信息不同）：

# 按关键字段去重（如用户ID）
data.drop_duplicates(subset=['user_id'], keep='last', inplace=True)

4. 不一致数据修正

格式统一：

# 日期格式标准化
data['date'] = pd.to_datetime(data['date'], format='mixed')

# 文本大小写统一
data['category'] = data['category'].str.lower()

# 单位统一（如货币转换）
data['price'] = data['price'].apply(
    lambda x: x * 6.5 if 'USD' in x else x
)

逻辑校验：

# 检查年龄与出生日期是否一致
current_year = pd.Timestamp.now().year
data['calculated_age'] = current_year - data['birth_year']
invalid_age = data[abs(data['age'] - data['calculated_age']) > 1]

三、实战案例：电商订单数据清洗

原始数据问题

import pandas as pd
data = pd.DataFrame({
    'order_id': [101, 102, 103, 104, 105, 106],
    'user_id': [1, 2, 2, 3, 4, None],
    'price': [29.9, 199.0, 199.0, -50.0, 89.9, 120.0],
    'order_date': ['2023-09-01', '01/09/2023', '2023-09-01', '2023-10-32', None, '2023-09-05']
})

清洗步骤

处理缺失值：

# 填充user_id缺失值（假设新用户ID为999）
data['user_id'].fillna(999, inplace=True)

# 删除order_date缺失的行
data.dropna(subset=['order_date'], inplace=True)

修正异常价格：

# 删除价格为负的订单
data = data[data['price'] > 0]

# 截断价格超过200的订单（假设业务上限为200）
data['price'] = data['price'].clip(upper=200)

标准化日期格式：

# 转换日期并过滤无效日期（如2023-10-32）
data['order_date'] = pd.to_datetime(data['order_date'], errors='coerce')
data.dropna(subset=['order_date'], inplace=True)

去重：

# 按user_id和order_date去重（保留最后一条）
data.drop_duplicates(subset=['user_id', 'order_date'], keep='last', inplace=True)

清洗后数据

order_id	user_id	price	order_date
101	1	29.9	2023-09-01
102	2	199.0	2023-09-01
105	4	89.9	NaT（已删除）
106	999	120.0	2023-09-05

四、注意事项

避免过度清洗：保留合理的数据多样性（如正常的价格波动）。
记录清洗日志：跟踪每一步操作的影响（如删除了多少行数据）。
业务规则优先：与领域专家确认异常定义（如“用户年龄>100是否合理”）。

自动化流水线：对持续更新的数据，使用Pipeline封装清洗步骤：

from sklearn.pipeline import Pipeline

clean_pipeline = Pipeline([
    ('fill_na', SimpleImputer(strategy='constant', fill_value=999)),
    ('remove_duplicates', DropDuplicates(subset=['user_id'])),
    ('clip_outliers', ColumnTransformer([('clip', FunctionTransformer(lambda x: x.clip(0, 200)), ['price'])])),
])

数据变换

以下是对数据变换的更紧凑、更细节化的总结，突出核心要点与实用技巧：

一、标准化/归一化：核心差异

方法	公式	适用场景	异常值敏感度	Scikit-learn工具
Z-score	$\frac{x - \mu}{\sigma}$	数据近似正态分布，线性模型（SVM、回归）	高	`StandardScaler`
Min-Max	$\frac{x - x_{\min}}{x_{\max} - x_{\min}}$	图像像素、神经网络输入层	高	`MinMaxScaler`
Robust	$\frac{x - \text{median}}{IQR}$	存在异常值，非正态分布	低	`RobustScaler`

关键技巧：

树模型（如随机森林、XGBoost）无需标准化，但对特征组合敏感的模型（FM、NN）需要。
归一化到[-1,1]可能对某些激活函数（如tanh）更友好。

二、非线性变换：快速选择

对数变换：右偏数据（如收入），用np.log1p避免零值。
Box-Cox变换：需数据严格为正，自动优化λ值（scipy.stats.boxcox）。
分位数变换：强制数据服从均匀/正态分布（QuantileTransformer）。

示例代码：

from sklearn.preprocessing import PowerTransformer
pt = PowerTransformer(method='yeo-johnson')  # 兼容零/负值
X_transformed = pt.fit_transform(X)

三、分类变量编码：场景化方案

方法	优点	缺点	适用模型
One-Hot	无顺序假设，兼容所有模型	高维稀疏，需处理共线性	线性模型、神经网络
Target编码	保留类别与目标的关系	需防过拟合（如交叉验证）	树模型、高基数类别
Embedding	低维稠密，捕捉语义相似性	需预训练或端到端学习	深度学习（NLP/推荐系统）

关键点：

高基数类别优先用Target Encoding或CatBoost内置处理。
树模型可尝试Label Encoding，但需验证类别顺序是否合理。

四、特征工程：高效操作

数值特征：
- 交叉特征：加减乘除（如电商中“单价×购买量=总金额”）。
- 分箱：等频分箱（pd.qcut）或等宽分箱（pd.cut），捕捉非线性。
时间特征：
- 提取周期性（星期、月份），滑动窗口统计（均值、标准差）。
文本特征：
- 短文本用TF-IDF，长文本用BERT嵌入，高维稀疏时用TruncatedSVD降维。

代码示例：

# 时间特征处理
df['hour'] = df['timestamp'].dt.hour
df['is_weekend'] = df['timestamp'].dt.weekday >= 5

五、降维：选择策略

方法	核心思想	适用场景	注意事项
PCA	线性投影最大化方差	高维数据可视化/去噪	需先标准化，可能丢失非线性信息
t-SNE	非线性保留局部结构	可视化高维聚类	计算代价高，不用于特征输入
UMAP	平衡速度与局部/全局结构	大规模数据可视化/预处理	参数敏感，需调参

经验：

输入特征>50时优先用PCA，保留95%方差（n_components=0.95）。
避免对树模型使用降维，可能破坏特征重要性。

六、避坑指南

数据泄露：

所有变换必须仅用训练集统计量！用Pipeline确保流程：

from sklearn.pipeline import make_pipeline
pipe = make_pipeline(StandardScaler(), SVM())
pipe.fit(X_train, y_train)

异常值处理：
- 缩尾处理（np.clip）或中位数填充，避免破坏分布。
评估验证：
- 对KNN、SVM等敏感模型，对比不同缩放方法的分类边界（如决策边界图）。

七、端到端流程

输入检查：分布（直方图/Q-Q图）、缺失值、异常值。
数值特征：缩放→非线性变换→分箱。
分类特征：编码→嵌入（可选）。
特征构造：领域知识驱动交叉/聚合。
输出验证：模型在验证集的表现波动是否<5%。

总结：数据变换需与模型特性深度耦合，通过实验迭代优化。记住：“Garbage in, garbage out”——宁可花80%时间在数据准备，而非调参！

特征工程

特征工程：从原始数据到模型燃料的核心技术

特征工程是机器学习的“炼金术”，旨在将原始数据转化为模型可理解的强特征，直接影响模型性能上限。以下是结构化拆解：

一、核心目标与价值

目标：构造高信息量、低冗余、适配模型的特征。
价值：
- 提升模型准确率（如添加用户历史行为统计特征）
- 降低计算成本（通过降维/特征选择）
- 增强可解释性（如分箱后的年龄组代替原始值）

二、特征构造：从原始数据中“挖掘金子”

时间特征
- 基础字段：年、月、日、小时、星期几、是否节假日
- 衍生特征：时间间隔（如上次购买距今的天数）、滑动窗口统计（过去7天均值）
```
df['purchase_hour'] = df['timestamp'].dt.hour
df['days_since_last_purchase'] = (current_date - df['last_purchase_date']).dt.days
```
交互特征（组合特征）
- 数值交互：加减乘除（如“单价×数量=总价”）
- 类别交叉：笛卡尔积（如“地区×产品类型”生成组合标签）
```
df['price_per_sqmeter'] = df['total_price'] / df['area']
```
统计聚合特征
- 单维度统计：用户历史购买金额的均值、最大值、方差
- 跨表关联：订单表按用户ID聚合的订单数、退货率
```
user_stats = orders.groupby('user_id')['amount'].agg(['mean', 'max'])
```
文本/图像特征
- 文本：TF-IDF关键词权重、BERT句向量、情感分析得分
- 图像：边缘特征、颜色直方图、预训练CNN提取的特征图

三、特征变换：提升模型适配性

分箱（Binning）
- 等宽分箱：固定区间宽度（如年龄每10年一档）
- 等频分箱：保证每箱样本量均衡
- 模型分箱：使用决策树寻找最优分割点
```
df['age_bin'] = pd.cut(df['age'], bins=[0,18,35,60,100], labels=['child', 'young', 'adult', 'senior'])
```
非线性变换
- 对数变换：处理右偏分布（np.log1p避免零值）
- Box-Cox变换：自动优化正态性（仅适用于正值）
- 分位数变换：强制服从指定分布（如正态、均匀）
高基数类别处理
- 目标编码（Target Encoding）：用目标变量的统计量（如均值）代替类别
- 频率编码：使用类别出现频率作为特征值
- 嵌入编码（Embedding）：通过神经网络学习低维表示（如Word2Vec）

四、特征选择：剔除噪声与冗余

方法	原理	适用场景
过滤法	基于统计指标（如方差、卡方检验）	快速初筛，计算成本低
包裹法	通过模型性能迭代选择特征子集	精确但计算代价高（递归特征消除）
嵌入法	模型训练中自动选择（如L1正则化）	与模型耦合，高效

实用技巧：

对树模型，直接使用feature_importances_筛选重要性>阈值特征
对线性模型，结合Lasso回归的系数稀疏性做特征剔除

五、自动化特征工程工具

FeatureTools：自动生成跨表聚合特征（如“用户最近3次登录时间标准差”）
TSFresh：针对时间序列自动提取数百种统计特征（如自相关性、傅里叶变换系数）
AutoFeat：自动构造多项式特征并进行显著性筛选

# FeatureTools示例
import featuretools as ft
es = ft.EntitySet()
es = es.entity_from_dataframe(entity_id='users', dataframe=users_df, index='user_id')
features, feature_defs = ft.dfs(entityset=es, target_entity='users')

六、避坑指南与最佳实践

避免数据泄露：
- 所有统计量（如Target Encoding的均值）必须仅从训练集计算！
- 使用Pipeline封装预处理与模型训练：
```
from sklearn.pipeline import Pipeline
pipe = Pipeline([('encoder', TargetEncoder()), ('model', RandomForest())])
```
领域知识驱动：
- 在电商场景中，构造“商品价格与类目平均价格的比值”可能比单纯价格更有效
- 在风控场景中，组合“申请时间与工作时段的重叠度”作为特征
迭代验证：
- 通过AB测试对比不同特征组合的模型性能
- 监控特征稳定性（如PSI指标）防止线上数据分布偏移