Kaggle房价预测实战：从数据清洗到模型调优的避坑指南

当第一次打开Kaggle房价预测比赛页面时，满屏的英文术语和陌生的数据字段让人望而生畏。作为《动手学深度学习》课程的学习者，我原本以为按照沐神的代码逐行复现就能轻松完成任务，但现实却给了我一记响亮的耳光——从数据预处理到模型训练，几乎每个环节都暗藏玄机。本文将分享我在这个项目中踩过的七个关键坑点，以及如何通过系统化思维解决这些问题。

1. 数据清洗：那些教科书不会告诉你的细节

原始数据集包含79,065条记录和超过80个特征字段，但真正有价值的特征可能不到三分之一。第一个陷阱就出现在数据导入阶段：

train_data = pd.read_csv('train.csv')
test_data = pd.read_csv('test.csv')

看似简单的两行代码背后隐藏着三个常见问题：

• 编码问题导致的中文字段乱码
• 自动类型推断错误（如将邮政编码识别为数值）
• 内存占用爆炸（特别是当包含文本字段时）

解决方案 ：

# 显式指定列类型和编码
dtype_dict = {'Zip': str, 'Year Built': float}
train_data = pd.read_csv('train.csv', dtype=dtype_dict, encoding='latin1')

对于类别型特征，直接使用 pd.get_dummies() 可能引发维度灾难。在我的案例中，一个名为"Appliances included"的字段竟包含11,290个不同取值！最终采用的优化策略：

处理方法	特征数量	RMSE
原始One-Hot	470	0.183
频次截断	152	0.179
嵌入编码	64	0.175

提示：对高频类别特征，优先考虑嵌入层(Embedding)或频次截断，而非简单One-Hot

2. 模型架构设计：MLP不是越深越好

初始仿照教程搭建的4层MLP在验证集上表现糟糕，通过wandb记录的损失曲线显示明显的震荡现象：

Layer Configuration       | Train Loss | Valid Loss
--------------------------|------------|-----------
[256, 64, 32, 1]         | 0.25       | 0.31
[512, 128, 1]            | 0.19       | 0.21  
[256, 256, 1]            | 0.17       | 0.18

关键发现：

• 中间层维度不宜小于输入特征的1/3
• 输出层前使用LayerNorm比BatchNorm更稳定
• 残差连接在小规模数据集上效果有限

最终采用的网络结构：

class HousePriceMLP(nn.Module):
    def __init__(self, in_dim):
        super().__init__()
        self.embed = nn.Embedding(1000, 8)  # 处理类别特征
        self.fc1 = nn.Linear(in_dim+8, 256)
        self.fc2 = nn.Linear(256, 64)
        self.out = nn.Linear(64, 1)
        self.drop = nn.Dropout(0.3)
        
    def forward(self, x):
        cat_feats = self.embed(x[:,:5].long())
        x = torch.cat([x[:,5:], cat_feats.mean(1)], dim=1)
        x = F.relu(self.fc1(x))
        x = self.drop(x)
        x = F.relu(self.fc2(x))
        return self.out(x)

3. 训练过程监控：wandb的高级用法

单纯记录损失值远远不够，我建立了多维监控体系：

1. 梯度健康度检查

# 在训练循环中添加
for name, param in net.named_parameters():
    wandb.log({f"grad_norm/{name}": param.grad.norm()})

2. 学习率动态调整

scheduler = torch.optim.lr_scheduler.OneCycleLR(
    optimizer, 
    max_lr=0.01,
    steps_per_epoch=len(train_loader),
    epochs=num_epochs
)

3. 关键指标对比

wandb.define_metric("train/loss", summary="min")
wandb.define_metric("valid/loss", summary="min")

通过这种监控，发现当梯度范数超过1e5时必然出现梯度爆炸，最终采用梯度裁剪解决：

torch.nn.utils.clip_grad_norm_(net.parameters(), max_norm=1.0)

4. 提交优化：从0.18到0.15的关键技巧

在公开排行榜上从Top 45%提升到Top 12%，主要依靠以下策略：

• 数据增强 ：对数值特征添加5%的高斯噪声
• 模型融合 ：3个不同种子模型的加权平均
• 后处理 ：对预测结果进行Box-Cox变换

最终提交流程：

python train.py --seed 42 --lr 0.001
python train.py --seed 123 --lr 0.0008  
python train.py --seed 456 --lr 0.0012
python ensemble.py --weights 0.4,0.3,0.3

这个项目让我深刻体会到，在深度学习实践中，代码实现只是冰山一角，真正决定成败的往往是对细节的把握和对问题的系统性思考。下次尝试Transformer架构前，我会先确保已经吃透这些基础技术要点。