【第2讲】1-机器学习任务攻略_哔哩哔哩_bilibili

第一步：函数

第二步：定义训练数据的loss

第三步：参数最优化

模型弹性vs最优化问题

左边是训练数据的表现，右边是测试数据的表现。层数越多反而表现不好，理想状态下，层数越多应该表现越好，损失越低

屠龙秘籍，mismatch是训练样本和真实样本的分布不一样

解决过拟合问题：

（1）Data augmentation

（2）限制模型的弹性

（3）更小的参数，共享参数

（4）更少的特征，更早的停止

（5）正则化，dropout

一个模型很复杂？一个模型有弹性？

选择一个刚刚好的模型，在train和test表现都好

推荐看valid的损失，不是看public的损失

将验证集分为n个，这里是将训练集分为三份，两份是训练集，一份是验证集，重复三次，并用三个模型各跑三次，算出平均值，比较哪个模型更好。