Abstract
In the second week of learning, I mainly studied the core theories and mathematical derivation of basic machine learning algorithms. The key learning contents include linear regression modeling, gradient descent optimization, bias-variance trade-off, regularization and cross-validation techniques. On the basis of sorting out the standard machine learning modeling process, I completed the mathematical derivation of loss functions, parameter update rules and generalization error decomposition. This study helped me clarify the essential logic of algorithm optimization and model generalization, and initially built a complete knowledge system covering mathematical principles and practical application of basic machine learning algorithms.

中文摘要
本周我重点学习了机器学习基础算法的核心理论与数学推导知识，系统梳理了线性回归建模方法、梯度下降优化原理、偏差与方差权衡规则，以及正则化、交叉验证两类核心优化技术。我梳理清楚了机器学习标准化建模的完整流程，独立完成了损失函数、参数迭代规则、泛化误差分解的相关数学推导，理解了算法优化和模型泛化的底层逻辑。通过本周学习，我打通了理论原理与实际建模的关联，搭建起扎实的机器学习基础知识框架，帮助我扎实掌握机器学习入门核心内容，理清基础算法的应用逻辑。

1 学习目标
本次学习围绕机器学习基础建模与模型优化展开，核心目标主要分为五点：
1. 理解并掌握线性回归的建模思路与完整实现流程，吃透监督学习中回归任务的整体框架与核心逻辑。
2. 完成梯度下降算法的完整数学推导，熟练掌握基础梯度下降算法，以及自适应优化算法的参数更新规则，理解不同优化策略的核心原理。
3. 掌握泛化误差的偏差-方差分解理论，能够精准识别欠拟合、过拟合现象，理解两类问题的产生原因与核心特征。
4. 熟悉正则化约束、交叉验证方法的数学形式与落地逻辑，学会运用两类方法优化模型，提升模型泛化能力。
5. 整合理论公式、底层原理与实践应用，夯实机器学习的数学基础，养成规范的算法学习与模型优化思维，切实补齐机器学习的数学与算法基础，夯实自身的算法理解与建模能力。

2 学习日志
2.1 线性回归数学建模与损失函数 
线性回归是监督学习中处理连续值预测任务的基础模型，也是入门机器学习、理解标准化建模范式的核心案例。该模型的核心作用是挖掘输入特征与输出标签之间的关联，构建最优的线性映射关系，以此实现对连续数据的预测。
我在学习中总结出，机器学习建模基本遵循固定流程：定义模型函数、设置损失度量方式、迭代求解最优参数，线性回归建模也完全契合这一逻辑。在模型定义阶段，我们依托样本特征与可学习参数构建线性结构，可适配多维特征的回归预测任务，标准的线性回归模型公式为：

公式中，x代表输入的特征向量，w为权重参数，b为偏置参数，y^ 是模型最终的预测结果。权重与偏置参数是模型训练的核心，后续迭代优化的本质就是不断调整这两组参数。
为了量化模型预测效果，我们引入损失函数作为评价标准，本次学习选用均方误差（MSE），通过计算预测值与真实标签的差值平方均值，直观反映模型的预测误差，将抽象的模型优劣判断转化为可量化的优化问题，具体公式如下：

其中N为样本总数量，yi 是样本真实标签，y^i 是模型对应样本的预测值。模型训练的核心目标，就是不断最小化该损失函数，公式为：

通过持续迭代更新参数，降低整体预测误差，最终得到拟合效果最优的线性回归模型。

2.2 梯度下降算法原理与进阶优化策略
梯度下降是机器学习中最核心的参数迭代优化算法，绝大多数模型的参数训练都依托该算法实现。其核心原理依托微积分中梯度的数学特性，沿着损失函数负梯度方向更新参数，能够稳步降低损失值，逐步逼近最优参数解。基础的参数迭代更新公式为：

式中η 为学习率，∇ 是梯度算子，代表损失函数对权重、偏置参数的偏导数，决定了参数更新的方向和幅度。
我在学习中发现，学习率是梯度下降算法的关键超参数，对训练效果影响极大。如果学习率设置过小，参数更新进度会非常缓慢，模型需要极多迭代次数才能收敛；反之，学习率过大会导致参数更新步长过大，损失函数反复震荡波动，严重时会直接导致模型无法收敛、训练失效。
针对固定学习率的局限性，我进一步学习了多种进阶优化方案。随机梯度下降算法摒弃了传统全量样本计算梯度的方式，改用单样本迭代更新参数，大幅减少了大规模数据集的计算量，有效提升模型训练效率。而自适应学习率算法（Adagrad）则可以累积历史梯度平方值，为不同参数动态调整更新步长，适配多参数的差异化优化需求，解决了固定学习率适配性差的问题，核心更新公式为：

除此之外，我还掌握了特征缩放的预处理方法。由于不同特征的量纲、数值范围差异较大，会干扰梯度更新的稳定性，通过统一特征尺度，能够有效提升算法收敛的效率和稳定性。同时，结合泰勒一阶展开公式，我推导证明了负梯度方向是局部最优下降方向，也明确了梯度下降的局限性，在高原区域、鞍点、局部最优解等场景下，算法容易出现梯度停滞、收敛失效的问题。

2.3 泛化误差的偏差-方差权衡理论
模型的泛化能力代表模型对未知新数据的预测效果，是衡量模型性能的核心标准。通过本周学习，我了解到泛化误差可以拆解为偏差、方差和固有噪声三部分，这一分解理论也是我们排查模型拟合问题、优化模型性能的核心依据，具体公式如下：

其中，偏差、方差、噪声共同构成了模型的整体误差，直接决定了模型泛化性能的上限，且固有噪声是数据本身自带的误差，无法通过模型优化消除。
偏差主要体现模型本身的拟合能力，反映模型平均预测结果和数据真实规律的偏离程度。偏差过高，说明模型结构简单、拟合能力不足，无法充分学习训练数据的潜在规律，最终出现欠拟合问题，在训练集和测试集上的表现都较差。
方差则代表模型训练的稳定性，体现模型在不同数据集上预测结果的波动大小。方差过高意味着模型复杂度过高，过度学习了训练数据中的随机噪声，甚至把噪声当作有效规律学习，最终造成过拟合。这类模型在训练集上精度很高，但在未知测试数据上表现极差，泛化能力严重不足。
在学习中我深刻理解了偏差与方差的权衡关系：模型复杂度的变化会直接影响二者数值，复杂度提升会降低偏差、升高方差；复杂度降低则会稳定方差、增大偏差。因此，机器学习模型优化的核心，本质就是调节模型复杂度，找到偏差与方差的平衡点，最大限度降低整体泛化误差。

2.4 模型泛化优化与科学选择方法
过拟合是模型训练中最常见的问题，为解决这一问题、提升模型泛化能力，我系统学习了多种优化方法。除了扩充训练数据集、适当降低模型复杂度等基础手段外，重点掌握了正则化优化技术。
正则化的核心逻辑是在原始损失函数中加入参数惩罚项，约束模型参数的取值范围，避免参数过度拟合训练数据的噪声，从而降低模型方差、缓解过拟合。本次重点学习L2正则化，优化后的损失函数公式为：

公式中λ 为正则化系数，用于调控惩罚力度，∥w∥22 是权重参数的L2范数平方，通过惩罚权重参数，实现对模型复杂度的约束。
在模型评估与选择方面，我纠正了以往的认知误区：直接用测试集筛选最优模型会造成数据泄露，导致评估结果失真，无法真实反映模型泛化能力。针对该问题，交叉验证是科学有效的解决方案。通过将数据集划分为多组训练子集和验证集，循环完成训练与评估，能够有效规避数据泄露问题，客观评判模型性能，为参数调优、模型筛选提供可靠依据。
同时，我梳理出标准化的误差诊断流程，通过对比模型在训练集和测试集的误差差异，能够快速判断模型存在欠拟合、过拟合问题，并匹配对应的优化解决方案，形成了完整的问题排查与优化思路。

3 学习成果
经过本周的系统学习，我完整掌握了机器学习基础建模与泛化优化的核心知识，收获颇丰，具体总结如下：
1. 熟练掌握线性回归的完整建模流程，吃透了“定义模型、构建损失函数、迭代优化参数”的机器学习通用范式，真正理解了监督学习回归任务的底层逻辑和实现原理，不再局限于表层公式记忆。
2. 完整推导并理解了梯度下降算法的数学原理，能够清晰区分基础梯度下降、随机梯度下降、Adagrad自适应算法的差异与适用场景。同时掌握了学习率调优、特征缩放等实用技巧，具备了基础的模型训练调优能力。
3. 熟练运用偏差-方差权衡理论分析模型问题，能够精准辨别欠拟合、过拟合的表现与成因，可根据数据集的误差表现，自主诊断模型缺陷并制定针对性优化方案。
4. 深度理解正则化、交叉验证的作用机制与应用场景，规避了模型评估、模型选择中的常见误区，能够独立完成模型泛化性能的优化，解决训练中的过拟合等核心问题。
5. 成功搭建起“数学原理-算法逻辑-实践应用”一体化的知识体系，将零散的算法知识点串联贯通，熟练掌握基础模型的分析、调优与优化方法，能够独立完成简单机器学习任务的建模与问题优化。