李宏毅深度学习课程学习报告（分类与逻辑回归）

目录

摘要
一、分类问题的基本认知
二、概率生成式模型学习理解
三、逻辑回归核心原理与建模流程
四、逻辑回归的优缺点与模型拓展
五、学习收获与总结

摘要

本次学习围绕李宏毅深度学习课程中的分类任务与逻辑回归算法展开，在掌握回归、误差分析与梯度下降等基础理论的前提下，系统学习了分类任务的基本概念、概率生成式模型原理以及逻辑回归的完整建模流程。本文区分了回归任务与分类任务的本质差异，阐述了生成式模型的优缺点，并重点分析了Sigmoid激活函数、交叉熵损失函数以及梯度下降优化在分类模型中的作用。同时总结了逻辑回归模型的适用场景、局限性及多分类拓展方式。通过本次学习，完善了监督学习的整体知识体系，为后续神经网络与深度学习模型的学习奠定了扎实的理论基础。

近期继续学习了李宏毅老师的深度学习课程，重点钻研了第四章分类（Classification）与第五章逻辑回归（Logistic Regression）相关内容。在前期回归、误差分析、梯度下降的基础上，我系统掌握了机器学习分类任务的核心逻辑、建模思路与经典算法，厘清了回归与分类的本质区别，理解了概率式分类模型的工作原理，对监督学习的两大核心任务形成了完整、系统的认知。

一、分类问题的基本认知

分类是监督学习中与回归并列的核心任务，也是深度学习处理识别、判断、筛选类任务的基础。不同于回归问题预测连续数值，分类问题的核心是根据输入数据，预测离散的类别，输出结果为有限、确定的分类标签。生活中随处可见分类任务，例如判断邮件是否为垃圾邮件、判断肿瘤良性或恶性、识别图片中的物体类别、根据属性判断宝可梦所属类型等。

课程中，李宏毅老师依旧以宝可梦属性分类为经典案例，直观讲解了分类模型的构建逻辑。模型通过学习宝可梦的各项特征数据，总结不同类别宝可梦的特征规律，最终实现对未知宝可梦类型的判定。

通过学习我明确了一个核心误区：分类问题绝对不能直接套用回归模型解决。若强行用回归处理二分类任务，模型会试图拟合连续数值，不仅没有概率意义，还会因异常数据导致模型偏移、分类边界不准，最终预测效果极差。

同时我掌握了分类任务的基础流程：依托带类别标签的训练数据，学习输入特征与输出类别之间的映射关系，搭建分类模型，通过不断优化参数，提升模型对未知数据的分类准确率，这也是所有分类算法的通用底层逻辑。

二、概率生成式模型学习理解

在逻辑回归之前，课程首先讲解了概率生成式模型，这是传统分类任务的经典实现方式，核心思想是通过概率推导完成分类预测。

该模型的核心逻辑是先算概率，再做判断：基于训练数据统计不同类别的先验概率，以及各类别下特征的分布概率，通过贝叶斯公式计算输入样本属于每一类别的后验概率，最终将样本划分至概率最大的类别。

课程中以二分类任务为例展开讲解，假设数据特征服从高斯分布，通过训练数据求解高斯分布的均值与方差，即可构建完整的概率模型，实现分类预测。我深刻认识到，生成式模型的核心是学习数据的整体分布规律，不仅可以完成分类，还能生成符合数据特征的新样本，这也是“生成式”的由来。

但同时也了解到该模型的局限性：模型假设数据服从固定分布，若真实数据分布与假设不符，分类效果会大幅下降，且多分类场景下计算复杂度较高，适用性有限，这也引出了更高效、更常用的逻辑回归模型。

三、逻辑回归核心原理与建模流程

逻辑回归是机器学习中最经典、最常用的二分类算法，也是后续神经网络、深度学习分类任务的基础。我纠正了以往的认知：逻辑回归名称带有“回归”，但本质是分类模型，专门用于处理二分类问题。

沿用课程统一的机器学习三步建模思路，我完整掌握了逻辑回归的整套流程：

1. 构建模型函数

逻辑回归在线性计算的基础上，引入Sigmoid激活函数

 

将线性计算结果映射到0-1之间，输出结果代表样本属于某一类别的概率。
公式核心为：

 

其中w为权重、b为偏置，Sigmoid函数实现了数值的概率化转换，完美适配分类任务的概率输出需求。

2. 定义损失函数

不同于线性回归使用均方误差（MSE），逻辑回归采用交叉熵损失函数。课程重点对比了两种损失函数的差异：若在逻辑回归中使用均方误差，会导致梯度极小、模型训练缓慢、难以收敛；而交叉熵损失能够精准衡量预测概率与真实标签的差距，梯度更新稳定高效，适配分类任务训练。

 

交叉熵损失的核心意义是：当预测概率与真实标签越接近，损失值越小，模型分类效果越优。

3. 梯度下降优化参数

逻辑回归同样依托梯度下降算法更新权重与偏置参数，通过不断求解损失函数的梯度，沿着梯度反向更新参数，逐步降低整体损失值。

值得注意的是，逻辑回归与线性回归的参数更新公式高度相似，实现了知识的衔接，让我清晰看到：深度学习算法是层层递进、逐步优化的体系，新算法大多是基础算法的迭代与适配升级。

四、逻辑回归的优缺点与模型拓展

通过课程学习，我系统总结了逻辑回归的核心特性，也理解了其适用场景与局限：

优点

模型结构简单、计算速度快、可解释性极强，能够直观通过权重参数判断各特征对分类结果的影响权重，训练过程稳定、不易过拟合，适合处理维度适中、场景简单的二分类任务。

缺点

本质是线性分类模型，无法处理非线性、复杂的数据关系，面对特征交互复杂、数据分布复杂的场景，拟合能力不足，分类精度有限。

同时课程提及，逻辑回归可通过多分类拓展，适配多类别分类任务，常用方式包括一对多、一对一分类，为后续多分类深度学习模型打下了基础。

五、学习收获与总结

通过本章学习，我彻底区分了回归与分类两大监督学习任务的本质差异：回归预测连续值、追求数值拟合精度；分类预测离散标签、追求概率判断准确性，构建了完整的监督学习知识框架。

同时我掌握了概率生成式模型、逻辑回归的核心原理、建模流程与优化方式，理解了Sigmoid激活函数、交叉熵损失函数的核心作用，明白了不同任务适配不同损失函数的底层原因，不再是机械记忆公式。

李宏毅老师依旧以通俗的类比、连贯的案例、循序渐进的推导方式，将抽象的概率、激活函数、损失函数知识通俗化，让我从底层理解了分类模型的训练逻辑，而非单纯记忆算法步骤。

本次所学的逻辑回归是深度学习的入门核心模型，单层逻辑回归模型也是最简单的神经网络。后续我将继续深入学习多层神经网络、反向传播算法，尝试用Python实现逻辑回归二分类模型，将理论知识落地为代码实践，夯实深度学习基础，逐步攻克更复杂的机器学习与深度学习算法。