机器学习

线性回归

预测值与误差： y(i)=θTx(i)+ε(i)（1）y^{(i)}=\theta ^{T} x^{(i)}+\varepsilon ^{(i)} \quad （1）y(i)=θTx(i)+ε(i)（1）
由于误差服从高斯分布：ρ(ε(i))=12πσexp(−(ε(i))22σ2)（2）\rho (\varepsilon ^{(i)})=\frac{1}{\sqrt{2\pi} \sigma } exp(-\frac{(\varepsilon ^{(i)})^2}{2\sigma ^2} )\quad（2）ρ(ε(i))=2π ​σ1​exp(−2σ2(ε(i))2​)（2）

将（1）带入（2）,可得：

ρ(ε(i))=12πσexp(−(y(i)−θTx(i))22σ2)\rho (\varepsilon ^{(i)})=\frac{1}{\sqrt{2\pi} \sigma } exp(-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^2}{2\sigma ^2} )ρ(ε(i))=2π ​σ1​exp(−2σ2(y(i)−θTx(i))2​)

似然函数： L(θ)=∏i=1mp(y(i)∣x(i);θ)=∏i=1m12πσexp(−(y(i)−θTx(i))22σ2)L(\theta) = \prod_{i=1}^{m} p(y^{(i)}|x^{(i)};\theta ) = \prod_{i=1}^{m}\frac{1}{\sqrt{2\pi } \sigma }exp(-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^2}{2\sigma^2 } ) L(θ)=i=1∏m​p(y(i)∣x(i);θ)=i=1∏m​2π ​σ1​exp(−2σ2(y(i)−θTx(i))2​)

解释：什么样的参数和数据组合恰好就是真实值 以此来解释似然函数

对数似然：将两边Log一下，转化为加法：
log⁡L(θ)=∏i=1mp(y(i)∣x(i);θ)=log⁡∏i=1m12πσexp(−(y(i)−θTx(i))22σ2)\log L(\theta) = \prod_{i=1}^{m} p(y^{(i)}|x^{(i)};\theta ) = \log \prod_{i=1}^{m}\frac{1}{\sqrt{2\pi } \sigma }exp(-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^2}{2\sigma^2 } )logL(θ)=i=1∏m​p(y(i)∣x(i);θ)=logi=1∏m​2π ​σ1​exp(−2σ2(y(i)−θTx(i))2​)

展开式:log⁡∏i=1m12πσexp(−(y(i)−θTx(i))22σ2)=mlog⁡12πσ−1σ2.12∑i=1m(y(i)−θTx(i))2\log \prod_{i=1}^{m}\frac{1}{\sqrt{2\pi } \sigma }exp(-\frac{(y^{(i)}-\theta ^{T}x^{(i)})^2}{2\sigma^2 } ) = m\log \frac{1}{\sqrt[]{2\pi }\sigma } -\frac{1}{\sigma ^2 } .\frac{1}{2} \sum_{i=1}^{m} (y^{(i)}-\theta ^{T}x^{(i)})^2logi=1∏m​2π ​σ1​exp(−2σ2(y(i)−θTx(i))2​)=mlog2π ​σ1​−σ21​.21​i=1∑m​(y(i)−θTx(i))2

故:极大似然：保证似然函数越大越好，在上述推导中，除去常数项方程为：
−12∑i=1m(y(i)−θTx(i))2-\frac{1}{2} \sum_{i=1}^{m} (y^{(i)}-\theta ^{T}x^{(i)})^2−21​i=1∑m​(y(i)−θTx(i))2

所以保证：J(θ)=12∑i=1m(y(i)−θTx(i))2J(\theta ) = \frac{1}{2} \sum_{i=1}^{m} (y^{(i)}-\theta ^{T}x^{(i)})^2J(θ)=21​i=1∑m​(y(i)−θTx(i))2最小即可

J(θ)=12∑i=1m(y(i)−θTx(i))2=12(Xθ−y)T(Xθ−y)J(\theta ) = \frac{1}{2} \sum_{i=1}^{m} (y^{(i)}-\theta ^{T}x^{(i)})^2 = \frac{1}{2}(X\theta -y)^{T}(X\theta -y)J(θ)=21​i=1∑m​(y(i)−θTx(i))2=21​(Xθ−y)T(Xθ−y)

∇θJ(θ)=∇θ(12(Xθ−y)T(Xθ−y))=∇θ(12(θTXT−yT)(Xθ−y))\nabla _ \theta J(\theta ) = \nabla _\theta (\frac{1}{2}(X\theta -y)^{T}(X\theta -y) )=\nabla _\theta (\frac{1}{2}(\theta ^{T}X^{T}-y^{T})(X\theta -y) )∇θ​J(θ)=∇θ​(21​(Xθ−y)T(Xθ−y))=∇θ​(21​(θTXT−yT)(Xθ−y))

=∇θ(12(θTXTXθ−θTXTy−yTXθ+yTy)) = \nabla _\theta (\frac{1}{2}(\theta^{T}X^{T}X\theta -\theta ^{T}X^{T}y-y^{T}X\theta +y^{T}y ) ) =∇θ​(21​(θTXTXθ−θTXTy−yTXθ+yTy))

=12(2XTXθ−XTy−(yTX)T)=XTXθ−XTy=\frac{1}{2} (2X^{T}X\theta -X^{T}y-(y^{T}X)^{T})=X^{T}X\theta -X^{T}y=21​(2XTXθ−XTy−(yTX)T)=XTXθ−XTy

当偏导等于0：θ=(XTX)−1XTy\theta = (X^{T}X)^{-1}X^{T}yθ=(XTX)−1XTy
# python # 机器学习
Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

2026 AI 元年｜智能体来了：Agent Native 正在取代 Copilot，定义下一代 AI 公司

如果说 2023–2025 是 “Copilot 的三年”，那么 2026 则是 “智能体（Agent）的元年”。本篇文章从技术栈演化、架构迁移、组织逻辑、团队能力模型与未来就业结构五个维度，解析 Agent Native 公司为何具备技术决定性的优势，并解释为何 Copilot 式的“工具层 AI”正在逐渐式微。Copilot 一直很强，它改变了工程师写代码的方式、改变了运营人写文案的速度、改变

avatar AI编程社区

提升编码效率的终极利器：Claude Code

**摘要：**Claude Code是一款智能终端编程助手，通过自然语言交互帮助开发者提升编码效率。它能理解代码库上下文，执行日常任务、解释复杂代码并管理Git工作流。支持多平台安装（MacOS/Linux/Windows/NPM），提供插件扩展功能和完善的社区支持。具备数据隐私保护措施，适用于快速原型开发、代码理解等场景。相比GitHub Copilot等同类工具，Claude Code更强调自

avatar AI编程社区

【AI】AI 编程中的浏览器缓存陷阱：一次真实的踩坑经历

AI编程中常见的浏览器缓存陷阱：开发者在修改前端JS代码后，发现行为未改变。排查发现代码确实已修改（通过grep验证），但浏览器仍执行旧代码。问题根源在于浏览器缓存机制，AI助手无法感知运行时状态。解决方案包括：强制刷新(Ctrl+Shift+R)、开发时禁用缓存、文件名加hash等。关键经验：当AI修改代码后问题未解决，首先考虑缓存问题而非AI错误。文章通过真实案例展示了从代码修改到发现缓存问题

avatar AI编程社区