基本原理：二分类任务，将线性回归预测产生的实值与0/1值联系，z = w^Tx+b，y = \frac{1}{1+e^{-z}}。

如何估计w和b: 极大似然法，l(w,b) = \sum_{i=1}^{m}{lnp(y_{i}|x_{i};w,b)} ,在给定w,b和 xi 的情况下，最大化l(w,b)。

p(y_{i}|x_{i};w,b)指的是，对于每一个x_i，y_i = 1,即为 p(y=1|x_{i};w,b)，y_{i} =0时，即为p(y=0|x_{i};w,b)。

将两者合并，得到 p(y_{i}|x_{i};w,b)= p^y(1-p)^{1-y}，其中，p=p(y=1|x_{i};w,b)，y为样本的真实值，只需要能够算出每个 xi 下，p的值，就可以得到l(w,b)。

由于原始公式中，y = \frac{1}{1+e^{-z}} = \frac{1}{1+e^-({w^Tx+b})}，上下同乘 e^{w^Tx+b}，可以得到 y = p(1|w,x,b)=\frac{e^{w^Tx+b}}{1+e^{w^Tx+b}}。

代入到l(w,b)中，等价于最小化：

l(\beta) = \sum_{i=1}^{m}({-y_{i}}\beta^T\tilde{x_{i}}+ln(1+e^{\beta^T\tilde{x_{i}}}))

其中，\beta = (w;b)，\tilde{x}=(x;1)

梯度下降法、牛顿法，都可以得到最优解。

几率： \frac{y}{1-y} 的值，其中，y为样本是正例的可能性，1-y为样本为负例的可能性，若在几率前面加对数取对数值，则为对数几率。

# 机器学习 # 回归 # 人工智能
Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

3分钟掌握Codex技能安装：一键部署你的AI助手工具库

想要为你的Codex AI助手安装新技能？不用再手动复制文件了！skill-installer为你提供了一套完整的解决方案，让你能够从GitHub仓库快速获取和安装各种实用的Codex技能。无论你是AI开发新手还是经验丰富的开发者，这个工具都能让你在几分钟内扩展Codex的功能边界。## 为什么选择skill-installer？ 🤔在AI辅助编程的时代，Codex技能已经成为提升开发效

avatar AI编程社区

DB-GPT分布式AI数据引擎：企业级智能分析平台架构解析

DB-GPT作为新一代AI数据助手，通过分布式架构和智能代理引擎重构了传统数据分析范式。该平台将大型语言模型的自然语言理解能力与企业级数据处理需求深度融合，构建了面向生产环境的可扩展AI数据平台。其核心价值在于将复杂的SQL生成、数据分析和可视化任务转化为简单的自然语言交互，同时确保系统安全性、可追溯性和企业级可靠性。## 技术定位与生态分析在当前数据智能生态中，DB-GPT填补了传统BI

avatar AI编程社区

如何用Awesome Claude Skills将AI助手打造成你的全能创作伙伴和职业顾问

你是否曾想过，如果有一个AI伙伴能帮你完成从专业文章撰写到完美简历定制的所有工作，工作效率会提升多少倍？Awesome Claude Skills正是这样一个神奇的AI技能宝库，它汇集了1000+个精心筛选的Claude技能，覆盖内容创作、职业发展、文档处理等各个方面，让你在AI的帮助下轻松应对各种工作挑战。## 痛点分析：传统工作流程的三大瓶颈在内容创作和职业发展中，我们常常面临这样的困

avatar AI编程社区