Logistic回归

含义

逻辑回归（Logistic Regression）是一种广义线性回归分析模型，虽然被称为回归，但其实际上是分类模型，并常用于二分类,预测事件发生的概率（0到1之间）

过程

1. 线性预测：第一步

首先，逻辑回归像普通的线性回归一样，给每个输入特征分配权重，算出一个综合得分 $z$。

假设你要判断一个学生是否能通过考试，输入特征有 $x_1$（学习时长）和 $x_2$（出勤率）：

$$z=w_1{x}_1+w_2{x}_2+b$$

这个 $z$ 的范围是负无穷到正无穷。但我们需要的是一个“是或否”的结论。

2. 映射到概率：Sigmoid 函数

为了把那个乱跑的 $z$ 变成概率，逻辑回归请出了 [Sigmoid函数](激活函数 | 下午好)（也叫 Logistic 函数）：

$$\sigma (z)=\frac{1}{1+e^{-z}}$$

• 它的神奇之处：无论 $z$ 是多大的正数，输出都接近 1；无论 $z$ 是多小的负数，输出都接近 0；当 $z=0$ 时，输出正好是 0.5。

• 结果：输出的这个数值，就是概率。

3. 决策边界：画一条线

拿到概率后，我们设定一个阈值（通常是 0.5）：

• 如果 $P\ge 0.5$，判定为“是”（类别 1）。

• 如果 $P<0.5$，判定为“否”（类别 0）。

在几何上，这相当于在你的数据空间里画了一条直线。

4. 训练原理：它是怎么“学习”的？

这是逻辑回归和普通回归最不一样的地方。它不使用最小二乘法，而是使用 极大似然估计（Maximum Likelihood Estimation, MLE）。

• 大白话解释：它会不断调整权重 $w$，目标是：让已经发生的那些“是”的样本，算出来的概率尽可能接近 1；让那些“否”的样本，概率尽可能接近 0。

• 损失函数（Log Loss / Cross-Entropy）：这是它的“惩罚机制”。如果一个样本明明是 1，模型却预测概率为 0.1，那么损失值就会变得非常巨大，逼迫模型改过自新。

总结：它的运作流程

1. 输入数据（比如用户的课程完成度、互动次数）。

2. 加权求和（算出 $z$ 分数）。

3. 激活转换（通过 Sigmoid 变成 0 到 1 之间的概率值）。

4. 分类输出（根据阈值决定是“优”还是“劣”）。

利用（$(g(z)=\frac{1}{1+e^{-z}}$)）将线性回归的输出 z（可以是 $-\mathrm{\infty }$ 到 $+\mathrm{\infty }$）转换为概率值 P ( 0 到 1 ) 。