Sigmoid 函数、逻辑回归与决策边界
Sigmoid 函数
Sigmoid函数是一种常用的数学函数，用于将任意实数映射到区间(0, 1)之间：
函数公式为：
σ ( z ) = 1 1 + e − z \sigma(z) = \frac 1 {1+e^{-z}} σ(z)=1+e−z1
函数图像为：
逻辑回归
逻辑回归（Logistic Regression）是一种广泛应用于分类问题的统计学习方法。与线性回归不同，逻辑回归的目标是预测一个二元变量的概率，例如正样本和负样本的概率，而不是一个连续值。该概率是由一个 线性函数 和一个 sigmoid函数 组成的：
逻辑回归 模型表示为：
f w ⃗ , b ( x ( i ) ) = g ( w ⃗ ⋅ x ⃗ ( i ) + b ) f_{\vec{w},b}(x^{(i)}) = g(\vec{w}·\vec{x}^{(i)}+b) fw,b(x(i))=g(w⋅x(i)+b)
其中 g ( z ) g(z) g(z) 是 sigmoid 函数，并将所有输入值映射到 0 到 1 之间：
g ( z ) = 1 1 + e − z g(z) = \frac 1 {1+e^{-z}} g(z)=1+e−z1
而 z z z 则是线性函数，用来建立输入变量和输出变量之间的关系：
z = w ⃗ ⋅ x ⃗ + b z = \vec{w}·\vec{x}+b z=w⋅x+b
逻辑回归的基本思想是通过将输入特征 x ⃗ \vec{x} x 和权重 w ⃗ \vec{w} w 进行线性组合，得到一个线性函数作为输入特征对输出结果的预测值进行建模，而这个线性函数的输出值通过sigmoid函数（也称为逻辑函数）进行转换，使得预测结果能够落在 0 到 1 之间。因此，在逻辑回归中包含一个线性函数的目的是用来建立输入特征和输出结果之间的线性关系。
决策边界
决策边界（Decision Boundary）是一个概念，指的是分类器或回归模型将数据集分成不同类别或预测输出的边界或分界线。在二分类问题中，决策边界通常表示为一个函数，其将样本空间划分为两个区域，分别对应于不同的类别。
上图中，由于已知存在线性函数：
f w ⃗ , b ( x ⃗ ) = g ( x 0 + x 1 + 3 ) f_{\vec{w},b}(\vec{x})=g(x_0+x_1+3) fw,b(x)=g(x0+x1+3)
而当：
w ⃗ ⋅ x ⃗ + b > = 0 , y ^ = 1 \vec{w}·\vec{x}+b >= 0, \hat{y}=1\\ w⋅x+b>=0,y^=1 w ⃗ ⋅ x ⃗ + b < 0 , y ^ = 0 \vec{w}·\vec{x}+b < 0, \hat{y}=0 w⋅x+b<0,y^=0
即由：
x 0 + x 1 + 3 = 0 x_0+x_1+3=0 x0+x1+3=0
求得决策边界为：
x 1 = 3 − x 0 x_1=3-x_0 x1=3−x0
正如上图所示；
此外，需要注意的是，决策边界并非必须是线性的，根据线性函数，我们可知决策边界存在非线性的；