逻辑回归介绍

1. 逻辑回归的应用场景

逻辑回归（Logistic Regression）是机器学习中的 一种分类模型 ，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛

• 广告点击率
• 是否为垃圾邮件
• 是否患病
• 信用卡账单是否会违约
  逻辑回归就是解决二分类问题的利器

2. 逻辑回归的原理

要想掌握逻辑回归，必须掌握两点：

• 逻辑回归中，其输入值是什么

• 如何判断逻辑回归的输出

2.1 输入

逻辑回归的输入就是一个线性方程

$$h(w)=w_1{x}_1+w_2{x}_2+w_3{x}_3+,\cdots ,+b$$

2.2 激活函数

sigmoid

Sigmod函数，也称之为逻辑斯特函数

假设一事件发生的概率为P，则不发生的概率为1-P，我们把发生概率/不发生概率称之为发生的概率比，数学公式表示为：

更进一步我们定义logit函数，它是概率比的对数函数（log-odds）

Logit函数的输入值范围介于[0,1]之间，它能将输入转换到整个实数范围内。

对logit函数求反函数，我们将logit的反函数叫做logistic函数：

即sigmoid函数

$$g(w^T,x)=\frac{1}{1+e^{-h(w)}}=\frac{1}{1+e^{-w^{T}x}}$$
绘制[-7，7]的sigmod函数图像

import matplotlib.pyplot as plt
import numpy as np
def sigmod(z):
    return 1.0/(1.0+np.exp(-z))
z=np.arange(-7,7,0.1)
phi_z=sigmod(z)
plt.plot(z,phi_z)
plt.axvline(0.0,color='k')
plt.axhspan(0.0,1.0,facecolor=