分类问题
分类问题监督学习最主要的类型,主要特征是标签离散,逻辑回归是解决分类问题的常见算法,输入变量可以是离散的也可以是连续的
二分类
先从用蓝色圆形数据定义为类型1,其余数据为类型2;只需要分类1次,步骤:①->②
多分类问题
先定义其中一类为类型1(正类),其余数据为负类(rest);接下来去掉类型1数据,剩余部分再次进行二分类,分成类型2和负类;如果有𝑛类,那就需要分类𝑛-1次,步骤:①->②->③->……
Sigmoid函数
Sigmoid函数是二分类问题最常见的激活函数
线性回归的函数 ℎ(𝑥) = 𝑧 = 𝑤T𝑥,范围是(−∞, +∞)。
而分类预测结果需要得到[0,1]的概率值。
在二分类模型中,事件的几率odds:事件发生与事件不发生的概率之比为 𝑝/(1−𝑝)
称为事件的发生比(the odds of experiencing an event)
其中𝑝为随机事件发生的概率,𝑝的范围为[0,1]。
逻辑回归求解
为了衡量算法在全部训练样本上的表现如何,需要定义一个算法的代价函数,算法的代价函数是对𝑚个样本的损失函数求和然后除以𝑚:
通常用L2正则化
逻辑回归的代码实现