感知机( perceptron )是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 和-1二值。感知机对应输入空间(特征空间)中将实例划分为正负两类的分离超平面，是一种判别模型。感知机是神经网络与支持向量机的基础。

感知机学习旨在求出将训练数据进行线性划分的分离超平面。

感知机学习思路：

1.导入基于误分类的损失函数

2.利用梯度下降法对损失函数进行极小化

3.代入参数得到感知机模型。

感知机学习算法分类：

原始形式、对偶形式。

算法的收敛性

算法原始形式收敛：意味着经过有限次迭代可得到一个将训练数据集完全正确划分的分离超平面

为便于推导，记,扩充输入向量，记,则有,，

（Novikoff）定理 设训练集线性可分，其中,，则：

（1）存在满足的超平面将训练数据集完全正确分开，且存在,对所有,

（2）令,则感知机学习算法在训练数据集上的误分类次数k满足不等式

定理表明，当训练数据集线性可分时，经过有限次搜索可以找到将训练数据集完全正确分开的超平面，即算法的原始形式收敛。

上篇：【感知机】感知机(perceptron)学习算法的对偶形式