模式识别实验三

实验三

一实验名称

感知器设计

二目的和意义

使用感知器完成线性分类任务

三操作步骤或算法结构

数据预处理。载入数据文件（ iris.csv 文件）中的数据，并将其分成样本向量矩阵X和样本分类结果向量 $\bf G$ 。
给 $4$ 列向量的 $X$ 在最前增加一列常数 $1$ ，得到增广向量 $y$ 。定义增广权向量 $α$ ，取各项初值为 $1$ 。
根据错分惩罚的感知器准则函数原理设计感知器（公式 $8.1$ 到 $8.4$ ，及教材 150 页算法 8-1 ），将包含三类的样本 $X$ 分别训练。取出每一类的 $80\%$ 作为训练样本，剩余 $20\%$ 作为对比样本。第一次训练，将第一类训练样本保持不变，第二第三类取负值，分类判断出第一类样本。第二次训练，将剩余样本的第二类保持不变，第三类取负值，试训练第二类样本。观察两次训练的结果是否收敛。
- 公式 $8.1$
  $f(\textbf x) = \textbf {sign} (\omega^T\textbf x+b) = \begin{cases}+1 \ \ \omega^Tx +b \geq 0 \\-1\ \ others\end{cases}$
- 公式 $8.2$
  $\textbf {sign}(\textbf x) =\begin{cases}+1\ \ \textbf x \geq 0 \\-1\ \ \textbf x < 0\ \end{cases}$
- 公式 $8.3$
  $-\frac{1}{||\omega||}\sum\limits_{x_i \in M}y_i(\omega^T\textbf x_i+b)$
- 公式 $8.4$
  $\frac{\partial L_i(\omega,b)}{\partial \omega} = -y_i\textbf x_i\\\frac{\partial L_i(\omega,b)}{\partial b} = -y_i$
调整上述步骤中的步长、训练样本分类方式和迭代次数参数，重复实验，观察结果。试推测感知器训练不收敛的可能原因。

四结构程序设计

读取数据

import pandas as pd

iris = pd.read_csv('iris.csv')

训练模型

import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt

iris = load_iris()
df = pd.DataFrame(iris.data, columns=['sepal length', 'sepal width', 'petal length', 'petal width'])
df['label'] = iris.target

data = np.array(df.iloc[:100, [0, 1, -1]])
X, y = data[:, :-1], data[:, -1]
y = np.array([1 if i == 1 else -1 for i in y])

# 感知机模型
class Model:
    def __init__(self):
        self.w = np.ones(len(data[0]) - 1, dtype=np.float64)
        self.b = 0
        self.rate = 0.1

    def sign(self, x, w, b):
        y = np.dot(x, w) + b
        return y

    def fit(self, X_train, y_train):
        fault = False
        while not fault:
            wrong_count = 0
            for d in range(len(X_train)):
                x = X_train[d]
                y = y_train[d]
                if y * self.sign(x, self.w, self.b) <= 0:
                    self.w = self.w + self.rate * np.dot(y, x)
                    self.b = self.b + self.rate * y
                    wrong_count += 1
            if wrong_count == 0:
                fault = True
        return "success"

perceptron = Model()
perceptron.fit(X, y)

x = np.linspace(3, 6, 10)
y = -(perceptron.w[0] * x + perceptron.b) / perceptron.w[1]
plt.plot(x, y)

plt.plot(data[:50, 0], data[:50, 1], 'bo', color="blue", label="0")
plt.plot(data[50:100, 0], data[50:100, 1], 'bo', color="red", label="1")
plt.legend()
plt.show()