声明
本文章基于哔哩哔哩付费课程《小白也能听懂的人工智能原理》。仅供学习记录、分享，严禁他用！！如有侵权，请联系删除
目录
一、知识引入
（一）矩阵和向量
1、向量
2、矩阵
（二）Keras框架
1、Keras实现一个神经元
2、存在的问题
二、编程实验1--向量和矩阵构建神经元
（一）编写预测模型-向量版
（二）前向传播--向量版
（三）反向传播--向量版
（四）绘图
三、编程实验2--使用Keras实现学过的神经网络模型
（一）输入数据特征维度为1，仅使用激活函数激活，区间0,1表示有毒/无毒概率的数据集
1、使用Keras搭建神经网络
2、模型训练
3、模型预测
4、绘图
（二）加入隐藏层，使得函数富有多样的单调性
1、修改为2个神经元（隐藏层），并添加输出层神经元
2、调整学习率
3、绘图
（三）两个特征维度的输入数据，简单的线性可分情况
1、指定输入数据维度2，单神经元
2、绘制三维空间图形
（四）两个特征维度的输入数据，加入隐藏层，扭曲预测曲面和分割线
1、指定输入数据维度2，修改为2个神经元（隐藏层），并添加输出层神经元
2、绘制三维空间图形
一、知识引入
（一）矩阵和向量
1、向量
用三元一次函数（z = w1x1 + w2x2 + w3x3 + b）举例，用一个向量把函数的自变量放入其中、再把权重系数放入另一个向量中、偏置项系数b也放入一个向量中。
定义向量的转置（T）
定义向量间的乘法，点乘：对应元素相乘再相加
加上偏置向量b
对于一个1000元函数来说：
向量元素的数量，也叫做维度。
输入、权重参数、偏置项都看作是向量。
2、矩阵
如果输入数据送入的是一组函数进行运算，比如加入隐藏层神经元的神经网络。
每一个函数都有一个权重系数向量和偏置系数向量
将函数的权重系数向量放在一起、偏置向量也放在一起，形成矩阵
可以把矩阵看作是：由多个向量并在一起形成的“特殊向量”。矩阵的转置，也就可以看作是对其中每一个向量的转置
再让输入x点乘权重系数矩阵。分别让输入向量x点乘第一列计算出第一个结果，再让输入向量x点乘第二列计算出第二个结果，两个计算结果组成结果向量。
再加入偏置向量b
对于多个函数，仍然可以使用z = x * wt + b表示
（二）Keras框架
就像机器学习中的高级语言，实现了对机器学习神经网络底层复杂的数学运算的封装。可以轻松地通过它提供的各种上层接口搭建模型。
1、Keras实现一个神经元
# 导入keras
from keras.models import Sequential
# 创建模型
model = Sequential()
# 创建一个神经元，使用sigmoid激活函数
# units表示神经元数量，当前隐藏层神经元数量为2
model.add(Dense(units = 2, activation = 'sigmoid', input_dim = 1))
# 创建一个输出层神经元，使用sigmoid激活函数
model.add(Dense(units = 1, activation = 'sigmoid'))
# 告诉keras使用均方误差代价函数 和 随机梯度下降算法（sgd）
model.compile(loss = 'mean_squared_error',
optimizer = 'sgd',
metrics = ['accuracy'])
# 开始训练
model.fit(x_train, y_train, epochs = 5, batch_size = 32)2、存在的问题
-
Kears并不是独立存在的框架，需要通过调用诸如TensorFlow，CNTK 等独立框架实现
-
封装的过于好，并没有像更加底层的TensorFlow框架那样灵活
-
高度封装化，流失了对具体细节的控制
二、编程实验1--向量和矩阵构建神经元
（一）编写预测模型--向量版
# 编写预测模型
# 因为有2个树突，所以输入和神经元之间有2个权重参数
W = np.array([0.1, 0.1])
B = np.array([0.1])（二）前向传播--向量版
# 编写前向传播代码
# 参数X同时包含豆豆的两个特征维度数据
def forward_propagation(X):
# 向量运算
# ndarray的dot函数：点乘运算（相乘再相加）
# ndarray的T属性：转置运算
Z = X.dot(W.T) + B
# exp操作也有广播机制，让此运算发生在每个元素上，1除以它们，依旧是广播效果
# 最终结果仍旧是一个向量
# Z：[w1x11 + w2x12 + b]
# 结果A也是一个单元素的向量
A = 1 / (1 + np.exp(-Z))
return A（三）反向传播--向量版
for _ in range(5000):
for i in range(num):
# 一行两列，表示一个豆豆的大小和深浅的数据特征
Xi = X[i]
Yi = Y[i]
# 最终返回的A向量，也就一行一列
A = forward_propagation(Xi)
# A是一行一列，Y是一个数子，也就是一行一列
# 误差e结果仍然为一行一列
E = (Yi - A)**2
# 一行一列
dEdA = -2 * (Yi - A)
# 一行一列
dAdZ = A * (1 - A)
# 一行两列
dZdW = Xi
# 一行一列
dZdB = 1
# 链式求导
# 一行两列，恰好表示误差在这个两个权重系数上的导数
dEdW = dEdA * dAdZ * dZdW
dEdB = dEdA * dAdZ * dZdW
alpha = 0.01
W = W - alpha * dEdW
B = B - alpha * dEdB（四）绘图
plot_utils.show_scatter_surface(X, Y, forward_propgation)
三、编程实验2--使用Keras实现学过的神经网络模型
（一）输入数据特征维度为1，仅使用激活函数激活，区间0,1表示有毒/无毒概率的数据集
1、使用Keras搭建神经网络
-
units表示这一层有几个神经元
-
activation表示指定的激活函数类型
-
input_dim输入数据的特征维度，此处只有豆豆的大小这1个特征
-
loss均方误差代价函数，损失函数和代价函数一般都认为是同一种东西
-
optimizer优化器：用来优化 or 调整参数的算法，sgd：随机梯度下降算法
-
metrics：训练时希望得到的评估标准，accuracy准确度
# 使用Keras搭建神经网络模型
# 创建一个Sequential，将神经元堆叠在一起组成一个网络预测模型
model = Sequential()
# 创建全连接层
# 指定参数，units表示这一层有几个神经元；activation表示指定的激活函数类型
# input_dim输入数据的特征维度，此处只有豆豆的大小这1个特征
dense = Dense(units=1, activation='sigmoid', input_dim=1)
# 将全连接层Dense堆叠到序列上
model.add(dense)
# 配置模型
# 均方误差代价函数，损失函数和代价函数一般都认为是同一种东西
model.compile(loss='mean_squared_error',
# 优化器：用来优化 or 调整参数的算法，sgd：随机梯度下降算法
optimizer='sgd',
# metrics：训练时希望得到的评估标准，accuracy准确度
metrics=['accuracy'])2、模型训练
-
epochs训练的回合数，在全体样本完成一次训练称为一个回合
-
batch_size每一次训练使用的样本数量
# 开始训练
# epochs训练的回合数，在全体样本完成一次训练称为一个回合
# 每一次训练使用的样本数量batch_size
model.fit(X, Y, epochs=5000, batch_size=10)3、模型预测
# 对训练好的模型进行预测
pres = model.predict(X)4、绘图
# 同时绘制散点图和预测曲线
plot_utils.show_scatter_curve(X, Y, pres)
（二）加入隐藏层，使得函数富有多样的单调性
1、修改为2个神经元（隐藏层），并添加输出层神经元
# 指定参数，units表示这一层有几个神经元；activation表示指定的激活函数类型
# input_dim输入数据的特征维度，此处只有豆豆的大小这1个特征
dense = Dense(units=2, activation='sigmoid', input_dim=1)
# 输出层的神经元
dense2 = Dense(units=1, activation='sigmoid')
# 将全连接层Dense堆叠到序列上
model.add(dense)
model.add(dense2)2、调整学习率
model.compile(loss='mean_squared_error',
# SGD优化器默认学习率为0.01，我们使用创建对象的方式，设定其学习率为0.05
optimizer=SGD(lr=0.05),
# metrics：训练时希望得到的评估标准，accuracy准确度
metrics=['accuracy'])3、绘图
plot_utils.show_scatter_curve(X, Y, pres)
（三）两个特征维度的输入数据，简单的线性可分情况
1、指定输入数据维度2，单神经元
dense = Dense(units=1, activation='sigmoid', input_dim=2)
model.add(dense)2、绘制三维空间图形
plot_utils.show_scatter_surface(X, Y, model)
（四）两个特征维度的输入数据，加入隐藏层，扭曲预测曲面和分割线
1、指定输入数据维度2，修改为2个神经元（隐藏层），并添加输出层神经元
dense = Dense(units=2, activation='sigmoid', input_dim=2)
# 输出层的神经元
dense2 = Dense(units=1, activation='sigmoid')
# 将全连接层Dense堆叠到序列上
model.add(dense)
model.add(dense2)2、绘制三维空间图形
plot_utils.show_scatter_surface(X, Y, model)
