NLP中的神经网络基础

一：多层感知器模型

1：感知器

解释一下，为什么写成 wx+b>0 ，其实原本是 wx > t ,t就是阈值，超过这个阈值fx就为1，现在把t放在左边。

在感知器里面涉及到两个问题：

第一个，特征提取：就是如何将问题的原始输入转换成输入向量x（其实就是数值如何表示文本）

第二个，参数学习（参数优化或者模型训练）：就是如何设置合理的w权重和b偏差项

感知器主要处理文本分类问题，比如识别一个句子的褒贬性。

2：线性回归

感知器输出的结果是离散的，除了感知器这类分类模型还有一类是回归模型（Regression），他的输出是连续的实数值。线性回归是最简单的回归模型。y = wx + b

3：Logical回归

线性回归的输出值大小是任意的，激活函数就是为了将其限制在一定的范围内。

Logical函数形式为：

$y = L/ 1 + e^{-k(Z-Z_{o})}$ 其中，k控制了函数的陡峭程度。

如果 $z = w_{1}x_{1} + w_{2}x_{2} + ...$ ，此时的模型叫做Logical回归模型。虽然叫做回归模型但是常用作分类问题。

原因：当L=1、k=1，z0 = 0 ，此时函数形式就是sigmoid函数

它的值域恰好在0-1，所以经过sigmoid函数归一化以后就可以认为是输入属于某一类别的概率值，除了可以输出概率值还有一个优点就是它的导数比较容易求得，有利于使用基于梯度的参数优化算法。sigmoid函数图像如下图：

4：Softmax回归

如果不只有2个类别，处理多元分类任务可以用Softmax回归操作。

Softmax回归就是对第i个类别使用线性回归打一个分数 $z_{i} = w_{i1}x_{1} + w_{i2}x_{2} + ... + w_{in}x_{n} + b_{i}$ 。其中， $w_{ij}$ 表示第i个类别对应的第i个输入的权重。然后再对多个分数使用指数函数进行归一化计算，并获得一个输入属于某个类别的概率。

5：多层感知器（MLP）

以上介绍的都是线性模型，真实情况很多时候无法通过一条直线、平面、或者超平面来分割不同的类别，例如：异或问题（相同为0，不同为1）

多层感知器就是堆叠多层线性分类器，并在中间（隐含层）增加非线性激活函数。

ReLU：

6：模型实现

（1）：神经网络层和激活函数

线性层：输入为（batch，inputdim）输出为（batch，outputdim）

# 线性层
import torch
from torch import nn
linear = nn.Linear(32, 2)   # 第一个参数就是输入，第二个是输出
inputs = torch.rand(3, 32)  # 创建一个输入为3， 23 维度的随机张量  可以理解为3是batch
outputs = linear(inputs)
print("Linear:")
print(outputs)

batch就是一个批次，即为一次处理的张量数量。

这里grad_fn是张量（tensor）的一个属性，它记录了创建该张量的函数操作。

激活函数在torch.nn.functional中

# 线性层
import torch
from torch import nn
linear = nn.Linear(32, 2)   # 第一个参数就是输入，第二个是输出
inputs = torch.rand(3, 32)  # 创建一个输入为3， 23 维度的随机张量  可以将3理解为batch
outputs = linear(inputs)
print("Linear:")
print(outputs)
print("*****"*20)


from torch.nn import functional as F
activation_sigmoid = F.sigmoid(outputs)
print("activation_sigmoid:")
print(activation_sigmoid)
print("*****"*20)

activation_softmax = F.softmax(outputs)
print("activation_softmax:")
print(activation_softmax)
print("*****"*20)

activation_relu = F.relu(outputs)
print("activation_relu:")
print(activation_relu)
print("*****"*20)

activation_tanh = F.tanh(outputs)
print("activation_tanh:")
print(activation_tanh)
print("*****"*20)

（2）：自定义神经网络模型

import torch
from torch import nn
from torch.nn import functional as F

class MLP(nn.Module):
    # 多层感知器的构建
    def __init__(self, input_dim, hidden_dim, num_class):
        super(MLP, self).__init__()
        # 线性变换：输入层-->隐含层
        self.linear1 = nn.Linear(input_dim, hidden_dim)

        # ReLU
        self.activate = F.relu

        # 线性变换：隐藏层-->输出层
        self.linear2 = nn.Linear(hidden_dim, num_class)

    def forward(self, inputs):
        hidden = self.linear1(inputs)
        activation = self.activate(hidden)
        outputs = self.linear2(activation)
        probs = F.softmax(outputs, dim=1)  # 获得每个输入属于某一类别的概率
        return probs


mlp = MLP(input_dim=4, hidden_dim=5, num_class=2)
inputs = torch.rand(3, 4)
probs = mlp(inputs)
print(probs)