1. 计算pReLU激活函数的导数。

pReLU激活函数公式根据课本有如下：
$$\mathrm{pReLU}(x)=\max (0,x)+\alpha \min (0,x)$$
对应的函数图像为:

对应的导数计算为：
$$\frac{\mathrm{d}\mathrm{pReLU}}{\mathrm{d}x}=\{\begin{array}{ll}1,& x\ge 1\\ \alpha ,& x<1\end{array}$$
对应的梯度图像如下：

2. 证明一个仅使用ReLU（或pReLU）的多层感知机构造了一个连续的分段线性函数

1. 单个ReLU构成的多层感知机是分段线性函数
2. 同层多个组合ReLU构成的多层感知机同样是分段线性函数
3. 多层多个组合ReLU函数构成的多层感知机，具有多个维度，同样也是分段函数
   叠加两层的ReLU函数如图下，以此类推。
   

3. 证明

$$\begin{array}{rl}& \tanh (x)+1=\frac{1-\exp (-2x)}{1+\exp (-2x)}+1\\ & =\frac{2}{1+\exp (-2x)}\\ & =2\mathrm{sigmod}(2x)\end{array}$$

4. 假设我们有一个非线性单元，将它一次应用于一个小批量的数据。这会导致什么样的问题？

数据量不够，拟合效果会比线性单元更差，梯度估计不稳定。