在机器学习特别是深度学习中，激活函数是用于增加模型的非线性特性。对于一个给定的输入信号，激活函数定义了输出信号的形式。以下是一些常见的激活函数及其导数：

一、Sigmoid函数

函数

导数

二、Tanh双曲正切函数

函数

导数

三、ReLU线性整流单元函数

函数

导数

        ReLU函数在处导数不明确是因为实际使用中通常不会发生计算问题，并且在实现时通常会返回0或1。 

四、Leaky ReLU函数

函数

其中α是一个小常数 

导数

五、Softmax函数

函数（对第i个输入）

导数（对第i个输入）

        Softmax函数的导数较为复杂，这里的表述为了简单化并未展现交叉项。在实际计算梯度时，需要考虑Softmax输出之间的相互作用。对于其他输入，导数会涉及到Softmax输出的相互关系。