计算机视觉面试考点（8）激活函数面试嘻嘻哈哈yjy的博客-

计算机视觉工程师在面试过程中主要考察三个内容：图像处理、机器学习、深度学习。然而，各类资料纷繁复杂，或是简单的知识点罗列，或是有着详细数学推导令人望而生畏的大部头。为了督促自己学习，也为了方便后人，决心将常考必会的知识点以通俗易懂的方式设立专栏进行讲解，努力做到长期更新。此专栏不求甚解，只追求应付一般面试。希望该专栏羽翼渐丰之日，可以为大家免去寻找资料的劳累。每篇介绍一个知识点，没有先后顺序。想了解什么知识点可以私信或者评论，如果重要而且恰巧我也能学会，会尽快更新。最后，每一个知识点我会参考很多资料。考虑到简洁性，就不引用了。如有冒犯之处，联系我进行删除或者补加引用。在此先提前致歉了！

为什么使用激活函数？
很多任务是非线性的
没有激活函数的网络只能实现y=kx+b
这是线性的，无法解决非线性问题
激活函数f()是非线性的
f(kx+b)实现了线性到非线性的转变，提升了网络的表达能力
下图就是一个非线性二分类任务的例子

常用激活函数

Sigmoid

输出是0到1
适用于二分类任务最后一层的输出（输出是0到1，可以认为是概率）

导数最大是0.25
反向传播造成梯度消失

输出不是以0为中心

幂运算复杂度高

基于以上三点，几乎不使用Sigmoid

tanh

注意：一些面试题问你 tanh(x)=2*Sigmoid(x)-1 对不对？
错的
tanh(x)=2*Sigmoid(2x)-1

Sigmoid的升级版
输出以0为中心
但是依然存在梯度消失、幂运算复杂度高的问题

ReLU

激活函数的第一选择

计算复杂度低
x>0时不存在梯度消失

缺点是Dead ReLU（x<0时，等于0，没有被激活）
输出不是以0为中心

Leaky ReLU(PReLU)

ReLU升级版
解决Dead ReLU
0.1可调

ELU

最小值逼近-a，具有饱和性
介于PReLU和ReLU之间

输出更加接近以0为中心，对噪声具有鲁棒性
（这两点不懂，请大佬指教）

幂运算复杂度高

理论上，PReLU和ELU都比ReLU好
但是一般使用ReLU：

• 不用设置a参数
• PReLU和ELU提升不大
• ReLU逻辑相对简单，没有ELU的幂运算
• 如果没有较大提升，使用ReLU的习惯性难以被撼动

Dead ReLU
如果x<0
反向传播的时候ReLU激活函数的导数为0
该神经元的参数就不更新了
与该神经元相连的前面的所有神经元也不更新了
导致一些神经元会失去意义

为什么希望输出以0为中心？
以0为中心，输出有正有负，反向传播梯度有正有负
可以满足有的参数增大，有的参数减小
如果输出全大于0，梯度的正负全部相同
所有参数只可能一起增大或者一起缩小
以上“所有参数”指的是一个神经元对应的所有参数

为什么梯度正负取决于输出（下图的x是上一层的输出）？

这是反向传播的简单推导
对于同一个神经元，最后一个公式的求导部分是常数
所以，梯度方向取决于x的正负

完
欢迎讨论 欢迎吐槽