【深度学习】5-从计算图直观认识“激活函数不以零为中心导致收敛变慢”

​🚩 前言

活动地址:CSDN21天学习挑战赛

字体

“众所周知,激活函数最好具有关于零点对称的特性,不关于零点对称会导致收敛变慢”,这种说法看到几次了,但对于背后的原因却一直比较模糊,今天就来捋一捋。

电磁寻迹

为此我阅读了一些文章,其中一篇个人觉得写得很棒(附在文末的参考中),但也花了一些时间才看懂(可能我比较笨?)。后面我发现从计算图来看这个问题会比较直观和容易理解一些。

如何创建数据表

如果不了解计算图,可以查阅 齐藤康毅 的 《深度学习入门 基于python的理论与实现》的第五章:误差反向传播法。

CommandBuffer


高德定位

文章目录

网络安全


1. 收敛变慢的原因

先上计算图(某层神经网络的一小部分):

微服务

在这里插入图片描述

element-plus

图中黑色箭头为正向推理,红色箭头为误差的反向传播。因为

s

i

g

m

o

i

d

sigmoid

sigmoid 函数的输出值都为正,故

x

i

x_i

xi 的符号都相同且为正;则参数

w

i

w_i

wi 的更新方向(增大\减小)

x

i

a

x_ia

xia 仅由

a

a

a 决定。

毕业

  • a

    a

    a 大于 0 ,所有参数更新时都增大

  • a

    a

    a 小于 0, 所有参数更新时均减小

所有参数更新方向始终一致会有什么影响?如果某次迭代收敛到最优参数,一个参数需要增大,另一个需要减小,那我们一致的参数更新方向就无法指向最优点,会形成一种锯齿型的路径,因此收敛到最优点的速度就慢。
在这里插入图片描述
图片来源:谈谈激活函数以零为中心的问题

回调地狱

2. 为何要“对称”?

前面我们看到,参数更新方向一致将导致锯齿状的更新路径。只要激活函数的值域分布在零的两边,就不会出现更新方向始终一致的问题了。

uni小程序SDK

那对称的意义是什么?像下图中,函数曲线偏向 y 的正半轴,那么更新参数时参数就更容易增大而不容易减小,但如何确定参数更应该增大还是减小呢?
在这里插入图片描述

语音识别

3. 与“参数值全相同”情况的对比

下面对比一下两个问题。

ubisoft

  1. 激活函数输出值全为正:参数更新路径为锯齿状,更新慢
  2. 参数值全相同:完全无法正常训练

3.1. 激活函数输出值全为正

对于激活函数输出值全为正,以二维的参数空间为例,它失去的是一半的方向。一对参数值更新量

(

Δ

w

1

,

Δ

w

2

)

(\Delta w1, \Delta w2)

(Δw1,Δw2) ,虽然

Δ

w

1

\Delta w1

Δw1

Δ

w

2

\Delta w2

Δw2 的符号相同,但参数不同的绝对值仍可以组合出丰富的更新方向,足以抵达这二维空间中的任意一点,因为第二、四象限中的任一个向量,都可以分解为第一、三象限中的两个向量。
在这里插入图片描述

汇编语言

3.2. 参数值全相同

参数值全相同将导致所有参数的更新方向和幅度也相同(可参考:权重参数全相同值初始化,导致无法训练),此时模型完全报废,因为参数更新将只能在同一条直线上移动。
在这里插入图片描述

Unity Dotween


参考

mac

  1. 《深度学习入门 基于python的理论与实现》齐藤康毅
  2. 谈谈激活函数以零为中心的问题

博主主页:清风莫追_CSDN
原文链接:http://t.csdn.cn/nIA0d

高德POI

软件著作权

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注