一图秒懂残差网络,为什么性能好,简单直接,不讲废话。

发布于:2022-11-29 ⋅ 阅读:(347) ⋅ 点赞:(0)

前言:本文是观看了李沐老师的讲解后,简单的总结了下为啥残差网络性能这么好。

  讲解:

必看,声明)把每一个圈当成一层网络,从开始的表层网络到深层的网络依次为F1、F2、F3,把网络右上角蓝色星星当成最为正确的结果,网络层越接近蓝色星星,性能越好

左图(传统的平铺网络结构):

可以看见左图网络可能出现随着网络层数叠加的越深(比如F6)距离蓝色星星越来越远(意味层数增加性能不升反降),层数少些的F3距离蓝色星星更近一些(意味着网络性能刚强)(这种情况经常出现)

右图(残差网络结构):

可以看见右图中网络越深,接触到蓝色星星的距离越短,意味着性能越好,(这也是为什么resnet可以叠加到153层,性能强悍),从图中可以看到,每增加一层网络都会包含上一层网络,也就是增加的一层网络即使性能再不济也会达到和上一层一样的效果,随着网络层数的增加,性能总会或多或少的提高。

以上是图解,一下可以看到更加具体点的

如下图,把虚线当作一层网络左边的方式就是传统的平铺网络,直接向前传播(模型为:a*f(x)    a为训练的参数),右边为残差网络,在加上一层网络的同时会把原始的X一块向前传播 (模型为:a*f(x)+b*x   a,b为训练的参数),假如f(x)性能巨差,那么随着训练,右边模型就会变成:0 * f(x)+1 * x,可见即使深层网络性能差,也不太会影响残差网络的性能。

本篇博客参考了李沐老师的课程,下面网址为视频链接如果对您有用请记得点个赞,谢谢

【29 残差网络 ResNet【动手学深度学习v2】】 https://www.bilibili.com/video/BV1bV41177ap?share_source=copy_web&vd_source=ac3b7d9d8f7f8c96a330a4977db529df

29 残差网络 ResNet【动手学深度学习v2】_哔哩哔哩_bilibili

本文含有隐藏内容,请 开通VIP 后查看