ResNet-E

ResNet-E

2019/11/12

前言：

ResNet-E 是論文《Residual networks behave like ensembles of relatively shallow networks》的簡稱，取其 ensemble 的涵義。本論文將 ResNet 視為許多淺層網路的集成，通過實驗，作者發現，只有一部份較淺的路徑是有效的，也就是說，實際發生梯度傳導的路徑並不是很深。

-----

# ResNet-E

-----

# ResNet-E

-----

# ResNet-E

-----

# ResNet-E

-----

# ResNet-E

-----

# ResNet-E

-----

「深度殘差網路可以看過許多路徑組成網路的一個集合。這些路徑是否獨立，它們之間是否有冗餘？作者通過移除某些路徑做實驗，得出結論：深度殘差網路是多個模型 ensemble，逐漸移除路徑，對結果的影響是平滑的。深度殘差網路的路徑不同，深度不同；路徑的分佈服從二項分佈，意味著一個 110 層的網路實際大概深度只有 55 層。在訓練過程中，梯度的來源更淺，只有 10-34 層。」

// 《Residual Networks Behave Like Ensembles of Relatively Shallow Networks》笔记 - KangRoger的专栏 - CSDN博客

-----

References

# ResNet-E

Veit, Andreas, Michael J. Wilber, and Serge Belongie. "Residual networks behave like ensembles of relatively shallow networks." Advances in neural information processing systems. 2016.

https://papers.nips.cc/paper/6556-residual-networks-behave-like-ensembles-of-relatively-shallow-networks.pdf 

论文笔记：Residual Network内部结构剖析 - 知乎
https://zhuanlan.zhihu.com/p/37820282 

《Residual Networks Behave Like Ensembles of Relatively Shallow Networks》笔记 - KangRoger的专栏 - CSDN博客
https://blog.csdn.net/kangroger/article/details/68938680