Universal Approximation Theorem

Universal Approximation Theorem

2019/10/21

-----

// Illustrative Proof of Universal Approximation Theorem - By Niranjan Kumar

-----

「Universal approximation theorem：用一層隱藏層的神經網絡，若使用的激勵函數具有單調遞增、有上下界、非常數且連續的性質，則總是存在一個擁有有限N個神經元的單隱藏層神經網絡可以無限逼近這個連續函數（鮑萊耳可測函數）。但這個定理沒有說在這個神經網路裡的參數要怎麼學，只知道隱藏層的寬度會隨著問題複雜度提升變得非常大，因此，增加網絡深度的原因正是為了可以用更少的參數量實現同樣的逼近。」

// 深度學習：使用激勵函數的目的、如何選擇激勵函數 Deep Learning   the role of the activation function _ Mr. Opengate

-----

References

Illustrative Proof of Universal Approximation Theorem - By Niranjan Kumar
https://hackernoon.com/illustrative-proof-of-universal-approximation-theorem-5845c02822f6

深度學習：使用激勵函數的目的、如何選擇激勵函數 Deep Learning   the role of the activation function _ Mr. Opengate
https://mropengate.blogspot.com/2017/02/deep-learning-role-of-activation.html