AI 從頭學（五）：AD and Python
2016/12/16
-----
Fig. Python（圖片來源：Pixabay）。
-----
昨天花了一整天，不看任何參考資料，直接在白紙上用 python 且不用任何可自動微分的套件 來寫 LeNet，寫出來的 code 直接輸入電腦後可以訓練且跑出應有的結果.....
以上是《艾莉的異想世界》本集內容。
其實昨天上台北跟老闆開了一天的會，回家後還加班到一點.....
-----
引用臉書資料：
Mar ang ：
Mar ang ：
Mar ang ：
-----
原來出手指點的是神影，真正的神人還遠在天邊！
星期三當天回家就把之前查的一些 CNN papers 翻出來再看一遍。以 LeNet-5 為實例去瞭解 CNN，的確又更清楚一點點。
我決定動手試試。然而，依照神影的建議，LeNet 之前要會 AD，而且還是手動 AD，不是依賴套件。問題是 Python 的書我雖然不少了，可是還沒真正寫過，所以只好再查一下資料。
原來的方向似乎不大對 [1]-[4]，新的的可能有機會 [5]-[12]。
-----
出版說明：
2019/08/29
建議者的建議，未必適合所有的人。
主要是，實作 LeNet，不一定要實作 AD。
這邊研究了一下如何用 Python 實作 AD，但還是卡了一陣子，最後也沒實作。總之，方向繼續調整。
-----
References
[1] 2016_Benchmarking Python Tools for Automatic Differentiation
[2] 2014_Automatic differentiation of algorithms for machine learning
[3] 2012_CasADi, A Symbolic Package for Automatic Differentiation and Optimal Control
[4] 2012_Algorithmic Differentiation in Python with AlgoPy
[5] 2016_Introduction to Scientific Computing in Python
[6] 2015_Mastering Python Scientific Computing
[7] 2015_Introduction to Python for Computational Science and Engineering
[8] 2014_An introduction to Python for scientific computing
[9] 2014_A Primer on Scientific Programming with Python
[10] 2012_A Primer on Scientific Programming with Python
[11] 2011_A Primer on Scientific Programming with Python
[12] 2009_A Primer on Scientific Programming with Python
