AI 從頭學（五）：AD and Python

AI 從頭學（五）：AD and Python

2016/12/16

-----

Fig. Python（圖片來源：Pixabay）。

-----

昨天花了一整天，不看任何參考資料，直接在白紙上用 python 且不用任何可自動微分的套件 來寫 LeNet，寫出來的 code 直接輸入電腦後可以訓練且跑出應有的結果.....

以上是《艾莉的異想世界》本集內容。

其實昨天上台北跟老闆開了一天的會，回家後還加班到一點.....

-----

引用臉書資料：

Mar ang ：

Mar ang ：

Mar ang ：

-----

原來出手指點的是神影，真正的神人還遠在天邊！

星期三當天回家就把之前查的一些 CNN papers 翻出來再看一遍。以 LeNet-5 為實例去瞭解 CNN，的確又更清楚一點點。

我決定動手試試。然而，依照神影的建議，LeNet 之前要會 AD，而且還是手動 AD，不是依賴套件。問題是 Python 的書我雖然不少了，可是還沒真正寫過，所以只好再查一下資料。

原來的方向似乎不大對 [1]-[4]，新的的可能有機會 [5]-[12]。 

-----

出版說明：

2019/08/29

建議者的建議，未必適合所有的人。

主要是，實作 LeNet，不一定要實作 AD。

這邊研究了一下如何用 Python 實作 AD，但還是卡了一陣子，最後也沒實作。總之，方向繼續調整。

-----

References

[1] 2016_Benchmarking Python Tools for Automatic Differentiation

[2] 2014_Automatic differentiation of algorithms for machine learning

[3] 2012_CasADi, A Symbolic Package for Automatic Differentiation and Optimal Control

[4] 2012_Algorithmic Differentiation in Python with AlgoPy

[5] 2016_Introduction to Scientific Computing in Python

[6] 2015_Mastering Python Scientific Computing

[7] 2015_Introduction to Python for Computational Science and Engineering

[8] 2014_An introduction to Python for scientific computing

[9] 2014_A Primer on Scientific Programming with Python

[10] 2012_A Primer on Scientific Programming with Python

[11] 2011_A Primer on Scientific Programming with Python

[12] 2009_A Primer on Scientific Programming with Python