AI 從頭學（四）：AD and LeNet

AI 從頭學（四）：AD and LeNet

2016/12/14

-----

Fig. The Net（圖片來源：Pixabay）。

-----

博二的一年，每週都到台大跟老闆的老闆的學生以及老闆的老闆的學生的學生 seminar，是不是有點繞口令：）聽他們報告閒聊，年輕人的聰明才智全寫在臉上了。

 我忍不住想酸一下台大人！講這麼白，豈不是說，你們這些外行人少來沾醬油了！話雖然鋒利，卻也直指核心。我們參加社團，難道不是因為有顆上進的心？有高手好意指點，還不虛心受教，趕緊做功課嗎？

搞完這一篇，今天也沒力查論文了！：P

-----

引用臉書資料：

Mar ang ： 

Jason Tsai ：AD 還自己搞太累啦了 :-) 我去年本來要用 Haskell 建 DL 模型，但是 libraries 生態不夠完整，很多底層的東西都要修修補補，我就暫時擱置了。

Mar ang ：

Jason Tsai ：還有什麼東西是現有各語言的數值計算 automatic differentiation package 缺乏的？與其自己從零造螺絲，幫忙改進現有的 open source libraries 也是可以學到不少並造福社群。

-----

出版說明：

2019/08/27

有高手來指導是幸福的，雖然指導的內容不一定是你需要的。

這裡面，AD 跟 Haskell 是誤區，LeNet 是正解。Haskell 很容易就可以忽略，不過我在 AD 繞了一段。不是說 AD 不重要，而是 LeNet 必須要先瞭解。AD 可以排在 LeNet 最後用 Python 實作的時候，再徹底掌握就可以了！

無論如何，我知道 LeNet 了！

-----

References

◎ AD

[1] 自動微分
https://zh.wikipedia.org/wiki/%E8%87%AA%E5%8B%95%E5%BE%AE%E5%88%86

[2] Automatic Differentiation
https://en.wikipedia.org/wiki/Automatic_differentiation

[3] 2016_Mathematical modeling and optimization of complex structures

[4] 2012_Recent advances in algorithmic differentiation

[5] 2010_Introduction to Automatic Differentiation and MATLAB Object-Oriented Programming

[6] 2008_Advances in automatic differentiation

[7] 2006_Automatic Differentiation, Applications, Theory, and Implementations

[8] 1992_Automatic Differentiation, Overview and Application to Systems of  Parameterized Nonlinear Equations

[9] 1981_Automatic Differentiation, Techniques and Applications

-----

◎ LeNet

[10] LeNet-5 is a latest convolutional network designed for handwritten and machine-printed character recognition. 
http://yann.lecun.com/exdb/lenet/ 

[11] 1998_Gradient-Based Learning Applied to Document Recognition

[12] Deep Learning（深度学习）学习笔记整理系列之LeNet-5卷积参数个人理解
http://blog.csdn.net/qiaofangjie/article/details/16826849

[13] LeNet CNN 實例: MNIST 手寫數字辨識
https://allenlu2007.wordpress.com/2015/11/28/mnist-database-%E6%89%8B%E5%AF%AB%E6%95%B8%E5%AD%97%E8%BE%A8%E8%AD%98/

[14] LeNet - Convolutional Neural Network in Python - PyImageSearch
http://www.pyimagesearch.com/2016/08/01/lenet-convolutional-neural-network-in-python/ 

-----

◎ Haskell

[15] Haskell (programming language) - Wikipedia
https://en.wikipedia.org/wiki/Haskell_%28programming_language%29

[16] Haskell - 維基百科，自由的百科全書
https://zh.wikipedia.org/wiki/Haskell

[17] 2015_Developing Web Applications with Haskell and Yesod

[18] 2014_Haskell Data Analysis Cookbook

[19] 2014_Beginning Haskell, A Project-Based Approach

[20] 2013_Parallel and Concurrent Programming in Haskell Techniques for Multicore and Multithreaded Programming

[21] 2013_Haskell Financial Data Modeling and Predictive Analytics

[22] 2012_Developing Web Applications with Haskell and Yesod

[23] 2011_Learn You a Haskell for Great Good A Beginner's Guide

[24] 2008_Real World Haskell