Monday, November 06, 2017

新-AI從頭學(三):Popular Deep Learning Hardware Tools

新-AI從頭學(三):Popular Deep Learning Hardware Tools

2017/11/06

前言:

前面介紹了 LeNet 的理論與深度學習框架,這次介紹 GPU。

-----


Fig. 1. 1080 [5].



Fig. 2. Nvidia 1080 [5].

-----

Summary:

當我對 Deep Learning 還非常不瞭解的時候,就開始到 FB 的 台灣「人工智慧」社團 發表心得了,參考 [1], [2] 的舊版本。好處就是引來高手的指導,然後我就開始做功課了,參考文末補充資料。這份補充資料有兩個重點。第一,要有 GPU。第二,才能調參數。

所以,當你瞭解 LeNet-5 的架構 [1],也選定了框架(譬如 Caffe) [2],那你可以先用 Python 跑一下(使用一般 NB 即可)[3]。但是如果你想跑 LeNet 之後的經典 CNN 模型 [4],那麼建議是 1080 [5]。

-----

結論:

Deep Learning / AI 入門並不太難 [1],但如果你是認真的,那麼 [2]-[5] 的投資則是必要的!

-----

References

[1] 新-AI從頭學(一):文獻回顧
http://hemingwang.blogspot.tw/2017/10/ai_27.html

[2] 新-AI從頭學(二):Popular Deep Learning Software Tools
http://hemingwang.blogspot.tw/2017/10/aipopular-deep-learning-software-tools.html

[3] LeNet實作團(目錄)
http://hemingwang.blogspot.tw/2017/04/lenet.html

[4] Lab DRL(目錄)
http://hemingwang.blogspot.tw/2017/06/lab-drl.html

[5] 為您隆重介紹 GeForce GTX 1080  十全十美,玩勝遊戲 _ GeForce
https://www.geforce.com.tw/whats-new/articles/introducing-geforce-gtx-1080

-----

舊版:

AI從頭學(三):Popular Deep Learning Hardware Tools

2016/12/08

引用臉書資料:

Mark Chang :我覺得門檻高的原因不是弄懂理論,理論可以解釋的其實都很簡單,Deep Learning難的是那些理論無法解釋的,例如為何learning rate要0.001,lambda要0.5,諸如此類的參數組合。因為這些參數為什麼是這些值,都是要浪費很多時間去嘗試,跑各種組合跑出來的,而且就 算跑過很多組合,還不一定能跑出結果。

Mark Chang :金錢也是另一門檻,一般人一定買不起DGX-1,差一點的,像是M40也很難買得起,就算是買TitanX也得花掉不少錢。可是你設備不夠好,你就跑不 快,跑不快就無法嘗試那些無法解釋的參數組合,那就跑不出結果。跑不出結果,懂再多理論也做不出東西,所以這才是門檻最高的地方。

Jason Tsai :錢不會是大問題!公司和學校(學術)單位如果連這種設備的小錢都不願投資,那說要搞人工智慧真是笑死人了!開一顆 SoC 加光罩的錢都要上億台幣了,花幾百萬的錢算得了什麼?新創公司如果募不到足夠的錢購置設備,那表示不被看好,創業成功的機率非常低。

Mark Chang :要有錢,就是要有人願意投資,但可惜台灣投資Deep Learning的企業太少,想做的人不見得擠得進去那些企業。

Changrong Ko :順便問一下樓上 1070 跑得動 VGG16嗎 感覺不太夠力

Mark Chang :VGG很耗記憶體,但如果把batch弄小一點應該是可以...

Ton Ton Hsien-De Huang :現在大家在哀的差不多都是都在哀沒錢沒資源 ? 但其實沒錢有沒錢的做法,並不是只有當臺幣戰士才能做出東西,畢竟這也不是真的砸錢了就能有效果;業界還是要能變現,學界就是要有論文要有計畫 ... 最重要的當然還是要有數據 !

所以一開始就用時間換取空間吧,先小規模實驗,一張 1080 甚至 960 再搞幾台主機,即便是個人分次弄也不會是太大壓力 ... 至少我自己就是這樣開始的 ...

至於另一個引人注意的門坎就是會的人,以學界來講,我想要花時間去搞懂理論這不會是太大的問題而業界的話,先能搞個實際應用到產品,後續我想也不至於完全無法跨進這道窄門 ....

結論是:只要有心,人人都是食神 ,趕快做就對了,不做永遠都沒結果,雖然做了也不見得有啦 !!!

Changrong Ko :要重複別人開源的東西不難,我覺得比較難的是原創的方向或應用,首先我們也不太可能去比benchmark 拼辨識率拼不過大陸人的,比較適合的方向是開創一個新的有痛點的應用。不過現在重兵集結,國外跟大陸進展很快⋯

Jason Tsai :別說輸大陸了,就連和曾經同為亞洲四小龍的南韓相比,咱們大有為的政府預計每年投入人工智慧的經費只有南韓政府投入數字的零頭!一個韓國人為主的 FB Deep Learning 社團已經要第16次 meetup 了,而我們的 Deep Learning 101 meetup 才剛開始。

Mark Chang :CNN和RNN做supervised learning已經是兩三年前的東西了,現在應該要研究Generative model或 RL之類的,才跟得上時代。

Mark Chang :Btw, deep learning的meetup,很容易流團,我去年就見識過了

Jason Tsai :呵,這是完全可以理解的。光只是有興趣是遠遠不夠的!這需要極大的熱情、毅力、加上足夠的底子。 Meetup 如果有近十位左右能撐到最後全書K完,我就覺得台灣在這一塊上仍然有救的。

Mark Chang :其實我沒K過跟你們meetup讀的那本書,因為我翻個十頁就會睡著。但它最後一章講的東西,我早就都會了,而且我也都實作過了。我是由實作來學習的。 親自實作過,就會發現,Deep Learning難的不是搞懂那些數學公式,而是要找出能跑出結果的參數組合,相較之下,搞懂原理是非常簡單的。

Mark Chang :這就好比說你想藉由看書來學習打籃球,你看再多籃球的書籍,你投籃還是投不進。要真的上場跟人打球,才會知道被人防守之下要投進有多難。

Jason Tsai :理論和實作是相輔相成的,光搞理論或只在乎實作都無法集大成,就好像類比於武術的內功和外功。

Mark Chang :Jason Tsai 的確是這樣,理論也很重要,所以為什麼職業球隊還要請教練來指導戰術,並不是一直狂練投籃就可以每場都打贏。

Mark Chang :通常只看書沒實作的,都會流團,我看過沒流團的例子,那團是高手很多,有大學教授,美國名校畢業的,而且大家都認真參與實作的,才維持了好幾個月。

Jason Tsai :呵呵,就看看 Deep Learning 101 可以持續多久囉!

Mark Chang :Jason Tsai 加油吧~祝你們順利

-----

DGX-1

Nvidia發布超級計算機DGX-1 售價超80萬元- 今日頭條 big5.jinri-toutiao.com/id/337559.html 2016年4月7日 - 它配備了7TB固態硬盤,8塊Tesla P100顯卡和2塊英特爾Xeon處理器——如此的配置也給起帶來了超高的處理性能(170萬億次浮點運算/秒), ...

http://big5.jinri-toutiao.com/id/337559.html

NVIDIA在今年的GTC大會上推出了包括GPU晶片Tesla P100(基於全新Pascal平台架構上打造)、DRIVE PX2(用於自動駕駛汽車的開發平台)和用於深度學習研究的超級計算機DGX-1(使用Tesla P100晶片建造,運算速度可達170萬億次)在內的一系列新技術和新產品。

https://read01.com/dxj7Le.html

-----

M40

如果只有深度學習的訓練,NVIDIA的Tesla M40/M4雖然不便宜,但企業或者機構購買還是比較合適的(百度的深度學習研究院就用的這一款),相對於K40單精度浮點運算性能是4.29Tflops,M40可以達到7Tflops。

https://read01.com/dxj7Le.html

-----

Titan X

NVIDIA 新一代卡王,US$1,200 一張的Titan X 現身 - Engadget 中文版 chinese.engadget.com/2016/.../nvidias-new-top-end-graphics-card-is-the-1-200-titan-... 2016年7月22日 - 如果你剛買了張NVIDIA GTX 1080,正在享受擁有地表最快的桌機遊戲顯卡的快感的話,那... 壞消息告訴你,GTX 1080 已經被新一代的Titan X 踢到 ...

http://chinese.engadget.com/2016/07/22/nvidias-new-top-end-graphics-card-is-the-1-200-titan-x/

-----

1070

最強顯示卡現身! NVIDIA 推出GTX 1080、GTX 1070 | 自由電子報3C科技 3c.ltn.com.tw/news/24282 2016年5月7日 - NVIDIA 終於正式推出了新一代顯示卡王者GTX 1080、GTX 1070,作為取代目前GTX 980 和GTX 970 的產品。這兩張顯示卡採用Pascal 架構, ...

http://3c.ltn.com.tw/news/24282

-----

VGG16

關於圖像語義分割的總結和感悟- IT閱讀 www.itread01.com/articles/1476698476.html 2016年10月17日 - 卷積化即是將普通的分類網絡,比如VGG16,ResNet50/101等網絡丟棄全連接層,換上對應的卷積層即可。如下圖: 這裏寫圖片描述 ...

http://www.itread01.com/articles/1476698476.html

前沿| 二值神經網絡:催生手腕上的AlphaGo : 歌穀穀 www.gegugu.com/2016/04/04/5056.html 2016年4月4日 - 後續的VGG-16網絡相比AlexNet提高瞭預測準確率,卻更是一個網絡大小超過500M,單圖片浮.計算量超過280億次的龐然大物。人們對預測準確率 ...

No comments: