LSTM（四）：Appendix
2021/07/27
-----
# History DL
-----
# History DL
-----
# History DL
-----
# History DL
https://zhuanlan.zhihu.com/p/32481747
-----
# History DL
Alom, Md Zahangir, et al. "The history began from alexnet: A comprehensive survey on deep learning approaches." arXiv preprint arXiv:1803.01164 (2018).
https://arxiv.org/ftp/arxiv/papers/1803/1803.01164.pdf
-----
LSTM（三）：Illustrated
2021/07/12
-----
https://pixabay.com/zh/photos/mother-baby-child-garden-home-1150056/
-----
# History DL
說明：
未展開的 RNN（遞歸神經網路（recurrent neural networks，RNN）網路。
xt 是輸入。
ht 是輸出。
-----
# History DL
說明：
展開的 RNN 網路。
-----
# History DL
說明：
此處的公式與剛剛的圖不同。在這裡，
ht 是隱藏狀態的輸出到下一個隱藏狀態，yt 是實際的輸出。
一般的 RNN 是 Elman 網路。也就是，隱藏狀態由 xt 與 h(t-1) 作為輸入。
Jordan 網路則是由 xt 與 y(t-1) 作為輸入。
-----
# History DL
說明：
LSTM。
ft 是忘記門。ft 的輸入是 h(t-1) 與 xt。權重是 Wf，偏置是 bf。經過 sigmoid 讓值介於 0 與 1 之間。
it 是輸入門。it 的輸入是 h(t-1) 與 xt。權重是 Wi，偏置是 bi。經過 sigmoid 讓值介於 0 與 1 之間。
~ tilde
C~t 是 cell state 的預備。C~t 的輸入是 h(t-1) 「公式 (36) 有誤。」與 xt。權重是 WC，偏置是 bC。經過 tanh 這個激活函數。
Ct 是 cell state（記憶值）。忘記門的值乘以上一個 cell state 加上輸入門的值乘以 cell state 的預備，即為此刻的記憶值。
Ot 是輸入門。Ot 的輸入是 h(t-1) 與 xt。權重是 WO，偏置是 bO。經過 sigmoid 讓值介於 0 與 1 之間。
ht 是輸出。其值是輸出門乘以 tanh(Ct)。
-----
# History DL
說明：
參考圖的說明。
-----
梯度消失與梯度爆炸
-----
ANN
--
說明：
假設每層只有一個神經元。
https://zhuanlan.zhihu.com/p/25631496
https://ziyubiti.github.io/2016/11/06/gradvanish/
-----
RNN 反向傳播，連乘的項。
Modified from # History DL
說明：
St（紅點）。
-----
RNN 梯度消失與梯度爆炸
說明：
RNN 反向傳播，連乘的結果，是 tanh' 乘以 Ws。
https://zhuanlan.zhihu.com/p/28687529
-----
LSTM 如何解決梯度消失
--
導數函數值基本上不是 0 就是 1。當值均為 1 時，不會有梯度消失。當值為 0 時，不用回傳梯度。
說明：
LSTM 反向傳播，連乘的結果，跟 RNN 類似，所不同之處，在於 LSTM 連乘的結果，是 tanh' 乘以忘記門的值，而非單純的 Ws，由參考資料的圖可以得知，當忘記門的值等於 0 時，表示不用回傳導數值，因為過去的值，不影響現在的值。
以上說明並不理想。因為 tanh' 與 sigmoid 連乘，基本上還是一堆介於 0 與 1 相乘的數。圖片之所以看起來大都是 0 或 1，那是因為輸入的平面選擇比較大的範圍。如果在原點區域的小範圍，則還是有很多介於 0 與 1 的數。
https://zhuanlan.zhihu.com/p/28749444
-----
Modified from # History DL
說明：
反向傳播中，Ct 在保持導數回傳不要梯度消失是重點。
-----
說明：
反向傳播中，Ct 在保持導數回傳不要梯度消失是重點。
https://www.zhihu.com/question/44895610
-----
參數量。
公式：（詞嵌入大小（輸入） + 1（bias）+ 隱藏層大小（輸入））* 隱藏層大小（輸出）* 4（門）。
例一：「((embedding_size + hidden_size) * hidden_size + hidden_size) * 4」
「((128 + 64) * 64 + 64) * 4 = 49408。」
https://zhuanlan.zhihu.com/p/147496732
例二：「params = 4 * ((size_of_input + 1) * size_of_output + size_of_output^2)」
「4 * (4097 * 256 + 256^2) = 4457472」
--
https://medium.com/deep-learning-with-keras/lstm-understanding-the-number-of-parameters-c4e087575756
https://datascience.stackexchange.com/questions/10615/number-of-parameters-in-an-lstm-model
-----
LSTM 的輸入
以 Keras 為例，LSTM 網路的輸入是一個三維數組。 輸入形狀看起來像 (batch_size, time_steps, seq_len)。 第一個維度代表批次大小，第二個維度代表輸入序列的時間步數。 第三維表示一個輸入序列中的單元數。
batch_size：例：一個批次裡處理的句子筆數。
time_steps：例：句子的最長長度（不足則將資料補零）。
seq_len：例：句子裡，每個詞，詞嵌入的維度。
https://www.kaggle.com/shivajbd/input-and-output-shape-in-lstm-keras
https://www.zhihu.com/question/41949741
--
https://ithelp.ithome.com.tw/articles/10214405?sc=iThelpR
https://keras-cn.readthedocs.io/en/latest/layers/recurrent_layer/
-----
# History DL
說明：
一對一。無 RNN 分類的標準模式（例如圖像分類問題）如圖 35 (a)。
多對一。輸入序列和單個輸出（例如，輸入是一組句子或單詞，輸出是正面或負面表達的情感分析）如圖 35（b）所示。
一對多。系統接受輸入並產生一系列輸出（圖像字幕問題：輸入是單個圖像，輸出是一組帶有上下文的單詞），如圖 35 (c) 所示。
多對多。輸入和輸出序列（例如機器翻譯：機器從英語中獲取一個單詞序列並翻譯成法語單詞序列）如圖 35（d）所示。
多對多。序列到序列學習（例如視頻分類問題，其中我們將視頻幀作為輸入並希望標記圖 35（e）所示視頻的每一幀。
-----
# History DL
說明：
一對一。
多對一。
一對多。
多對多。
多對多。
-----
# Word2vec 1。
說明：
周圍字預測中間字的 CBOW 與 中間字預測周圍字的 Skip-gram。下回分解。
https://www.zhihu.com/question/45027109
-----
References
# RNN
Elman, Jeffrey L. "Finding structure in time." Cognitive science 14.2 (1990): 179-211.
https://cogsci.ucsd.edu/~rik/courses/readings/elman90-fsit.pdf
# LSTM
Hochreiter, Sepp, and Jürgen Schmidhuber. "Long short-term memory." Neural computation 9.8 (1997): 1735-1780.
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.676.4320&rep=rep1&type=pdf
# LSTM odyssey
Greff, Klaus, et al. "LSTM: A search space odyssey." IEEE transactions on neural networks and learning systems 28.10 (2016): 2222-2232.
# History DL
Alom, Md Zahangir, et al. "The history began from alexnet: A comprehensive survey on deep learning approaches." arXiv preprint arXiv:1803.01164 (2018).
https://arxiv.org/ftp/arxiv/papers/1803/1803.01164.pdf
# Word2vec 1。被引用 18991 次。
Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781 (2013).
https://arxiv.org/pdf/1301.3781.pdf
-----
LSTM（二）：Overview
2020/12/04
-----
https://pixabay.com/zh/photos/photos-album-photographer-old-256889/
-----
◎ Abstract
-----
◎ Introduction
-----
本論文要解決（它之前研究）的（哪些）問題（弱點）？
-----
# RNN。
-----
◎ Method
-----
解決方法？
-----
# LSTM。
-----
具體細節？
-----
◎ Result
-----
本論文成果。
-----
◎ Discussion
-----
本論文與其他論文（成果或方法）的比較。
-----
成果比較。
-----
方法比較。
-----
◎ Conclusion
-----
◎ Future Work
-----
後續相關領域的研究。
-----
後續延伸領域的研究。
-----
◎ References
-----
# RNN。被引用 11946 次。
Elman, Jeffrey L. "Finding structure in time." Cognitive science 14.2 (1990): 179-211.
https://cogsci.ucsd.edu/~rik/courses/readings/elman90-fsit.pdf
# LSTM。被引用 39743 次。
Hochreiter, Sepp, and Jürgen Schmidhuber. "Long short-term memory." Neural computation 9.8 (1997): 1735-1780.
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.676.4320&rep=rep1&type=pdf
# Word2vec 1。被引用 18991 次。
Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781 (2013).
https://arxiv.org/pdf/1301.3781.pdf
# Word2vec 2。被引用 23990 次。
Mikolov, Tomas, et al. "Distributed representations of words and phrases and their compositionality." Advances in neural information processing systems. 2013.
https://papers.nips.cc/paper/2013/file/9aa42b31882ec039965f3c4923ce901b-Paper.pdf
# Word2vec 3。被引用 645 次。
Rong, Xin. "word2vec parameter learning explained." arXiv preprint arXiv:1411.2738 (2014).
https://arxiv.org/pdf/1411.2738.pdf
# C&W v1。被引用 5099 次。
Collobert, Ronan, and Jason Weston. "A unified architecture for natural language processing: Deep neural networks with multitask learning." Proceedings of the 25th international conference on Machine learning. 2008.
http://www.cs.columbia.edu/~smaskey/CS6998-Fall2012/supportmaterial/colbert_dbn_nlp.pdf
# C&W v2。被引用 6841 次。本篇論文闡釋了從 Word2vec 繼續發展 Paragraph2vec 的必要性。
Collobert, Ronan, et al. "Natural language processing (almost) from scratch." Journal of machine learning research 12.ARTICLE (2011): 2493-2537.
https://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf
-----
Understanding LSTM Networks -- colah's blog
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
-----
-----
Qiskit Textbook Lecture 3
2021/07/26
說明：
Qiskit 教科書使用 Matplotlib 作為預設的電路繪圖套件。
-----
https://pixabay.com/zh/photos/painting-acrylic-paint-background-3135875/
-----
Matplotlib
-----
「Qiskit Textbook uses default circuit drawer as Matplotlib.」
Qiskit 教科書使用 Matplotlib 作為預設的電路繪圖套件。
https://qiskit.org/textbook/ch-prerequisites/setting-the-environment.html
-----
References
參考文件一
matplotlib
「matplotlib 是 Python 語言及其數值計算庫 NumPy 的繪圖庫。它提供了一個物件導向的 API，用於使用通用 GUI 工具包將繪圖嵌入到應用程式中。SciPy 也使用 matplotlib 進行圖形繪製。」
https://zh.wikipedia.org/wiki/Matplotlib
參考文件二
matplotlib tutorial
https://matplotlib.org/stable/tutorials/index.html
參考文件三
pyplot tutorial
「matplotlib.pyplot is a collection of functions that make matplotlib work like MATLAB.」
matplotlib.pyplot是使 matplotlib 像 MATLAB 一樣工作的函數集合。
https://matplotlib.org/stable/tutorials/introductory/pyplot.html
-----
Qiskit Textbook Lecture 2
2021/07/25
說明：
量子硬幣的實驗。
借用波粒二象性，波的概念。以振幅平方為機率密度（或機率）。
從初始狀態，到第一次投擲，到第二次投擲：
0 0 0 的振幅為 1/2。
0 1 0 的振幅為 1/2。
振幅相加（疊加）的結果為 1。振幅平方，也就是機率為 1。
0 0 1 的振幅為 1/2。
0 1 1 的振幅為 -1/2。
振幅相加（疊加）的結果為 0。振幅平方，也就是機率為 0。
https://qiskit.org/textbook/what-is-quantum.html
-----
https://pixabay.com/zh/photos/mountain-punctures-nature-outdoor-3001218/
-----
https://qiskit.org/textbook/what-is-quantum.html
一開始是古典機率複習。首先是擲銅板。第一個實驗是單擲硬幣，第二個實驗是雙擲硬幣。
第三個實驗是單擲量子硬幣，第四個實驗是雙擲量子硬幣。在第四個實驗時，出了一點問題。
「This doesn't match our prediction at all! Our model has failed us! This is the same problem that physicists encountered in the early 20th century. Searching for the answer led to the development of quantum physics, which is what we will use to describe our quantum coin toss.」
這完全不符合我們的預測！ 我們的模式辜負了我們！ 這與物理學家在 20 世紀初遇到的問題相同。 尋找答案導致了量子物理學的發展，我們將用它來描述我們的量子拋硬幣。
The Quantum Model
「In short, quantum theory is probability theory with negative numbers.」
「What does this mean? We can’t have negative probabilities as that doesn’t make sense. To accommodate this, we use a new quantity we call amplitudes and plot these on trees instead. To get around the fact that we cannot have negative probabilities, and that all our probabilities must add up to 1, we use a mathematical trick: We square our amplitudes to calculate the probabilities.」
量子模型
簡而言之，量子理論是帶有負數的概率論。
這是什麼意思？ 我們不能有負概率，因為那沒有意義。 為了適應這一點，我們使用了一個稱為振幅的新量，並將它們繪製在樹上。 為了解決我們不能有負概率的事實，並且我們所有的概率必須加起來為 1，我們使用了一個數學技巧：我們對振幅進行平方來計算概率。
「We can see the amplitudes of finding the coin (qubit) in the state 1 cancel each other out, and we call this effect interference. You should verify for yourself that this model works when the initial state is 1.」
我們可以看到在狀態 1 中找到硬幣（量子位）的幅度相互抵消，我們稱之為效應干擾。 您應該親自驗證此模型在初始狀態為 1 時是否有效。
-----
References
參考資料一
機率幅（Probability amplitude）
2021/08/19
「在量子力學中，機率幅是一個複數函數，它的絕對值的平方代表某種物理量的機率或機率密度。M‧玻恩提出這個概念最主要的目的是要使波函數與真實的物理量發生關連。」
「1923 年，德布羅意提出了「物質波」的假設之後，過了不久，1926 年 1 月，薛丁格就發表了他的第一篇關於波動力學的論文。薛丁格認為，他的波函數可以使物理學再度回到了一個包括連續場和波動的堅實基礎，從這個基礎出發，便可作出正確的物理預言。他創建了電子的微分方程，該方程的解就代表德布羅意波。這些解就是大家所熟知的“波函數”。」
https://highscope.ch.ntu.edu.tw/wordpress/?p=17771
參考資料二
薛丁格方程式，波函數
2021/08/20
「薛丁格方程式是由奧地利物理學家薛丁格提出的量子力學中的一個基本方程式，用來計算一個量子系統的波函數，如何隨著時間發生演變。就好像牛頓運動定律在古典力學的地位，薛丁格方程式在量子力學裏也佔有極其重要的地位。」
「既然粒子具有波-粒二象性，應該會有一個能夠反應這特性的波動方程式，正確地描述粒子的量子行為。於是，經過一反努力，薛丁格方程式總算被找到了。薛丁格用這個方程式來計算氫原子的譜線，得到了與用波耳模型計算出的能階相同的答案。」
「波函數是量子力學中用來描述粒子的德布羅意波的函數。波函數可以用來計算在量子系統中某個事件發生的機率振幅。而機率振幅的絕對值的平方，就是事件發生的機率密度。」
https://highscope.ch.ntu.edu.tw/wordpress/?p=17762
參考資料三
機率振幅絕對值平方等於機率密度
2021/08/25
「為什麼 "波函數的平方會等於機率" 呢？不是想問那個機率的操作、歸一 .... 等，而是要問這個結論是怎麼來的。」
https://www.phy.ntnu.edu.tw/demolab/phpBB/viewtopic.php?topic=19401
參考資料四
力學波的能量為什麼和振幅平方成正比
2021/08/28
「力學波的能量就是介質振盪的動能，因此，能量和（振幅以及頻率）的平方，都成正比。」
https://www.phy.ntnu.edu.tw/demolab/phpBB/viewtopic.php?topic=12069
https://pb.ps-taiwan.org/catalog/ins.php?index_m1_id=3&index_id=501
https://pb.ps-taiwan.org/catalog/ins.php?index_m1_id=3&index_id=511
https://zh.wikipedia.org/wiki/%E5%9C%93%E5%91%A8%E9%81%8B%E5%8B%95
參考資料五
機率密度 能量 振幅平方
2021/08/27
「可以看出，波的能量與振幅 A 的平方成正比關係。單位時間內光的能量是功率。根據波動理論，光的功率和電磁波的振幅有關。而根據量子理論，單光子的能量由頻率決定 (E=hv)，整個光場的能量還和光子數有關。2015年7月5日
波的振幅與能量的關係_百度知道」
https://zhidao.baidu.com/question/551126219.html
參考資料六
複數物理量的表達習慣
2021/08/26
「物理初學者可能會以為只有量子力學才會使用到複數 (complex number)。因為量子力學的狀態空間是抽象的希爾伯特空間 (Hilbert space)，為了描述系統狀態在希爾伯特空間的演化必須使用複數，而古典物理的可觀測量都是實數，不需要使用複數。其實不然，古典物理與許多工程問題也大量使用複數表達式，雖然實際觀測的物理量確實可用實數表示。這些與實驗對應的實數量通常就是複數量的實部或虛部。在這些問題的處理中若完全不使用複數，解決過程就會變得非常繁瑣，有時候甚至根本做不到。」
https://pb.ps-taiwan.org/catalog/ins.php?index_m1_id=3&index_id=614
參考資料七
複數平面
2021/08/25
「複數絕對值的幾何意義是距離的概念，這與實數絕對值的概念一樣。」
https://highscope.ch.ntu.edu.tw/wordpress/?p=15954
(7) 高中數學_三角函數_複數的幾何意涵_複數平面_吳汀菱 - YouTube
https://www.youtube.com/watch?v=Sd9FFGh7EnE
參考資料八
動畫版波函數
2021/08/22
(7) 【動畫版】量子算符與波函數 - Quantum Operators - YouTube
音樂有點干擾，可關閉。
https://www.youtube.com/watch?v=qnIOL9FS28I
參考資料九
波函數的動畫演示
2021/08/23
【量子力学】快速理解什么是波函数：波函数的动画演示_哔哩哔哩_bilibili
彈幕開關在影片正下方，可關閉。
https://www.bilibili.com/video/av11345141/
參考資料十
Quantum Waves
2021/08/24
(7) Quantum Waves visualized in 3D - YouTube
https://www.youtube.com/watch?v=imdFhDbWDyM
參考資料十一
機率幅（Probability amplitude）
2021/07/31
https://qiskit.org/textbook/what-is-quantum.html
在教科書讀到 Probability 的 amplitude。在網路上找到定義。但還是先看一些影片再來看網路文章。
(6) Probability in quantum mechanics - YouTube
https://www.youtube.com/watch?v=wWZyLGEqgio
參考資料十二
量子計算的兩大基石
2021/08/31
「量子計算的兩大基石為：干涉 (interference) : 對應到 波 的性質。量子糾纏 (entanglement) :對應到 粒子 的性質。」
https://weikaiwei.com/quantum-computing/ibm-qiskit-part1/
-----
-----
量子運算首頁
一、Quantum Computing
https://hemingwang.blogspot.com/2021/06/quantum-computing.html
-----
Qiskit Textbook Lecture 1
2021/07/24
說明：
建議先觀看參考資料的影片，約五小時，有量子運算運算的簡介與基礎。
-----
https://pixabay.com/zh/photos/wintry-snow-backcountry-skiiing-2068298/
-----
https://qiskit.org/textbook/preface.html
「If you're reading the textbook independently, you don't have to read it all in order, but we recommend you read chapters 1-3 first.」
如果您是獨立閱讀教科書，則不必按順序閱讀，但我們建議您先閱讀第 1-3 章。
-----
參考資料一、☆☆☆☆☆ 量子運算中文簡介
2021/07/13
沒有深入，保證淺出。
(74) 十分鐘略懂量子運算：量子物理、量子電腦、量子位元、量子閘、量子演算法與量子未來應用 - YouTube
https://www.youtube.com/watch?v=hXHrhnt2TEI
參考資料二、☆☆☆☆ Google：Cirq 簡介。
2021/07/01
(74) Programming a quantum computer with Cirq (QuantumCasts) - YouTube
https://www.youtube.com/watch?v=16ZfkPRVf2w
參考資料三、☆☆☆☆☆ Quantum Computing 理論與實作簡介
2021/07/07
超棒的影片。內容好，英語好，剪輯好。原本 Cirq 的實作覺得如天書，超難的，但是看過影片後，就覺得還好。有點像是 Verilog 描述電路，Cirq 描述量子電路。
(74) Quantum Computing for Computer Scientists - YouTube
https://www.youtube.com/watch?v=F_Riqjdh2oM
參考資料四、☆☆☆☆ Cirq 簡單的實作
2021/07/09
不錯的介紹，但還是先懂基礎理論比較好。
(74) Learn to Code Google’s Quantum Computer with Cirq | Quantum Programming Tutorial - YouTube
https://www.youtube.com/watch?v=pEdI7DSxhBA
參考資料五、☆☆☆☆ 一些量子計算框架的簡單介紹
2021/07/10
(74) Should You Learn Cirq or Qiskit for Quantum Programming? - YouTube
https://www.youtube.com/watch?v=y69tg_eKHMU
參考資料六、☆☆☆☆（中文內容）很熱情的量子電腦簡介
2021/07/28
軟體部分在 1:03:54 到 1:15:10。
核心觀念在 1:09:55 到 1:11:40，同時發生。
傳統方法：誰搬走了我的乳酪，二元樹搜尋。量子方法：貓捉老鼠：薛丁格的貓，不僅僅是粒子的單一性，而是多個波的分身。
(3) 二次量子科技革命—量子電腦霸權已經降臨？ | 2019秋季展望科普演講 - YouTube
https://www.youtube.com/watch?v=MstpzSL4xUw
參考資料七、☆☆☆☆☆（中文內容）波粒二象性
2021/07/29
一、光的波粒二象性
「1923 年，康普頓發表論文提出解釋：如果將 X 光散射視為光子與晶體中的電子像撞球那樣彼此相撞，那麼根據動量守恆所計算出來的結果，完全符合各種散射角度所測得的實驗數據；他並給出了「康普頓頻移公式」描述波長變化與散射角度的關係。也就是說在 X 光散射中，X光表現得就像是粒子。」「此一「康普頓效應」終於說服了原來存疑的物理學家接受愛因斯坦的光子說，光的波粒二象性從此成為共識，量子力學也因此有了牢固的基石。」
https://pansci.asia/archives/147138
二、物質波
「愛因斯坦於 1905 年漂亮地用光量子解釋光電效應，並於 1916 年獲得密立根的實驗證實；1923 年，康普頓的 X 光散射實驗更是毫無疑義地證明了光的波粒二象性。於是，德布羅意大膽主張物質與光一樣，具有波粒二象性，並在博士論文中提出物質波的公式。」
https://pansci.asia/archives/172662
三、電子雙狹縫實驗
「德國物理學家勇松（Claus Jönsson, 1930 – ）於 1961 年用電子取代光子作雙狹縫實驗；電子具有質量，是不折不扣的粒子，結果竟然還是出現明暗相間的干涉條紋！這個電子雙狹縫實驗不但顛覆了傳統認知，還開啟了後續一連串不可思議的實驗。」「電子雙狹縫實驗完全體現了量子力學的哥本哈根詮釋；」「在 2002 年被票選為最美麗的科學實驗，而費曼也說它「包含了量子力學的核心思想。事實上，它包含了量子力學唯一的奧秘。」」
https://pansci.asia/archives/140581
--
影片：
(6) 高中物理_量子現象_4. 波粒二象性_1. 物質波_吳原旭 - YouTube
https://www.youtube.com/watch?v=cvTYmYV8sOM
(6) 实物粒子也有波动性吗？什么是物质波？李永乐老师讲公爵德布罗意的故事 - YouTube
https://www.youtube.com/watch?v=BuvKJOfE5FU
(7) 上帝的骰子：电子双缝干涉实验有多诡异？量子的波函数如何理解？ - YouTube
https://www.youtube.com/watch?v=Ik58awh2Mp4
參考資料八、☆☆☆☆☆（中文內容）疊加、糾纏、量子運算，與質因數分解
2021/07/30
用十八分鐘，簡單地解釋量子運算最重要的兩個觀念：疊加與糾纏，並以可以破解密碼的質因數分解演算法作為應用的例子。
(6) 18个量子比特纠缠是什么？量子计算机为何如此强大？李永乐老师讲量子的纠缠态与叠加态 - YouTube
https://www.youtube.com/watch?v=BzyOoo4AOxs
參考資料九 ☆☆☆☆☆ Qubit
2021/07/18
清楚的說明。
(1) Building the Bits and Qubits - YouTube
https://www.youtube.com/watch?v=F8U1d2Hqark
-----
量子運算首頁
一、Quantum Computing
https://hemingwang.blogspot.com/2021/06/quantum-computing.html
-----
Mask R-CNN（三）：Illustrated
2021/05/26
-----
-----
https://pixabay.com/zh/photos/personnel-men-women-transport-86426/
-----
Modified from # A Survey of Deep Learning-based Object Detection
說明：
兩階段物件偵測演算法，以 Faster R-CNN 為代表。
-----
Modified from # R-CNN
說明：
先用 SS 建議的 2000 個左右的建議框，每個建議框用 CNN 抽取特徵。然後對每一類進行 SVM 判別。
-----
# SPPNet
說明：
SPPNet 的 RoI Pooling 主要用來解決 crop 與 warp 兩個問題。
-----
# SPPNet
說明：
ROI 之後進行 Spatial Pyramid Pooling。
-----
Modified from # Fast R-CNN
說明：
先用 CNN 抽取特徵。然後把 SS 提供的 2000 個建議框，用 SPPNet 的 RoI 框住特徵圖，然後用 CNN 進行分類與回歸。
-----
# Faster R-CNN
說明：
k anchor boxes, k = 9。
2k scores, 2 = positive and negative。
4k coordinates, 4 = (x, y, w, h) x y 中心點，w h 寬高。
a box-regression layer (reg) 回歸。
a box-classification layer (cls) 分類。
最後一層的特徵圖，每個點（錨點），有三個 scale、每個 scale，有三種框。每個框預測有物件或沒物件。一共 18 種預測。種類參考本張圖。大小參考下一張圖。
-----
# Faster R-CNN
說明：
「全部 anchors 拿去訓練太多了，訓練程序會在合適的 anchors 中隨機選取 128 個 postive anchors + 128 個 negative anchors 進行訓練。」
https://zhuanlan.zhihu.com/p/31426458
-----
Modified from # A Survey of Deep Learning-based Object Detection
說明：
複習。
-----
說明：
RoI Pooling 的缺點，取樣的數目不平均，量化後有少許誤差。
https://zhuanlan.zhihu.com/p/73113289
-----
Figure 3. RoIAlign: The dashed grid represents a feature map, the solid lines an RoI (with 22 bins in this example), and the dots the 4 sampling points in each bin. RoIAlign computes the value of each sampling point by bilinear interpolation from the nearby grid points on the feature map. No quantization is performed on any coordinates involved in the RoI, its bins, or the sampling points.
圖 3. RoIAlign：虛線網格表示特徵圖，實線表示 RoI（在本例中為 2×2 個 bin），點表示每個 bin 中的 4 個採樣點。 RoIAlign 從特徵圖上的附近網格點通過雙線性插值計算每個採樣點的值。 不對 RoI、其 bin 或採樣點中涉及的任何坐標執行量化。
# Mask R-CNN 草稿
說明：
論文的說明。
-----
Modified from # Mask R-CNN 草稿
說明：
依部落格文章，特徵圖網格的中心點為紅點 P。RoI Pooling 使用紅點。RoI Align 則由紅點計算出使用點的實際值。
https://zhuanlan.zhihu.com/p/73113289
-----
Modified from # Mask R-CNN 草稿
說明：
先計算下中
下左 Q11 (x1, y1)
下右 Q21 (x2, y1)
下中 R1 (x, y1)
再計算上中
上左 Q12 (x1, y2)
上右 Q22 (x2, y2)
上中 R2 (x, y2)
由下中與上中計算出中
下中 R1 (x, y1)
上中 R2 (x, y2)
中 P (x, y)
https://zhuanlan.zhihu.com/p/73113289
-----
說明：
公式。可想像一個三維空間，y = y1 與 y = y2 的例子。越靠近參考點，質越接近參考點。
https://zhuanlan.zhihu.com/p/73113289
-----
# multi-task deep neural networks
說明：
Mask R-CNN 流程圖。
-----
# Mask-refined R-CNN
說明：
Head 為 FPN，參考原論文的討論。
-----
# Mask R-CNN 草稿
說明：
Mask R-CNN 流程圖。
-----
# Mask R-CNN 草稿
說明：
x4 是做四次卷積。80 是 COCO 的類別數。
-----
# LeNet。
圖十六，梯度下降法。
說明：
梯度下降的更新公式。從 k - 1 到 k 是一次更新的過程。偏導數的符號，代表對每個不同的權重 W 都要做梯度下降。epsilon 是一個常數，代表一定步長。固定步長是最簡單的梯度下降法。由於直接對 Error Function 直接求導數不容易，所以會利用反向傳播法，計算對某一層的梯度（多變數。如果是單變數則稱為導數）。計算每一層的導數，將路徑裡的導數相乘與相加，則得到所需要的梯度。若梯度皆小於 1，則有可能梯度消失。若梯度皆大於 1，則有可能梯度爆炸。
-----
# Deep Learning。
說明：
左圖是典型的神經網路。f 是激活函數。右圖是反向傳播的展開，可參考下一張圖會更清楚。
-----
Modified from # Deep Learning。
說明：
一個三層的範例。
-----
說明：
Max Pooling 要記錄位置，以便傳遞梯度。
平均池化可以視為一個函數，每個係數是 1 / n。最大池化可以視為一個 f(x) = x，在最大點，其他點則是 f(x) = 0。
https://blog.csdn.net/Jason_yyz/article/details/80003271
https://www.brilliantcode.net/1326/backpropagation-1-gradient-descent-chain-rule/
https://www.brilliantcode.net/1381/backpropagation-2-forward-pass-backward-pass/
https://www.brilliantcode.net/1527/backpropagation-3-n-layer-neural-networks/
-----
Modified from # Mask R-CNN 草稿
說明：
在某些網誌的說明裡，紅點是特徵圖某個網格的中心。
https://zhuanlan.zhihu.com/p/73113289
-----
說明：
RoI Pooling 的反向傳播
RoI Align 的反向傳播
xi：池化前特徵圖上的像素點。
yrj：池化後的第 r 個候選區域的第 j 個點。
最大池化，梯度傳給最大點。RoI Align，梯度傳給距離小於 1 的點。Δw 與 Δh 越小，則該原始點的比重與梯度越大。
https://zhuanlan.zhihu.com/p/73113289
-----
# Mask R-CNN
He, Kaiming, et al. "Mask r-cnn." Proceedings of the IEEE international conference on computer vision. 2017.
https://openaccess.thecvf.com/content_ICCV_2017/papers/He_Mask_R-CNN_ICCV_2017_paper.pdf
# Mask R-CNN 草稿
https://arxiv.org/abs/1703.06870
# A Survey of Deep Learning-based Object Detection
Jiao, Licheng, et al. "A survey of deep learning-based object detection." IEEE Access 7 (2019): 128837-128868.
https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=8825470
# R-CNN
Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.
# SPPNet
He, Kaiming, et al. "Spatial pyramid pooling in deep convolutional networks for visual recognition." european conference on computer vision. Springer, Cham, 2014.
https://arxiv.org/pdf/1406.4729.pdf
# Fast R-CNN
Girshick, Ross. "Fast R-CNN." Proceedings of the IEEE international conference on computer vision. 2015.
http://openaccess.thecvf.com/content_iccv_2015/papers/Girshick_Fast_R-CNN_ICCV_2015_paper.pdf
# Faster R-CNN
Ren, Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.
# multi-task deep neural networks
Bienias, Lukasz T., et al. "Insights into the behaviour of multi-task deep neural networks for medical image segmentation." 2019 IEEE 29th International Workshop on Machine Learning for Signal Processing (MLSP). IEEE, 2019.
# Mask-refined R-CNN
Zhang, Yiqing, et al. "Mask-refined R-CNN: A network for refining object details in instance segmentation." Sensors 20.4 (2020): 1010.
https://pdfs.semanticscholar.org/e0a7/a65db2b2ed5d65d4c39baf3b860d961e0389.pdf
# Deep Learning
LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436-444.
https://www2.cs.duke.edu/courses/spring19/compsci527/papers/Lecun.pdf
# LeNet。被引用 31707 次。經典的卷積神經網路，主要比 HDR 多了全連接層。
LeCun, Yann, et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324.
http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf
-----
