Tuesday, September 28, 2021

Attention(三):Illustrated

 Attention(三):Illustrated

2021/08/31

-----


https://pixabay.com/zh/photos/puzzle-match-missing-hole-blank-693873/

-----


# Attention 1。

說明:

Attention 之 Encoder 與 Decoder 的架構。上方為 Decoder,下方為 Encoder。生成每個 Decoder 的輸出時,都會參考所有 Encoder 子單元的值(這些值會形成一個陣列,所有的陣列會再形成一個矩陣)。可參考下方的公式說明。

-----


# Attention 1。

說明:

傳統的 Seq2seq 的 Encoder,所有隱藏層的輸出值 ht 由該時間的輸入值 xt 與上一個隱藏層的輸出值 ht-1 決定。Encoder 會把所有的隱藏層輸出值壓縮成一個文本向量 c(context)。單元可以使用 LSTM。

-----


# Attention 1。

說明:

傳統的 Seq2seq 的 Decoder,

公式二,輸出句子的機率,由所有輸出字的機率相乘而得。每個輸出字的機率,受限在前面的輸出字跟 c。

公式三,也就是由上個輸出字、隱藏層、c 決定此輸出字的機率.

-----


# Attention 1。

說明:

公式四的重點是 c 變成 ci。

-----


# Attention 1。

說明:

a:alignment model,就是一個 FNN(We parametrize the alignment model a as a feedforward neural network which is jointly trained with all the other components of the proposed system.)。

si:decoder 的隱藏層。

hj:encoder 的隱藏層。

eij:由 s(i-1) 跟 hi 構成。

αij:將 eij 通過 softmax。

ci:將 hj 透過 αij 加總。

-----


Figure 2: The BLEU scores of the generated translations on the test set with respect to the lengths of the sentences. The results are on the full test set which includes sentences having unknown words to the models.

圖 2:測試集上生成的翻譯在句子長度方面的 BLEU 分數。 結果在完整的測試集上,其中包括對模型而言具有未知單詞的句子。

# Attention 1。

說明:

RNNsearch,就是本模型 # Attention#1。RNNenc,就是 RNN-encoder-decoder,也就是 # Seq2seq 2。

30 and 50

「We train each model twice: first with the sentences of length up to 30 words (RNNencdec-30, RNNsearch-30) and then with the sentences of length up to 50 word (RNNencdec-50, RNNsearch-50).」

我們對每個模型訓練兩次:首先使用長度不超過 30 個單詞的句子(RNNencdec-30、RNNsearch-30),然後使用長度不超過 50 個單詞的句子(RNNencdec-50、RNNsearch-50)。

-----


# Seq2seq 2。

說明:

RNN Encoder–Decoder。作為對比模型。

-----


# Seq2seq 2。

說明:

ht 參考了 ht-1、yt-1、c 的資訊。

-----


Figure 1: Our model reads an input sentence “ABC” and produces “WXYZ” as the output sentence. The model stops making predictions after outputting the end-of-sentence token. Note that the LSTM reads the input sentence in reverse, because doing so introduces many short term dependencies in the data that make the optimization problem much easier.

圖 1:我們的模型讀取輸入句子“ABC”並生成“WXYZ”作為輸出句子。 模型在輸出句尾標記後停止進行預測。 請注意,LSTM 反向讀取輸入句子,因為這樣做會在數據中引入許多短期依賴關係,從而使優化問題變得更加容易。

# Seq2seq 1

說明:

# Seq2seq 1 ht 參考了 ht-1、yt-1 的資訊。

-----


Figure 3: Four sample alignments found by RNNsearch-50. The x-axis and y-axis of each plot correspond to the words in the source sentence (English) and the generated translation (French), respectively. Each pixel shows the weight ij of the annotation of the j-th source word for the i-th target word (see Eq. (6)), in grayscale (0: black, 1: white). (a) an arbitrary sentence. (b–d) three  randomly selected samples among the sentences without any unknown words and of length between 10 and 20 words from the test set.

圖 3:RNNsearch-50 發現的四個樣本對齊。 每個圖的 x 軸和 y 軸分別對應於源句子(英語)和生成的翻譯(法語)中的單詞。 每個像素以灰度(0:黑色,1:白色)顯示第 i 個目標詞的第 j 個源詞的註釋的權重(參見等式(6))。 (a) 任意句子。 (b-d) 在沒有任何未知單詞的句子中隨機選擇三個樣本,長度在 10 到 20 個單詞之間。

# Attention 1。

說明:

英翻法。每個法文單字都由不同權重的英文單字作為向量的主要來源,權重越高佔的比例越大。(a) 為任意句子。(b - d) 為任意沒有未知單字的句子且長度在 10 與 20 之間。

-----


# Attention 1。

說明:

縱軸為法文字,圖中可以看出每個法文字主要由哪些英文字貢獻。

-----



Table 1: BLEU scores of the trained models computed on the test set. The second and third columns show respectively the scores on all the sentences and, on the sentences without any unknown word in themselves and in the reference translations. Note that RNNsearch-50* was trained much longer until the performance on the development set stopped improving. ()We disallowed the models to generate [UNK] tokens when only the sentences having no unknown words were evaluated (last column).

表 1:在測試集上計算的訓練模型的 BLEU 分數。 第二列和第三列分別顯示所有句子的得分,以及本身和參考翻譯中沒有任何未知詞的句子的得分。 請注意 RNNsearch-50* 訓練時間更長,直到開發集的性能停止提高。 ( )當僅評估沒有未知單詞的句子時(最後一列),我們不允許模型生成 [UNK] 標記。

# Attention 1。


-----

Soft

「Soft Attention: the alignment weights are learned and placed “softly” over all patches in the source image; essentially the same type of attention as in Bahdanau et al., 2015.

Pro: the model is smooth and differentiable.

Con: expensive when the source input is large.」

軟注意力:學習對齊權重並“輕柔地”放置在源圖像中的所有塊上; 基本上與 Bahdanau 等人,2015 年的關注類型相同。

優點:模型平滑且可微。

缺點:當源輸入很大時很昂貴。

https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html#soft-vs-hard-attention

-----

Hard

「Hard Attention: only selects one patch of the image to attend to at a time.

Pro: less calculation at the inference time.

Con: the model is non-differentiable and requires more complicated techniques such as variance reduction or reinforcement learning to train. (Luong, et al., 2015)」

硬注意:一次只選擇一個圖像塊來注意。

優點:推理時計算量少。

缺點:模型是不可微的,需要更複雜的技術,如方差減少或強化學習來訓練。 (Luong, et al., 2015)

https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html#soft-vs-hard-attention

-----


Figure 1: Neural machine translation – a stacking recurrent architecture for translating a source sequence A B C D into a target sequence X Y Z. Here, <eos> marks the end of a sentence.

圖 1:神經機器翻譯——一種用於將源序列 A B C D 翻譯成目標序列 X Y Z 的堆疊循環架構。這裡,<eos> 標記了句子的結尾。

# Attention 2。

說明:


-----


Figure 2: Global attentional model – at each time step t, the model infers a variable-length alignment weight vector at based on the current target state ht and all source states ¯h s. A global context vector ct is then computed as the weighted average, according to at, over all the source states.

圖 2:全局注意力模型——在每個時間步長 t,該模型根據當前目標狀態 ht 和所有源狀態 ¯h s 推斷出一個可變長度的對齊權重向量 at。 然後,根據 at,在所有源狀態上計算全局上下文向量 ct 作為加權平均值。

# Attention 2。

說明:

藍:Encoder,紅:Decoder。對應論文圖一的第一層。

https://blog.csdn.net/weixin_40871455/article/details/85007560

-----


Figure 3: Local attention model – the model first predicts a single aligned position pt for the current target word. A window centered around the source position pt is then used to compute a context vector ct, a weighted average of the source hidden states in the window. The weights at are inferred from the current target state ht and those source states ¯h s in the window.

圖 3:局部注意力模型——該模型首先預測當前目標詞的單個對齊位置 pt。 然後使用以源位置 pt 為中心的窗口來計算上下文向量 ct,即窗口中源隱藏狀態的加權平均值。 權重是從當前目標狀態 ht 和窗口中的那些源狀態 ¯h s 推斷出來的。

# Attention 2。

說明:

藍:Encoder,紅:Decoder。對應論文圖一的第一層。

https://blog.csdn.net/weixin_40871455/article/details/85007560

-----

Global vs Local

「Luong, et al., 2015 proposed the “global” and “local” attention. The global attention is similar to the soft attention, while the local one is an interesting blend between hard and soft, an improvement over the hard attention to make it differentiable: the model first predicts a single aligned position for the current target word and a window centered around the source position is then used to compute a context vector.」

Luong, et al., 2015 提出了“全局”和“局部”的關注。 全局注意力類似於軟注意力,而局部注意力是硬注意力和軟注意力的有趣融合,對硬注意力的改進使其可區分:模型首先預測當前目標詞的單個對齊位置和一個窗口 以源位置為中心然後用於計算上下文向量。

https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html#soft-vs-hard-attention

-----

Bahdanau 和 Luong 注意力機制的主要區別


https://towardsdatascience.com/sequence-2-sequence-model-with-attention-mechanism-9e9ca2a613a

-----

Rederences

# Attention 1。被引用 14895 次。

Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).

https://arxiv.org/pdf/1409.0473.pdf


# Visual Attention。被引用 6060 次。

Xu, Kelvin, et al. "Show, attend and tell: Neural image caption generation with visual attention." International conference on machine learning. 2015.

http://proceedings.mlr.press/v37/xuc15.pdf


# Attention 2。被引用 4781 次。

Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning. "Effective approaches to attention-based neural machine translation." arXiv preprint arXiv:1508.04025 (2015).

https://arxiv.org/pdf/1508.04025.pdf


# Seq2seq 1。被引用 12676 次。

Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.

http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf


# Seq2seq 2。被引用 11284 次。

Cho, Kyunghyun, et al. "Learning phrase representations using RNN encoder-decoder for statistical machine translation." arXiv preprint arXiv:1406.1078 (2014).

https://arxiv.org/pdf/1406.1078.pdf

-----

Attention(二):Overview

Attention(二):Overview

2020/12/26

-----


https://pixabay.com/zh/photos/street-sign-note-direction-possible-141396/

-----

◎ Abstract

-----

◎ Introduction

-----

本論文要解決(它之前研究)的(哪些)問題(弱點)? 

-----


# Seq2seq 1。

-----

◎ Method

-----

解決方法? 

-----


# Attention 1。

-----

具體細節?

-----

◎ Result

-----

本論文成果。 

-----

◎ Discussion

-----

本論文與其他論文(成果或方法)的比較。 

-----

成果比較。 

-----

方法比較。 

-----

◎ Conclusion 

-----

◎ Future Work

-----

後續相關領域的研究。 

-----

後續延伸領域的研究。

-----

◎ References

-----

# Attention 1。被引用 14895 次。

Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).

https://arxiv.org/pdf/1409.0473.pdf


# Visual Attention。被引用 6060 次。

Xu, Kelvin, et al. "Show, attend and tell: Neural image caption generation with visual attention." International conference on machine learning. 2015.

http://proceedings.mlr.press/v37/xuc15.pdf


# Attention 2。被引用 4781 次。

Luong, Minh-Thang, Hieu Pham, and Christopher D. Manning. "Effective approaches to attention-based neural machine translation." arXiv preprint arXiv:1508.04025 (2015).

https://arxiv.org/pdf/1508.04025.pdf


# Short Attention。被引用 76 次。

Daniluk, Michał, et al. "Frustratingly short attention spans in neural language modeling." arXiv preprint arXiv:1702.04521 (2017).

https://arxiv.org/pdf/1702.04521.pdf

-----

Attention and Augmented Recurrent Neural Networks

https://distill.pub/2016/augmented-rnns/

-----

Monday, September 27, 2021

高雄(八)

 高雄(八)

-----

2021/09/27

跑步的路線總算敲定了。沿著鳳山運動公園到衛武營,原則是草坪、大樹下、寬敞的地方。今天兩點出門,跑第一趟後發現回家可能太早,於是多補一趟,結果回家時是五點,剛好。

-----

BLEU

 BLEU

2020/11/02

-----

BLEU(Bilingual Evaluation Understudy,發音近似 blue),Transformer 的評估標準之二。

-----


https://pixabay.com/zh/photos/champs-de-lave-volcans-paysage-4637076/

-----

「通常我們有 BLEU score(Bilingual Evaluation Understudy 雙語評估替補) 來解決。在戲曲界,understudy 指的是候補演員。」[2]。

「聽到老法講到 Cordon Bleu 時 bleu 的發音就跟英文的 blue 相近。」[3]。

-----


# BLEU

-----

Bilingual Evaluation Understudy 雙語評估替補。understudy 在戲曲界指的是候補演員。

一、modified n-gram(Pn)統計預測句的 n-gram 出現在參考句中的次數,但每個 gram 的次數不得超出參考句該 gram 的次數。舉例,輸出句有 7 個 the,參考句有 2 個 the,輸出句只能算 2 個正確,不能算 7 個正確。。

二、BP:短句比較容易得高分,所以加一個懲罰項。

-----


-----

BLEU 計算範例

candidate:Going to play basketball this afternoon ?(含標點符號字數為 7)

reference:Going to play basketball in the afternoon ?(含標點符號字數為 8)

P1 = 6/7 = 0.857...(Going to play basketball afternoon ?)

P2 = 4/6 = 0.666...(Going to, to play, play basketball, afternoon ?)

P3 = 2/5 = 0.4(Going to play, to play basketball)

P4 = 1/4 = 0.25(Going to play basketball)

r = 8

c = 7

BLEU = 0.423

-----

https://www.cnblogs.com/by-dream/p/7679284.html

https://blog.csdn.net/qq_42067550/article/details/105957469

https://tw.answers.yahoo.com/question/index?qid=20080619000016KK03830

-----


References

◎ 主要論文

[1] BLEU

Papineni, Kishore, et al. "BLEU: a method for automatic evaluation of machine translation." Proceedings of the 40th annual meeting of the Association for Computational Linguistics. 2002.

https://www.aclweb.org/anthology/P02-1040.pdf

-----

◎ 網路文章

[2] NLP机器翻译任务中,如何用Bleu score评价翻译质量(学习心得)_AItrust的博客-CSDN博客

https://blog.csdn.net/qq_42067550/article/details/105957469


[3] 請問一下這個字bleu | Yahoo奇摩知識+

https://tw.answers.yahoo.com/question/index?qid=20080619000016KK03830

-----

Perplexity

Perplexity 

2020/12/21

-----

PPL,Transformer 的評估標準之一。

-----


https://pixabay.com/zh/photos/confused-muddled-illogical-880735/

-----


https://huggingface.co/transformers/perplexity.html

-----

References

# PPL

Gamallo, Pablo, José Ramom Pichel Campos, and Inaki Alegria. "A perplexity-based method for similar languages discrimination." Proceedings of the fourth workshop on NLP for similar languages, varieties and dialects (VarDial). 2017.

https://www.aclweb.org/anthology/W17-1213.pdf


Perplexity of fixed-length models — transformers 4.1.1 documentation

https://huggingface.co/transformers/perplexity.html

Sunday, September 26, 2021

四、Quantum Computing Video

四、Quantum Computing Video

-----


https://pixabay.com/zh/photos/clouds-virtual-reality-game-ar-1845517/

-----

每日量子運算影片

-----

還沒看。


量子力學 - 臺大開放式課程 (NTU OpenCourseWare)

http://ocw.aca.ntu.edu.tw/ntu-ocw/ocw/cou/100S221/1


-----

Shor's Algorithm —  Coding with Qiskit S2E7

2021/08/30

Shor's Algorithm — Programming on Quantum Computers — Coding with Qiskit S2E7

https://www.youtube.com/watch?v=EdJ7RoWcU48&list=RDCMUClBNq7mCMf5xm8baE_VMl3A&index=4

-----

QPE

2021/08/29

https://www.youtube.com/watch?v=5kcoaanYyZw&list=RDCMUClBNq7mCMf5xm8baE_VMl3A&index=4

-----

H and UROT

2021/08/28

https://www.youtube.com/watch?v=pq2jkfJlLmY&list=RDCMUClBNq7mCMf5xm8baE_VMl3A&index=2

-----

QFT & QPE

2021/08/27

從 Shor's Algorithm 知道 Quantum Computing 一開始的重點還有 Grover's Algorithm、QPE、HHL。

7. Shor's Algorithm I: Understanding Quantum Fourier Transform, Quantum Phase Estimation - Part 1 - YouTube

https://www.youtube.com/watch?v=mAHC1dWKNYE&list=RDCMUClBNq7mCMf5xm8baE_VMl3A&index=2

-----

量子的波函數如何理解

2021/08/26

(7) 上帝的骰子:电子双缝干涉实验有多诡异?量子的波函数如何理解? - YouTube

https://www.youtube.com/watch?v=Ik58awh2Mp4

-----

複數平面

2021/08/25

「複數絕對值的幾何意義是距離的概念,這與實數絕對值的概念一樣。」

https://highscope.ch.ntu.edu.tw/wordpress/?p=15954

(7) 高中數學_三角函數_複數的幾何意涵_複數平面_吳汀菱 - YouTube

https://www.youtube.com/watch?v=Sd9FFGh7EnE

-----

Quantum Waves

2021/08/24

(7) Quantum Waves visualized in 3D - YouTube

https://www.youtube.com/watch?v=imdFhDbWDyM

-----

波函數的動畫演示

2021/08/23

【量子力学】快速理解什么是波函数:波函数的动画演示_哔哩哔哩_bilibili

彈幕開關在影片正下方,可關閉。

https://www.bilibili.com/video/av11345141/

-----

動畫版波函數

2021/08/22

(7) 【動畫版】量子算符與波函數 - Quantum Operators - YouTube

音樂有點干擾,可關閉。

https://www.youtube.com/watch?v=qnIOL9FS28I

-----

機率幅(Probability amplitude)延伸影片

2021/08/01

(6) Probability distributions and their properties - YouTube

https://www.youtube.com/watch?v=83tVBc-LuT4

(6) Infinite square well states, orthogonality and completeness (Fourier series) - YouTube

https://www.youtube.com/watch?v=9-hDalGA8do

合集:

(6) Infinite square well example computations and simulation - YouTube

https://www.youtube.com/watch?v=jDdbOljMZOw&list=RDCMUCNIEAv633WRg4ubBIhOcwMg&start_radio=1&rv=jDdbOljMZOw&t=2

-----

機率幅(Probability amplitude)

2021/07/31

https://qiskit.org/textbook/what-is-quantum.html

在教科書讀到 Probability 的 amplitude。在網路上找到定義。但還是先看一些影片再來看網路文章。

(6) Probability in quantum mechanics - YouTube

https://www.youtube.com/watch?v=wWZyLGEqgio

-----

☆☆☆☆☆(中文內容)疊加、糾纏、量子運算,與質因數分解

2021/07/30

用十八分鐘,簡單地解釋量子運算最重要的兩個觀念:疊加與糾纏,並以可以破解密碼的質因數分解演算法作為應用的例子。

(6) 18个量子比特纠缠是什么?量子计算机为何如此强大?李永乐老师讲量子的纠缠态与叠加态 - YouTube

https://www.youtube.com/watch?v=BzyOoo4AOxs

-----

☆☆☆☆☆(中文內容)波粒二象性

2021/07/29

一、光的波粒二象性

「1923 年,康普頓發表論文提出解釋:如果將 X 光散射視為光子與晶體中的電子像撞球那樣彼此相撞,那麼根據動量守恆所計算出來的結果,完全符合各種散射角度所測得的實驗數據;他並給出了「康普頓頻移公式」描述波長變化與散射角度的關係。也就是說在 X 光散射中,X光表現得就像是粒子。」「此一「康普頓效應」終於說服了原來存疑的物理學家接受愛因斯坦的光子說,光的波粒二象性從此成為共識,量子力學也因此有了牢固的基石。」

https://pansci.asia/archives/147138

二、物質波

「愛因斯坦於 1905 年漂亮地用光量子解釋光電效應,並於 1916 年獲得密立根的實驗證實;1923 年,康普頓的 X 光散射實驗更是毫無疑義地證明了光的波粒二象性。於是,德布羅意大膽主張物質與光一樣,具有波粒二象性,並在博士論文中提出物質波的公式。」

https://pansci.asia/archives/172662

三、電子雙狹縫實驗

「德國物理學家勇松(Claus Jönsson, 1930 – )於 1961 年用電子取代光子作雙狹縫實驗;電子具有質量,是不折不扣的粒子,結果竟然還是出現明暗相間的干涉條紋!這個電子雙狹縫實驗不但顛覆了傳統認知,還開啟了後續一連串不可思議的實驗。」「電子雙狹縫實驗完全體現了量子力學的哥本哈根詮釋;」「在 2002 年被票選為最美麗的科學實驗,而費曼也說它「包含了量子力學的核心思想。事實上,它包含了量子力學唯一的奧秘。」」

https://pansci.asia/archives/140581

--

影片:

(6) 高中物理_量子現象_4. 波粒二象性_1. 物質波_吳原旭 - YouTube

https://www.youtube.com/watch?v=cvTYmYV8sOM

(6) 实物粒子也有波动性吗?什么是物质波?李永乐老师讲公爵德布罗意的故事 - YouTube

https://www.youtube.com/watch?v=BuvKJOfE5FU

(7) 上帝的骰子:电子双缝干涉实验有多诡异?量子的波函数如何理解? - YouTube

https://www.youtube.com/watch?v=Ik58awh2Mp4

-----

☆☆☆☆(中文內容)很熱情的量子電腦簡介

2021/07/28

軟體部分在 1:03:54 到 1:15:10。

核心觀念在 1:09:55 到 1:11:40,同時發生。

傳統方法:誰搬走了我的乳酪,二元樹搜尋。量子方法:貓捉老鼠:薛丁格的貓,不僅僅是粒子的單一性,而是多個波的分身。

(3) 二次量子科技革命—量子電腦霸權已經降臨? | 2019秋季展望科普演講 - YouTube

https://www.youtube.com/watch?v=MstpzSL4xUw

-----

(中文內容)公有雲在量子運算

2021/07/27

(3) 公有雲業者在量子運算的布局【新聞線外OFFline news】 - YouTube

5:48 到 8:00 分析 IBM、Azure、AWS 是重點。

https://www.youtube.com/watch?v=uorS0CZdQVs

-----

2021/07/26

Hybrid Quantum-Classical Machine Learning - YouTube

https://www.youtube.com/watch?v=t9ytqPTij7k&list=PL_hJxz_HrXxsQNJHWp10up8x-hwd5uwr0&index=5

-----

2021/07/25

Variational Quantum Algorithms - YouTube

https://www.youtube.com/watch?v=YtepXvx5zdI&list=PL_hJxz_HrXxsQNJHWp10up8x-hwd5uwr0&index=4

-----

2021/07/24

Automatic Differentiation of Quantum Circuits - YouTube

https://www.youtube.com/watch?v=McgBeSVIGus&list=PL_hJxz_HrXxsQNJHWp10up8x-hwd5uwr0&index=3

-----

2021/07/23

(74) Quantum Deep Learning - YouTube

https://www.youtube.com/watch?v=YBHzT5V1SzU&list=PLvp1Riqm5kiP9taEosaX9rUVjVWZLaYLI&index=5

-----

2021/07/22

(74) Quantum Machine Learning - Maria Schuld - MLSS 2020, Tübingen - YouTube

https://www.youtube.com/watch?v=C_lBYKV_pJo&list=PLvp1Riqm5kiP9taEosaX9rUVjVWZLaYLI&index=7

-----

2021/07/21

(74) Quantum Machine Learning: Prospects and Challenges - YouTube

https://www.youtube.com/watch?v=Ycy40s4aXxs&list=PLvp1Riqm5kiP9taEosaX9rUVjVWZLaYLI&index=3

-----

2021/07/20

(1) Will Quantum Computers break encryption? - YouTube

https://www.youtube.com/watch?v=6H_9l9N3IXU

-----

2021/07/19

(1) You don't know how Quantum Computers work! - YouTube

https://www.youtube.com/watch?v=ZoT82NDpcvQ

-----

☆☆☆☆☆ Qubit

2021/07/18

清楚的說明。

(1) Building the Bits and Qubits - YouTube

https://www.youtube.com/watch?v=F8U1d2Hqark

-----

量子機器學習簡單的範例

2021/07/17

影片其實不錯。嗯,配樂不錯。

(74) What is Quantum Machine Learning? - Quantum Computing Tutorial - YouTube

https://www.youtube.com/watch?v=5Kr31IFwJiI&list=PLvp1Riqm5kiP9taEosaX9rUVjVWZLaYLI

-----

Andrea Morello 對量子電腦的簡單介紹。

2021/07/16

還是有點難。

(74) Lunch & Learn: Quantum Computing - YouTube

https://www.youtube.com/watch?v=7susESgnDv8

-----

量子糾纏(下)

2021/07/15

貝爾勝,愛因斯坦負。

(74) 复兴物理 丨 《宇宙自然生命简史》第二十四集:贝尔不等式的魔力 - YouTube

https://www.youtube.com/watch?v=HP9JeeHbZgY

-----

量子糾纏(上)

2021/07/14

有趣。

(74) 内容硬核 :什么是神奇的量子纠缠,必须得先从“EPR 实验”讲起。|《宇宙自然生命简史》第二十三集 - YouTube

https://www.youtube.com/watch?v=Qy7YTaGoWuE

-----

☆☆☆☆☆  量子運算中文簡介

2021/07/13

沒有深入,保證淺出。

(74) 十分鐘略懂量子運算:量子物理、量子電腦、量子位元、量子閘、量子演算法與量子未來應用 - YouTube

https://www.youtube.com/watch?v=hXHrhnt2TEI

-----

量子電腦硬體介紹(中文)。

2021/07/12

硬體,加減聽一些。

(74) 量子電腦國內外發展簡介 - YouTube

https://www.youtube.com/watch?v=q1HMX5ew7uQ

-----

TFQ 簡介?

2021/07/11

有多一點知識,但接受度不高。

(74) TensorFlow Quantum: A software platform for hybrid quantum-classical ML (TF Dev Summit '20) - YouTube

https://www.youtube.com/watch?v=-o9AhIz1uvo

-----

☆☆☆☆ 一些量子計算框架的簡單介紹

2021/07/10

(74) Should You Learn Cirq or Qiskit for Quantum Programming? - YouTube

https://www.youtube.com/watch?v=y69tg_eKHMU

-----

☆☆☆☆ Cirq 簡單的實作

2021/07/09

不錯的介紹,但還是先懂基礎理論比較好。

(74) Learn to Code Google’s Quantum Computer with Cirq | Quantum Programming Tutorial - YouTube

https://www.youtube.com/watch?v=pEdI7DSxhBA

-----

Quantum Computing 理論

2021/07/08

太難了。之後有機會再來看。

(74) Quantum Computing with Andrea Morello - YouTube

https://www.youtube.com/watch?v=jDW9bWSepB0

-----

☆☆☆☆☆ Quantum Computing 理論與實作簡介

2021/07/07

超棒的影片。內容好,英語好,剪輯好。原本 Cirq 的實作覺得如天書,超難的,但是看過影片後,就覺得還好。有點像是 Verilog 描述電路,Cirq 描述量子電路。

(74) Quantum Computing for Computer Scientists - YouTube

https://www.youtube.com/watch?v=F_Riqjdh2oM

-----

Google 量子電腦簡介。

2021/07/06

(74) What is a quantum computer? (QuantumCasts) - YouTube

https://www.youtube.com/watch?v=k-21vRCC0RM

-----

比較詳細的簡介,不錯。

2021/07/05

(74) Quantum Computers Explained – Limits of Human Technology - YouTube

https://www.youtube.com/watch?v=JhHMJCUmq28

-----

簡介,覺得用處不大。

2021/07/04

(74) A beginner's guide to quantum computing | Shohini Ghose - YouTube

https://www.youtube.com/watch?v=QuR969uMICM

-----

IBM:從兒童到專家的量子運算討論。

2021/07/03

(74) Quantum Computing Expert Explains One Concept in 5 Levels of Difficulty | WIRED - YouTube

https://www.youtube.com/watch?v=OWJCfOvochA

-----

IBM:推銷免費開發環境。

2021/07/02

(74) A Beginner’s Guide To Quantum Computing - YouTube

https://www.youtube.com/watch?v=JRIPV0dPAd4

-----

Google:Cirq 簡介。

2021/07/01

(74) Programming a quantum computer with Cirq (QuantumCasts) - YouTube

https://www.youtube.com/watch?v=16ZfkPRVf2w

-----

量子運算首頁

一、Quantum Computing

https://hemingwang.blogspot.com/2021/06/quantum-computing.html

-----

一、Quantum Computing

一、Quantum Computing

-----

量子運算簡介一

2021/07/22

大約一個月前,回實驗室聽到老闆提起量子電腦,覺得蠻有趣,也蠻前瞻的,於是開始上網蒐集一些訊息,然後摘要重點。以每天一則的方式進行,有多的,則將日期順延。

一開始覺得還蠻難的,但慢慢累積一些知識後,也理出一些頭緒。本文最上方有一個連結是重點整理。每天新增的部分,則是置頂。也可以由最底部 2021/06/26 第一則開始閱讀,應該會更順暢一些。

由於累積的資料慢慢變多,因此會陸續整理出來,給有興趣的朋友們閱讀。量子運算可能是下一個起飛的產業。一樣,國外比較快,台灣比較慢。起飛的時間,快則一兩年,慢則三五年,大家拭目以待吧!

-----


https://pixabay.com/zh/photos/fig-sliced-plate-wooden-table-972271/

-----

Quantum Computing Highlight

https://hemingwang.blogspot.com/2021/07/quantum-computing-highlight.html

-----

每日量子運算新聞

-----

QPE

2021/09/20

「Quantum Phase Estimation 量子相位估計,顧名思義,通過量子算法得到給定輸入的相位信息,估計即是這個相位結果的精度和我們算法的設置相關。」

https://zhuanlan.zhihu.com/p/46546391

-----

Hadamard 門 (H)

2021/09/19

「從線性空間來看,Hadamard 門 (H) 就是做基底變換用的,聯繫了 { |0>, |1> }, { |+>, |-> } 兩組基底。」

https://www.zhihu.com/question/268162671

-----

CROT and UROT

2021/09/18

https://qiskit.org/textbook/ch-algorithms/quantum-fourier-transform.html

-----

Computational Basis and Fourier Basis

2021/09/17

「2.1 Counting in the Fourier basis: 

In the computational basis, we store numbers in binary using the states  |0⟩  and  |1⟩ :

In the Fourier basis, we store numbers using different rotations around the Z-axis:」

https://qiskit.org/textbook/ch-algorithms/quantum-fourier-transform.html

-----

厄米算符

2021/09/17

「厄米算符,其數學本質就是自共軛算符,也就是經過轉置和取复共軛這兩個操作以後能夠還原的算符(採取矩陣表示就是矩陣)。物理上之所以重視它,最主要還是因為它代表著本徵值為實數,也就是代表著可觀測量。」

https://zhuanlan.zhihu.com/p/164840236

-----

HHL

2021/09/16

「在量子計算的殺手級應用中,通常人們比較熟知的是:

1:破解現行非對稱加密系統的 Shor's algorithm。

2:加速無結構資料庫搜尋速度的 Grover's Algorithm。

3:而在 2008 年時以三位物理學家為名的 HHL algorithm被提出後,人們發現量子電腦「好像」可以指數加速計算反矩陣的速度,接下來就是建立在 HHL(反矩陣算法)之上的量子機器學習理論被逐一搬上檯面:包含計算線性回歸、SVM(Support Vector Machine)、PCA(Principal component analysis)等。」

https://www.physics2045.blog/2020/04/19/qml-the-four-caveats-you-should-know/

-----

QPE

2021/09/15

「QPE 算法(Quantum Phase Estimation),量子相位估計算法。該算法在很早就已經被提出了,然而真正帶來很大影響的,就是基於它實現的 HHL 算法,以及各種基於 HHL 算法實現的量子機器學習算法。」

https://qrunes-tutorial.readthedocs.io/en/latest/chapters/algorithms/QPE_Algorithm.html

-----

Quantum Computing Fintech

2021/09/14

Fully scaled quantum technology is still a way off, but some banks are already thinking ahead to the potential value.

完全規模化的量子技術還有很長的路要走,但一些銀行已經在考慮潛在價值。

「In terms of the current state of the art, we see four key drivers of demand for quantum computing:

Scarcity of computational resources

High-dimensional optimization problems

Combinatorial optimization problems

Limitations in cryptography」

就目前的技術水平而言,我們看到了量子計算需求的四個關鍵驅動因素:

計算資源稀缺

「依賴計算量大的模型的公司(例如,擁有超過 6500 萬個機器學習模型的對沖基金 WorldQuant)採用達爾文系統來分配虛擬計算能力; 如果模型 X 的表現優於模型 Y,則模型 X 獲得更多資源,而模型 Y 獲得的資源更少。 經典處理能力的成本隨著模型複雜性呈指數增長,是這種商業模型的瓶頸。 這可以通過量子位相對於經典位的指數加速來解鎖。」

高維優化問題

「銀行和資產管理公司基於處理大量變量的計算密集型模型優化投資組合。 量子計算可以實現更快、更準確的決策,例如確定最佳投資組合。」

組合優化問題

「組合優化旨在通過使用數學方法來改進算法,以減少可能解決方案的數量或加快搜索速度。 這在算法交易等領域很有用,例如幫助玩家選擇網路中頻寬最高的路徑。」

密碼學的局限性

「當前的密碼協議依賴於這樣一個事實,即傳統計算機無法將大量數字分解為它們的基本素因數。 對於量子計算機而言,情況並非如此。 使用稱為 Shor 算法的一系列步驟,他們可以在某個階段提供質因數分解速度的指數增長,從而能夠“猜測”加密中使用的質因數。 另一方面,即使是最強大的經典計算機或量子計算機,量子加密也足以防止入侵。」

https://www.mckinsey.com/industries/financial-services/our-insights/how-quantum-computing-could-change-financial-services

-----

量子計算應用

2021/09/13

「量子計算在金融領域的應用主要包括三個次領域:投資組合優化(portfolio optimization)、交易(trading)以及詐欺偵測(fraud detection)。」

https://www.digitimes.com.tw/col/article.asp?id=1173

-----

量子世代下的密碼學:機會與挑戰

2021/09/12

「從實務的角度來說,密碼學是保護現代網路安全的基礎。每次與 Google 或成千上萬個網站建立連接時,我們都會使用加密技術。沒有它,現代網絡商務將無法生存一秒鐘。」

https://www.iis.sinica.edu.tw/zh/page/report/8106.html

-----

量子密碼學 (Quantum cryptography)

2021/09/11

「量子密碼學泛指利用量子力學的特性來加密的科學。量子密碼學最著名的例子是量子密鑰分發,而量子密鑰分發提供了通訊兩方安全傳遞密鑰的方法,且該方法的安全性可被資訊理論所證明。目前所使用的公開金鑰加密與數位簽章在具規模的量子電腦出現後,都會在短時間內被破解。」

「量子密鑰分發可抵抗量子電腦的攻擊是基於物理法則,而不是像後量子密碼學是基於量子電腦尚未攻破的數學難題。」

https://zh.wikipedia.org/zh-tw/%E9%87%8F%E5%AD%90%E5%AF%86%E7%A2%BC%E5%AD%B8

-----

後量子密碼學(英語:Post-quantum cryptography,縮寫:PQC)

2021/09/10

「後量子密碼學,又稱抗量子計算密碼學,是密碼學的一個研究領域,專門研究能夠抵抗量子計算機的加密算法,特別是公鑰加密算法。不同於量子密碼學,後量子密碼學使用現有的電子計算機,不依靠量子力學,它依靠的是密碼學家認為無法被量子計算機有效解決的計算難題。」

https://zh.wikipedia.org/wiki/%E5%90%8E%E9%87%8F%E5%AD%90%E5%AF%86%E7%A0%81%E5%AD%A6

-----

量子運算可破解比特幣? 專家: 別太低估比特幣!

2021/09/09

「根據 2017 年 6 月一篇論文,量子電腦必須具有超過 2500 量子位元(qubits)的處理能力,才能打破比特幣所使用的 256 位元(bit)加密技術。」

https://www.tastymoney.hk/2021/05/%E9%87%8F%E5%AD%90%E9%81%8B%E7%AE%97%E5%8F%AF%E7%A0%B4%E8%A7%A3%E6%AF%94%E7%89%B9%E5%B9%A3-%E5%B0%88%E5%AE%B6-%E5%88%A5%E5%A4%AA%E4%BD%8E%E4%BC%B0%E6%AF%94%E7%89%B9%E5%B9%A3%EF%BC%81/

-----

Aspen Digital整裝待發 對接平台多樣主攻機構投資者

2021/09/08

「雖然近半年加密貨幣的價格波動,但市場對相關投資的熱潮仍然持續。早前剛完成880萬美元的Pre-A輪融資的虛擬資產投資平台Aspen Digital,擬在10月正式推出,主攻家族辦公室及機構投資者。Aspen Digital聯合創辦人兼首席執行官何洋接受訪問時表示,機構投資者正缺乏一站式平台幫助他們投資及管理虛擬貨幣資產,Aspen Digital的新平台正對準這點。」

https://fortuneinsight.com/web/happening/968891/?fbclid=IwAR2cAQQvY9K_qJgkt9S5pBz_LYOJgCXc3j0LYopKWOZoIp-_Cps2Wimj3o8

-----

量子電腦和數字貨幣有矛盾?專家這樣說

2021/09/07

「擁有無可比擬的計算能力的量子計算機,會否威脅以加密算法為基礎的數字貨幣的安全?」

「專家介紹,雙方處於博弈狀態,互推彼此進步。華為創始人任正非說,數字貨幣的安全最終要依託法律。」

https://china.hket.com/article/2820228/%E3%80%90%E9%87%8F%E5%AD%90%E7%A7%91%E6%8A%80%E3%80%91%E9%87%8F%E5%AD%90%E9%9B%BB%E8%85%A6%E5%92%8C%E6%95%B8%E5%AD%97%E8%B2%A8%E5%B9%A3%E6%9C%89%E7%9F%9B%E7%9B%BE%EF%BC%9F%E5%B0%88%E5%AE%B6%E9%80%99%E6%A8%A3%E8%AA%AA

-----

加密戰來臨!量子電腦 10 年內破解比特幣錢包,專家推新演算法應戰

2021/09/06

「Groetker 認為,當新的安全演算法出現,就有許多時間轉移資金到新帳戶。他預計,到了 2024 年將出現第一個標準的量子安全加密演算法,比量子電腦破解比特幣加密演算法的時間還要早。」

「Groetker 表示,一旦建立新的量子安全加密技術,勢必會有大規模的轉移過程,每個擁有比特幣、以太幣等加密貨幣的用戶,就必須將資金從舊金鑰所保護的數位身分轉移到新錢包或新帳戶。不過,這些安全性升級仍需要用戶主動配合。」

https://technews.tw/2021/06/11/hacking-bitcoin-wallets-with-quantum-computers-could-happen/

-----

量子計算機的出現會破壞加密貨幣嗎?

2021/09/05

「也許幾十年之後我們可以看到政府所發行的加密貨幣,到那個時候他需要有東西可以保障他的加密性,當然會選擇量子計算機進行加密,以避免政府所開發的加密貨幣被駭客盜取。」

https://bitcoinmale.com/quantum-computer/

-----

量子力學、泛函分析、希爾伯特空間、與量子位元

2021/09/04

「從現代觀點來看,泛函分析研究的主要是實數域或複數域上的完備賦范線性空間。 這類空間被稱為巴拿赫空間,巴拿赫空間中最重要的特例被稱為希爾伯特空間,其上的範數由一個內積導出。 這類空間是量子力學數學描述的基礎。 更一般的泛函分析也研究 Fréchet 空間和拓撲向量空間等沒有定義範數的空間。」

https://zh.wikipedia.org/wiki/%E6%B3%9B%E5%87%BD%E5%88%86%E6%9E%90


「The prototypical example of a finite-dimensional Hilbert space is a qubit, a quantum system whose Hilbert space is 2-dimensional. A pure state for a qubit can be written as a linear combination of two orthogonal basis states with complex coefficients:」

有限維希爾伯特空間的典型例子是量子位元,一個量子系統,其希爾伯特空間是二維的。 一個量子位元的純態可以寫成兩個具有複係數的正交基態的線性組合:

https://en.wikipedia.org/wiki/Measurement_in_quantum_mechanics

-----

波、干涉、疊加

2021/09/03

「And to work out the probability of measuring each outcome, we add these amplitudes together, and then square them:」

為了計算出測量每個結果的概率,我們將這些幅度相加,然後對它們求平方:

貌似量子位元借用量子力學的觀念。波粒二象性的波。

https://qiskit.org/textbook/what-is-quantum.html

-----

波、干涉、疊加

2021/09/02

「We can see the amplitudes of finding the coin (qubit) in the state 1 cancel each other out, and we call this effect interference. You should verify for yourself that this model works when the initial state is 1.」

我們可以看到在狀態 1 中找到硬幣(量子位)的幅度相互抵消,我們稱之為效應干擾。 您應該親自驗證此模型在初始狀態為 1 時是否有效。

https://qiskit.org/textbook/what-is-quantum.html

「量子計算的兩大基石為:干涉 (interference) : 對應到 波 的性質。量子糾纏 (entanglement) :對應到 粒子 的性質。」

「以雜訊消除 (noise cancellation) 為例,我們可以創造一個波,這個波具有和雜訊一樣的強度,但是相位差了 180 度,見下圖的 Cancellation tone,讓這個 Cancellation tone 與原來的雜訊 疊加,我們就可以得到一個比較乾淨的波。」

貌似量子位元借用量子力學的觀念。波粒二象性的波。

https://weikaiwei.com/quantum-computing/ibm-qiskit-part1/

-----

量子計算:講義

2021/09/01

Ronald de Wolf(QuSoft、CWI 和阿姆斯特丹大學)

「這是一套從理論計算機科學的角度適合量子計算和信息碩士課程的講義。第一個版本於 2011 年編寫,隨後幾年進行了許多擴展和改進。前 10 章涵蓋了電路模型和主要的量子算法(Deutsch-Jozsa、Simon、Shor、隱藏子群問題、Grover、量子遊走、哈密頓模擬和 HHL)。接下來是關於復雜性的 3 章,關於分佈式(“愛麗絲和鮑勃”)設置的 4 章,以及關於量子糾錯的最後一章。附錄 A 和 B 簡要介紹了所需的線性代數以及其他一些數學和計算機科學背景。所有章節都帶有練習,附錄 C 中提供了一些提示。」

https://arxiv.org/abs/1907.09415

-----

量子計算的兩大基石

2021/08/31

「量子計算的兩大基石為:干涉 (interference) : 對應到 波 的性質。量子糾纏 (entanglement) :對應到 粒子 的性質。」

https://weikaiwei.com/quantum-computing/ibm-qiskit-part1/

-----

隆納·德·沃爾夫

2021/08/30

電腦科學家

「譯自英文 - Ronald Michiel de Wolf 是荷蘭計算機科學家,目前是 Centrum Wiskunde & Informatica 的高級研究員,也是阿姆斯特丹大學邏輯,語言和計算研究所的教授。他的研究興趣是量子計算,量子信息,編碼理論和計算複雜性理論。 维基百科(英文)」

https://en.wikipedia.org/wiki/Ronald_de_Wolf

-----

Noise、統計、shot

2021/08/29

「因為 aer 模擬器是有 noise 的(實際的量子電路也有很大的 noise),每一次執行完的結果可能不同,因此要用統計的方式來得到結果,這邊設定 shot 為1000。」

https://weikaiwei.com/quantum-computing/ibm-qiskit-part2/

-----

力學波的能量為什麼和振幅平方成正比

2021/08/28

「力學波的能量就是介質振盪的動能,因此,能量和(振幅以及頻率)的平方,都成正比。」

https://www.phy.ntnu.edu.tw/demolab/phpBB/viewtopic.php?topic=12069

https://pb.ps-taiwan.org/catalog/ins.php?index_m1_id=3&index_id=501

https://pb.ps-taiwan.org/catalog/ins.php?index_m1_id=3&index_id=511

https://zh.wikipedia.org/wiki/%E5%9C%93%E5%91%A8%E9%81%8B%E5%8B%95

-----

機率密度 能量 振幅平方

2021/08/27

「可以看出,波的能量與振幅 A 的平方成正比關係。單位時間內光的能量是功率。根據波動理論,光的功率和電磁波的振幅有關。而根據量子理論,單光子的能量由頻率決定 (E=hv),整個光場的能量還和光子數有關。2015年7月5日

波的振幅與能量的關係_百度知道」

https://zhidao.baidu.com/question/551126219.html

-----

複數物理量的表達習慣

2021/08/26

「物理初學者可能會以為只有量子力學才會使用到複數 (complex number)。因為量子力學的狀態空間是抽象的希爾伯特空間 (Hilbert space),為了描述系統狀態在希爾伯特空間的演化必須使用複數,而古典物理的可觀測量都是實數,不需要使用複數。其實不然,古典物理與許多工程問題也大量使用複數表達式,雖然實際觀測的物理量確實可用實數表示。這些與實驗對應的實數量通常就是複數量的實部或虛部。在這些問題的處理中若完全不使用複數,解決過程就會變得非常繁瑣,有時候甚至根本做不到。」

https://pb.ps-taiwan.org/catalog/ins.php?index_m1_id=3&index_id=614

-----

機率振幅絕對值平方等於機率密度

2021/08/25

「為什麼 "波函數的平方會等於機率"  呢?不是想問那個機率的操作、歸一 .... 等,而是要問這個結論是怎麼來的。」

https://www.phy.ntnu.edu.tw/demolab/phpBB/viewtopic.php?topic=19401

-----

量子電腦線上微課程

「量子電腦是全球最前瞻、發展最迅速的新興科技之一,我們希望讓有興趣有潛力的學生們有機會超前學習,提早打開對未來電腦運算的全新認知,配合成功大學前沿量子科技中心 (QFort) 於暑假所開設之二日量子電腦微課程,特別開放第一天的課程進行線上直播,讓更多學子能一窺量子電腦之奧祕。課程的規劃設計嚴謹有系統,教學的方式深入淺出且創新趣味,更特別介紹如何登入 IBM 雲端量子電腦進行基本運算,提升學習的嶄新層次。

課程日期:8/14(六)

課程時間:早上 9:00 到下午 4:00

課程長度:6 小時

招生對象:高中生、大學生」

https://www.tcnews.com.tw/event/item/10031.html

-----

你也能懂量子力學 

2021/08/23

「物理學家發現,除了向上和向下外,一些與違反常識的量子態,同樣符合薛丁格方程!例如「(向上 + 向下) 除以開方 2」和「(向上 – 向下) 除以開方 2」就是另外一組符合薛丁格方程的解!換句話說,電子能夠同時向上和向下旋轉!」

「量子力學的精髓就在於,我們永遠無法得知在觀察之前的電子究竟通過了哪一個狹縫、或究竟它是向上或向下自旋;其原因不是資料不足,而是電子是確確實實地同時通過兩個狹縫、確確實實地同時向上和向下自旋的!」

https://hfdavidyu.com/2015/06/05/%e4%bd%a0%e4%b9%9f%e8%83%bd%e6%87%82%e9%87%8f%e5%ad%90%e5%8a%9b%e5%ad%b8/

-----

狄拉克符號(Dirac notation)

2021/08/22

「在了解量子之前,首先要了解狄拉克符號,狄拉克符號是量子力學中廣泛使用的一種符號,為狄拉克 1939 年所制定的標準符號系統,又分為括量 (ket) 以及包量 (bra)。」

https://chiwei955201314.gitbook.io/quantum/

https://docs.microsoft.com/zh-tw/azure/quantum/concepts-dirac-notation

-----

為什麼量子電腦這麼難懂?——專訪旺宏電子盧志遠總經理

2021/08/21

「以我們最熟悉的古典物理為例,在地球人生活的範圍和尺度中,以牛頓力學為基石的古典物理都是沒有問題的、具有解釋力的,然而,當我們的眼光放大到整個銀河系時,古典物理就不行了,同樣的,當我們把視野縮得非常小,小到原子以下時,即使牛頓復活,他與他的運動定律對微觀尺度的現象也將無可奈何。」

「即使量子科技浪潮來襲,盧志遠認為年輕人並不需要著急、也不需要跟風。可以選擇站在浪尖,也未嘗不可只在岸邊觀潮。投入量子科技的科學研究,或是關注量子科技趨勢、使用量子科技帶來的成果與便利,創造因量子科技帶來的新應用領域,以破壞性創新發明新商業模式,可能反而是最大的機會。」

https://pansci.asia/archives/326486

-----

薛丁格方程式,波函數

2021/08/20

「薛丁格方程式是由奧地利物理學家薛丁格提出的量子力學中的一個基本方程式,用來計算一個量子系統的波函數,如何隨著時間發生演變。就好像牛頓運動定律在古典力學的地位,薛丁格方程式在量子力學裏也佔有極其重要的地位。」

「既然粒子具有波-粒二象性,應該會有一個能夠反應這特性的波動方程式,正確地描述粒子的量子行為。於是,經過一反努力,薛丁格方程式總算被找到了。薛丁格用這個方程式來計算氫原子的譜線,得到了與用波耳模型計算出的能階相同的答案。」

「波函數是量子力學中用來描述粒子的德布羅意波的函數。波函數可以用來計算在量子系統中某個事件發生的機率振幅。而機率振幅的絕對值的平方,就是事件發生的機率密度。」

https://highscope.ch.ntu.edu.tw/wordpress/?p=17762

-----

機率幅(Probability amplitude)

2021/08/19

「在量子力學中,機率幅是一個複數函數,它的絕對值的平方代表某種物理量的機率或機率密度。M‧玻恩提出這個概念最主要的目的是要使波函數與真實的物理量發生關連。」

「1923 年,德布羅意提出了「物質波」的假設之後,過了不久,1926 年 1 月,薛丁格就發表了他的第一篇關於波動力學的論文。薛丁格認為,他的波函數可以使物理學再度回到了一個包括連續場和波動的堅實基礎,從這個基礎出發,便可作出正確的物理預言。他創建了電子的微分方程,該方程的解就代表德布羅意波。這些解就是大家所熟知的“波函數”。」

https://highscope.ch.ntu.edu.tw/wordpress/?p=17771

-----

量子霸權,真正派上用途的數位退火技術

2021/08/18

「量子力學中的"疊加(superposition)"現象是指同時存在兩種不同的狀態,即 0 和 1,也是 "量子位元(quantum bits 或 qubits)”的基礎,可以大幅地提升計算速度,數位退火技術則模擬了量子位元。目前存在的各種量子計算方法中,數位退火被歸類為增強型退火法,側重於解決組合優化問題,與傳統電腦不同,數位退火不需要程式設計,只需設置參數就可以進行計算。」

https://futurecity.cw.com.tw/article/2115

-----

高中職以下學生的量子科技教材

2021/08/17

「張慶瑞指出,30 歲以下的年輕世代未來必將廣泛接觸與應用量子知識,所以量子資訊教育需要從小培養,才能讓知識變成習以為常的常識。不過,由於目前還沒有適合高中職以下階段學生研讀的量子科技教材,所以本次培訓營就希望能在培養量子教育師資的同時,也邀請種子教師們一起籌備量子教材。」

https://technews.tw/2020/12/18/ibm-quantum-foxconn/

-----

薛丁格的貓

2021/08/16

「薛丁格把貓放進一個不透明的盒子裡。盒子連接到一個包含放射性原子核和有毒氣體的實驗裝置中。可憐的貓被活生生關在裡面。如果原子衰變了,毒氣瓶會被打破,盒子裡的貓就會被毒死;要是原子沒有衰變,貓就好好的活著。由於原子核是否衰變是隨機事件,所以在量子力學中我們稱之為疊加態。那麼這隻貓理所當然也隨著原子核疊加,進入一種「又死又活」的狀態。」

https://www.thenewslens.com/article/141302

「量子跳躍的不可預測性會導致量子電腦計算時出現問題,如果量子跳躍不再隨機、而是可預測的行為,或讓量子電腦領域走上光明大道,雖然將研究整合到現有量子電腦前還有很多路要走。」

https://technews.tw/2019/06/17/quantum-jump-schrodingers-cat-electronic-particle/

-----

臺灣密碼學系統「Rainbow」晉級後量子密碼標準化決賽

2021/08/15

「加密系統也根據數學難題結構分成好幾派,除了當紅的 RSA 加密演算法、橢圓曲線密碼系統外,還有晶格、偵錯修正碼、多變量二次函數、雜湊函數及超奇異橢圓曲線同源等等。」

https://pansci.asia/archives/197204

-----

Quantum gold rush

2021/08/14

「NEWS FEATURE

02 October 2019

Quantum gold rush: the private funding pouring into quantum start-ups

A Nature analysis explores the investors betting on quantum technology.」

https://www.nature.com/articles/d41586-019-02935-4

-----

Physicists move closer to defeating errors in quantum computation

2021/08/13

「By Adrian ChoJul. 14, 2021 , 6:30 PM

Physicists at Google have taken an important step toward protecting delicate information in their nascent quantum computer from errors that can obliterate it. The researchers can’t yet compensate for all types of errors—a necessary step toward building a full-fledged quantum computer—but others say they’re poised to achieve that goal.」

https://www.sciencemag.org/news/2021/07/physicists-move-closer-defeating-errors-quantum-computation

-----

如何合理糾錯?量子計算邁出重要一步

2021/08/12

「美國谷歌公司的物理學家們在保護量子計算機中微妙信息不被錯誤抹殺方面邁出了重要一步。雖然研究人員還不能彌補所有類型的錯誤——這是建造一個成熟量子計算機的必要步驟,但該實驗演示有望為可擴展容錯量子計算機的開發鋪平道路。 7 月 14 日,相關論文刊登於《自然》。」

https://kepu.gmw.cn/2021-07/16/content_34998331.htm

-----

A survey of quantum learning theory

2021/08/11

Guest column: A survey of quantum learning theory

S Arunachalam, R de Wolf - ACM SIGACT News, 2017 - dl.acm.org

「… 4The only other paper we are aware of to survey quantum learning theory is an unpublished manuscript by Robin Kothari from 2012 [Kot12] which is much shorter but partially overlaps with ours; we only saw this after finishing a first version of our survey …」

  被引用 94 次 相關文章 全部共 10 個版本

-----

線性代數是量子計算的語言

2021/08/10

「Linear algebra is the language of quantum computing. It is therefore crucial to develop a good understanding of the basic mathematical concepts that linear algebra is built upon, in order to arrive at many of the amazing and interesting constructions seen in quantum computation. The goal of this section is to create a foundation of introductory linear algebra knowledge, upon which the reader can build during their study of quantum computing.」

線性代數是量子計算的語言。 因此,對構建線性代數的基本數學概念有很好的理解至關重要,以便得出量子計算中許多令人驚奇和有趣的結構。 本節的目標是創建介紹性線性代數知識的基礎,讀者可以在其學習量子計算的過程中建立基礎。

https://qiskit.org/textbook/ch-appendix/linear_algebra.html

-----

量子計算的線性代數

2021/08/09

「線性代數是量子運算的語言。 雖然您不需要知道它就能實行或撰寫量副程式,但它廣泛用來描述量子位狀態、量子操作,以及預測量子電腦在回應一連串的指示。」

「熟悉量子物理的基本概念可以協助您了解量子運算,同樣地,了解一些基本的線性代數也可以協助您了解量子演算法的運作方式。 至少請熟悉向量和矩陣乘法。」

https://docs.microsoft.com/zh-tw/azure/quantum/overview-algebra-for-quantum-computing

-----

哈佛開發 256 量子位元模擬器

2021/08/08

「此量子模擬器是依據研究團隊 2017 年開發的版本升級,原先版本是 51 個量子位元;新系統可將原子組裝於 2D 光鑷(optical tweezers)陣列,因而可將 51 量子位增加至 256 量子位元。原子初始加載到光鑷是隨機的,研究人員必須移動原子以排列成目標幾何形狀,以設計量子位間的相互作用。」

https://technews.tw/2021/07/13/harvard-quantum/

-----

80 量子位元(qubit)系統

2021/08/07

「Rigetti Computing 預計今年(2021)在其量子雲端服務平台上提供由多晶片技術驅動的 80 量子位元(qubit)系統。」

https://iknow.stpi.narl.org.tw/Post/Read.aspx?PostID=17999

-----

Qubit

2021/08/06

「就像位是傳統運算中資訊的基礎物件一樣, 量子位 (量子 bits) 是量子運算中資訊的基礎物件。 為了瞭解這項對應,本文將探討最簡單的範例:單一量子位。」

教科書可參考。英文維基百科可參考。

https://docs.microsoft.com/zh-tw/azure/quantum/concepts-the-qubit

-----

曾蓓簡介

2021/08/05

「碩士研究生畢業後,曾蓓畢業後,曾赴麻省理工學院攻物理學博士並於 2009 年獲得學位。  2010 年曾蓓獲得加拿大滑鐵盧大學量子計算研究所的引力和圭爾夫大學助理教授,當屬華人物理學界的後起之秀。」

https://www.zhihu.com/question/60361555/answer/175567346

-----

全球首台電腦型核長大量子計算機在深圳發布

2021/08/04

「第一代量旋科技自主研究的第一代“雙子座”採用核產品,成為核心平台。 “雙子座”擁有 2 個量子比特,具備實現量子計算所需的所有要素,可實現多種量子計算算法,同時具備易用性的圖形界面, 內置多種核心量子算法,還具有布洛赫演示、用戶自定義量子線路等球功能。據悉,“雙子座”隨機配備的量子計算軟件和量子計算教案為量子計算教學提供了整體解決方案。」

https://www.sohu.com/a/365919383_256868

-----

科大引港首台商用量子計算機

2021/08/03

「作為此計算機的主要設計者之一、科大物理學系教授兼量子科技研究中心主任曾蓓教授表示:「與谷歌、微軟等研發的超導量子計算機所要求的極低溫環境不同,這款量子計算機於常溫下便可工作,而且體積小、重量輕,機身只比普通電腦略大。相信此系統能有助推廣本港量子科技的教育和人才培訓,讓大眾尤其是年輕學生,及早對量子計算這種嶄新技術產生興趣。」」

http://startupbeat.hkej.com/?p=105794

-----

科大引入全港首台商用量子計算機

2021/08/02

「香港科技大學指賽馬會高等研究院新設立的量子科技研究中心近日引入本港首台用於教學用途商用量子計算機,該計算機採用核磁共振原理,它可實體向學生展示量子計算背後的操作原理和方法,並開放給本港其他院校、中小學及公眾觀摩使用。」

http://www.hkcd.com/content/2021-07/09/content_1279712.html

-----

因斯布魯克大學號稱打造出最小的量子電腦

2021/08/01

「除了穩定性之外,量子電腦商業應用的一個決定性因素是可用的量子位元(qubit)的數量。德國政府最近設定的初步目標,是建立具有 24 個全功能量子位元的量子電腦示範機,因斯布魯克大學的量子物理學家們已經實現了這個目標。他們能夠獨立控制並成功地用緊湊型的新設備糾纏多達 24 個離子。」

https://iknow.stpi.narl.org.tw/Post/Read.aspx?PostID=18010

-----

企業利用量子電腦開發創新應用

2021/07/31

「在美國方面,金融行業也在積極使用量子電腦。高盛集團預計 5 年內可以導入加快金融商品風險評估及價格預測的計算方法。」

https://iknow.stpi.narl.org.tw/Post/Read.aspx?PostID=17991

-----

成大量子電腦微課程

2021/07/30

「「2021 第二屆高中生量子電腦線上微課程」免費開放給高中生進行全線上課程學習,包含量子電腦、矩陣運算、量子疊加態、量子位元、量子糾纏、量子邏輯閘,含有實機線上操作 IBM 雲端量子電腦,透過線上課程讓高中生提早了解未來電腦運算的嶄新邏輯,提早培養下一個世代台灣不可或缺的高科技人才。」

https://ctee.com.tw/industrynews/cooperation/475902.html

-----

superposition and entanglement

2021/07/29

Alarming differences

「Classical gates operate on classical bits, while quantum gates operate on quantum bits (qubits). This means that quantum gates can leverage two key aspects of quantum mechanics that are entirely out of reach for classical gates: superposition and entanglement.」

驚人的差異

經典門操作經典位,而量子門操作量子位(量子位)。 這意味著量子門可以利用經典門完全無法實現的量子力學的兩個關鍵方面:疊加和糾纏。

https://towardsdatascience.com/demystifying-quantum-gates-one-qubit-at-a-time-54404ed80640

-----

Quantum Computation and Quantum Information

2021/07/28

Cirq Tutorials 的預備知識。

https://nol.ntu.edu.tw/nol/coursesearch/print_table.php?course_id=222%20D3040&class=&dpt_code=P160&ser_no=17812&semester=108-2

-----

Prof. Andrea Morello

2021/07/27

「13:50-14:30     Australia's Approach to Quantum Supremacy (TBC)

                        Prof. Andrea Morello, The University of New South, Wales (UNSW)」

https://reg.tsia.org.tw/2021ICDesign0618

-----

Andrea Morello

2021/07/26

「Andrea Morello 不僅是新南威爾斯大學量子工程科學教授,也是雪梨一家基於新南威爾斯大學的量子計算和通訊先進技術中心專案經理,並於 2017 年 8 月成立澳洲第一家量子計算公司 Silicon Quantum Computing Pty Ltd.,旨在推動量子電腦發展並商業化。」

「2017 年 9 月,Andrea Morello 團隊發明基於「自旋翻轉型量子位元」的量子電腦架構,使大規模製造量子晶片的成本和難度大幅降低,並在期刊《自然通訊》(Nature Communications)發表論文。」

https://technews.tw/2020/03/18/coherent-electrical-control-of-a-single-high-spin-nucleus-in-silicon/

-----

quantum computing stock

2021/07/25

[HTML] Practical Meta-Reinforcement Learning of Evolutionary Strategy with Quantum Neural Networks for Stock Trading

E Sorensen, W Hu - Journal of Quantum Information Science, 2020 - scirp.org

「… The goal of this paper is to not create an algorithm to make a lot of money on the stock market but to show how a combination of reinforcement learning, meta learning, and quantum computing can effectively learn to trade on a practical environment like the stock market …」

  相關文章 全部共 3 個版本 

...本文的目標不是創建一種算法來在股票市場上賺很多錢,而是展示強化學習、元學習和量子計算的組合如何有效地學習在股票市場等實際環境中進行交易  …

https://www.scirp.org/journal/paperinformation.aspx?paperid=102637

-----

Qiskit Tutorials

2021/07/24

https://qiskit.org/documentation/tutorials.html

-----

TensorFlow Quantum Tutorials

2021/07/23

「TensorFlow Quantum focuses on quantum data and building hybrid quantum-classical models. It provides tools to interleave quantum algorithms and logic designed in Cirq with TensorFlow. A basic understanding of quantum computing is required to effectively use TensorFlow Quantum.」

TensorFlow Quantum 專注於量子數據和構建混合量子經典模型。 它提供了將 Cirq 中設計的量子算法和邏輯與 TensorFlow 交織的工具。 有效使用 TensorFlow Quantum 需要對量子計算有基本的了解。

https://www.tensorflow.org/quantum/overview

-----

Cirq Tutorials

2021/07/22

教程和示例

Cirq 附帶了一系列初學者、中級和高級量子算法的示例實現,它們展示了庫的主要功能。

https://quantumai.google/cirq/tutorials

-----

「量子霸權」提出者展望 新時代下量子計算的 11 大應用

2021/07/21

「6.1 量子優化器

6.2 量子硬體測試平台的意義

6.3 量子退火

6.4 抗噪量子迴路

6.5 量子深度學習

6.6 量子矩陣求逆

6.7 量子推薦系統

6.8 量子半定規劃

6.9 量子模擬

6.10 數字型量子模擬與模擬型量子模擬

6.11 量子遊戲」

「機器學習正在實現技術變革,而且也對科學有很大的影響,所以我們很自然就會思考機器學習與量子技術結合起來的潛力。量子機器學習(quantum machine learning)有一些不同的概念。這一主題的大多數文獻都是關於開發能夠加速線性代數及相關任務的量子算法 [34,35],我會在隨後的小節中指出這些應用。但首先我想評價一下量子深度學習(quantum deep learning)[36] 的潛力。」

論文:

2018_ Quantum computing in the NISQ era and beyond

「There are a variety of different notions of “quantum machine learning.” Much of the literature on the subject builds on quantum algorithms that speed up linear algebra and related tasks [37, 38], and I’ll address such applications in the ensuing subsections. First, though, I’ll comment on the potential of quantum deep learning [39].」

[37] J. Biamonte, P. Wittek, N. Pancotti, P. Rebentrost, N. Wiebe, and S. Lloyd, Quantum machine learning, Nature 549, 195-202 (2017), arXiv:1611.09347, https://doi.org/10.1038/nature23474.

[38] S. Aaronson, Read the fine print, Nature Physics 11, 291-293 (2015), https://doi.org/10.1038/nphys3272.

[39] X. Gao, Z. Zhang, and L. Duan, An efficient quantum algorithm for generative machine learning, arXiv:1711.02038 (2017).

https://www.sohu.com/a/220858225_129720

https://kknews.cc/zh-tw/science/2eq9m3r.html

-----

量子霸權與量子處理器,如何結合CPU / GPU?

2021/07/20

「該名詞 quantum supremacy (量子霸權) 於 2011 年加州理工學院理論物理學家 John Preskill 在的演講中創造了這個詞。今年 (2018)1 月,他發表了一篇論文,他說量子計算即將進入 NISQ 的階段,就是“量子噪聲中間階段 (noisy intermediate stage quantum)”,其中,量子機器將具有 50 至幾百個量子位元,“噪聲”意味著我們對這些量子的控制不完善,這種噪音將會嚴重限制量子機器在短期內能夠實現的目標。Preskill 說,他仍然相信量子電腦將對社會經濟產生變革性影響,但仍然“可能還有幾十年的時間”才會實現。尤其,噪聲是一個很大問題待解決。」

https://iknow.stpi.narl.org.tw/Post/Read.aspx?PostID=14263

-----

量子技術即將進入青黃不接的階段,Google 釋出 NISQ 演算法框架 Cirq 適應過渡期

2021/07/19

「Cirq 在安裝後,就能讓研究人員在特定的量子處理器上撰寫量子演算法,該框架提供了精確的量子電路控制方法,像是使用原生量子閘指定量子閘行為、在裝置上放置適當的量子閘,或是在量子硬體的限制中,排成這些量子閘的時序。」

https://www.ithome.com.tw/news/124665

-----

2021_ Toward pricing financial derivatives with an ibm quantum computer

2021/07/18

「This paper is a step towards the design of a general quantum algorithm to fully simulate on quantum computers the Heath-Jarrow-Morton model for pricing interest-rate financial derivatives. It shows indeed that practical applications of quantum computers in finance will be achievable in the near future.」

本文是朝著設計通用量子算法邁出的一步,以在量子計算機上完全模擬用於利率金融衍生品定價的 Heath-Jarrow-Morton 模型。 這確實表明,量子計算機在金融領域的實際應用將在不久的將來實現。

引用論文:

2018_ Quantum computing in the NISQ era and beyond

-----

QC Ware and IonQ Experiment Demonstrates Machine Learning Algorithms Can Run on Near-Term Quantum Hardware

2021/07/17

「QC Ware’s quantum machine learning algorithm for classification, called Quantum Nearest-Centroid Algorithm, was executed on IonQ’s 11 qubit system.」

「The experiment used, among others, the MNIST data set, which comprises images of handwritten single digits from 0 to 9. The algorithm observed the images and determined it was seeing digits from 0 to 9, matching the accuracy of the corresponding classical algorithm.」

QC Ware 用於分類的量子機器學習算法,稱為 Quantum Nearest-Centroid Algorithm,在 IonQ 的 11 量子位系統上執行。

該實驗使用了 MNIST 數據集,其中包括從 0 到 9 的手寫單個數字的圖像。該算法觀察圖像並確定它看到的是從 0 到 9 的數字,與相應經典算法的準確性相匹配。

https://medium.com/qc-ware/qc-ware-and-ionq-experiment-demonstrates-machine-learning-algorithms-can-run-on-near-term-quantum-9d5cad178822

-----

with an ibm quantum computer

2021/07/16

Toward pricing financial derivatives with an ibm quantum computer

A Martin, B Candelas, Á Rodríguez-Rozas… - Physical Review …, 2021 - APS

「… [36], based on historical data for 1-, 3- and 6-month rates … This is, to our knowledge, both the first quantum comput- ing experiment in financial option pricing and the largest implementation of … Unfortunately, the computational cost is too high when the size of the matrix is elevated …」

  被引用 20 次 相關文章 全部共 7 個版本

https://journals.aps.org/prresearch/abstract/10.1103/PhysRevResearch.3.013167

-----

mathematical finance

2021/07/15

Quantum-accelerated multilevel Monte Carlo methods for stochastic differential equations in mathematical finance

D An, N Linden, JP Liu, A Montanaro, C Shao… - Quantum, 2021 - quantum-journal.org

「Inspired by recent progress in quantum algorithms for ordinary and partial differential equations, we study quantum algorithms for stochastic differential equations (SDEs). Firstly we provide a quantum algorithm that gives a quadratic speed-up for multilevel Monte Carlo …」

受常微分方程和偏微分方程量子算法的最新進展啟發,我們研究了隨機微分方程 (SDE) 的量子算法。 首先,我們提供了一種量子算法,它為多級蒙特卡洛提供了二次加速……

  被引用 2 次 相關文章 全部共 5 個版本 

https://quantum-journal.org/papers/q-2021-06-24-481/

-----

fintech quantum computing

2021/07/14

Fintech frontiers in quantum computing, fractals, and blockchain distributed ledger: Paradigm shifts and open innovation

NR Mosteanu, A Faccia - Journal of Open Innovation: Technology, Market …, 2021 - mdpi.com

「Among the hot research topics, Fintech is leading the trend in terms of the newest technology applications. The relatively new emerging paradigms in various sciences, such as geometry (fractals), physics (quantum), and database systems (distributed ledger …」

在熱門研究課題中,金融科技在最新技術應用方面處於領先地位。 各種科學中相對較新的新興範式,例如幾何(分形)、物理學(量子)和數據庫系統(分佈式賬本……

  被引用 7 次 相關文章 全部共 7 個版本 

https://www.mdpi.com/2199-8531/7/1/19

-----

quantum finance

2021/07/13

Prospects and challenges of quantum finance

A Bouland, W van Dam, H Joorati, I Kerenidis… - arXiv preprint arXiv …, 2020 - arxiv.org

「Quantum computers are expected to have substantial impact on the finance industry, as they will be able to solve certain problems considerably faster than the best known classical algorithms. In this article we describe such potential applications of quantum computing to …」

預計量子計算機將對金融業產生重大影響,因為它們將能夠比最著名的經典算法更快地解決某些問題。 在本文中,我們將描述量子計算的此類潛在應用......

  被引用 9 次 相關文章 全部共 6 個版本 

https://arxiv.org/abs/2011.06492

-----

quantum computing finance future prospects

2021/07/12

Quantum computing for Finance: state of the art and future prospects

DJ Egger, C Gambella, J Marecek… - IEEE Transactions …, 2020 - ieeexplore.ieee.org

「This paper outlines our point of view regarding the applicability, state of the art, and potential of quantum computing for problems in finance. We provide an introduction to quantum computing as well as a survey on problem classes in finance that are computationally …」

  被引用 19 次 相關文章 全部共 9 個版本

本文概述了我們對量子計算對金融問題的適用性、最新技術和潛力的觀點。 我們提供了對量子計算的介紹以及對計算上的金融問題類別的調查……

https://ieeexplore.ieee.org/abstract/document/9222275

-----

quantum computing stock market

2021/07/11

[HTML] Quantum computing for finance: Overview and prospects

R Orus, S Mugel, E Lizaso - Reviews in Physics, 2019 - Elsevier

「… the huge variety of problems finance attempts to address, we find stock markets prediction … Even the entire financial market can be modeled as a quantum process, where … While quantum computing provides powerful computational tools, whether or not it can predict this type of …」

  被引用 112 次 相關文章 全部共 8 個版本

……金融試圖解決的各種各樣的問題,我們發現股市預測……甚至整個金融市場都可以被建模為一個量子過程,其中……雖然量子計算提供了強大的計算工具,但它是否可以預測這種類型的……

https://www.sciencedirect.com/science/article/pii/S2405428318300571

-----

Amazon:Braket 

2021/07/10

「Amazon Braket – A fully managed service that allows scientists, researchers, and developers to begin experimenting with computers from multiple quantum hardware providers in a single place. Bra-ket notation is commonly used to denote quantum mechanical states, and inspired the name of the service.」

Amazon Braket – 一項完全託管的服務,允許科學家、研究人員和開發人員在一個地方開始試驗來自多個量子硬件提供商的計算機。 Bra-ket 符號通常用於表示量子力學狀態,並啟發了該服務的名稱。

https://aws.amazon.com/tw/blogs/aws/amazon-braket-get-started-with-quantum-computing/

-----

Microsoft:QDK

2021/07/09

「Quantum 開發套件 (QDK) 包含使用 Q# 建置自有量子程式和實驗所需的全部工具,這是專為量子應用程式開發而設計的程式語言。」

https://docs.microsoft.com/zh-tw/azure/quantum/install-get-started-qdk

-----

Hello, many worlds

2021/07/08

「This tutorial shows how a classical neural network can learn to correct qubit calibration errors. It introduces Cirq, a Python framework to create, edit, and invoke Noisy Intermediate Scale Quantum (NISQ) circuits, and demonstrates how Cirq interfaces with TensorFlow Quantum.」

本教程展示了經典神經網絡如何學習糾正量子比特校準錯誤。 它介紹了 Cirq,這是一個用於創建、編輯和調用 Noisy Intermediate Scale Quantum (NISQ) 電路的 Python 框架,並演示了 Cirq 如何與 TensorFlow Quantum 交互。

https://www.tensorflow.org/quantum/tutorials/hello_many_worlds?hl=zh-tw

https://colab.research.google.com/github/tensorflow/quantum/blob/master/docs/tutorials/hello_many_worlds.ipynb?hl=en#scrollTo=6tYn2HaAUgH0

-----

2021/07/07

Google:TFQ

「TensorFlow Quantum (TFQ) 是一個量子機器學習程式庫,用於快速建立混合式量子傳統機器學習模型的原型。相關人員在研究量子演算法和應用程式時,可直接透過 TensorFlow 利用 Google 的量子運算架構。」

https://www.tensorflow.org/quantum?hl=zh-tw

-----

Intel:Horse Ridge

2021/07/06

2019年,英特爾專為量子電腦(Scale Quantum Computer)推出了第一代控制晶片 Horse Ridge。該控制晶片通過降低管理低溫量子位元及控制硬體所需電路的複雜性,幫助可擴展量子電腦朝著實際使用案例,邁出了重要一步。後來,英特爾又於 2020 年推出了第二代 Horse Ridge 晶片。

https://iknow.stpi.narl.org.tw/Post/Read.aspx?PostID=17803

-----

IBM:Qiskit

2021/07/05

「Qiskit [quiss-kit] is an open-source SDK for working with quantum computers at the level of pulses, circuits, and application modules.」

Qiskit [quiss-kit] 是一個開源 SDK,用於在脈衝、電路和應用模組級別與量子計算機配合使用。

https://qiskit.org/

-----

Qiskit 套件安裝

2021/07/04

「Qiskit (Quantum Information Software kit) 是 IBM 開發的開源 (open source) python 量子資訊軟體套件,用於編寫量子計算實驗、程式和應用程式。在本課程中將會利用 Qiskit 量子計算套件進行教學。第一天會協助學員架設環境與安裝 Qiskit 套件,確保往後兩天的課程能夠充分參與。」

「基於量子科技的巨大潛在價值,美、加、日、澳、歐洲等國家以及國際知名的科技公司,包含 IBM, Google, Intel 及 Microsoft 皆已投入大量資源發展量子電腦。」

http://course.cc.ntu.edu.tw/202007/course/course04.html

-----

複合式量子機器學習

2021/07/04

「複合式量子電腦(Hybrid Quantum Computer)被認為是未來十年量子計算的核心架構。在這個架構下,運算問題被拆解成許多重複的小問題。量子電腦每解決一個的小問題,就把答案傳給古典電腦,而古典電腦繼續分配下一個小問題給量子電腦。如此一來,量子電腦不需要紀錄太多資訊,能解決量子態維持時間很短和量子位元數低的困難。」

https://case.ntu.edu.tw/blog/?p=34121

-----

量子機器學習的四個限制

2021/07/03

「在機器學習(尤其是深度學習)於過去五年落地應用成功、量子計算也開始噴發地邁向主流後,(起源於2008年的)量子機器學習(Quantum Machine Learning)也開始吸引眾人的目光、火上加火的領域.畢竟其彷彿能用量子物理做到古典機器學習做不到的挑戰,產生動輒就是指數加速的演算法,這好到不可思議的光景這到底多少是泡沫(Hype)、多少是實質(Fact)、又或者在科學傳播中漏掉了許多重要的細節呢?」

https://www.physics2045.blog/2020/04/19/qml-the-four-caveats-you-should-know/

-----

QC Ware:Data Loaders 

2021/07/02

「QC Ware 研究人員開發了 Data Loaders 資料載入元件,其為可以有效輕鬆地將傳統資料加載到量子硬體上的 QRAM 替代品。它們也是量子電腦上執行距離估測(Distance Estimation)的有效方法。距離估測是機器學習中使用的一種演算法,它試圖將每個資料點與其他點或具有相似屬性的叢集進行分組。」

「QC Ware 的 Data Loaders 可在其名為 Forge 的雲端平台使用。Forge 支援量子硬體的量子演算法、量子硬體模擬器,以及讓企業可構建、編輯和執行量子演算法之經典模擬器的存取與使用。」

https://technews.tw/2020/07/29/qc-ware-announces-quantum-machine-learning-breakthrough/

-----

Google:TensorFlow Quantum

2021/07/01

「TensorFlow Quantum 整合了 Google 之前開源的量子計算框架 Cirq 和機器學習框架 TensorFlow。Cirq 提供了一個軟體模擬器來運行量子演算法,不要求開發者必須有一台真實的量子電腦。而 TensorFlow 是一個封裝了底層深度學習模型的軟體庫。簡言之,不管是 Cirq 還是 TensorFlow,都是為了降低新技術門檻而生。借助這些開源工具,開發者可以更快更省地打造量子計算或機器學習應用。」

https://buzzorange.com/techorange/2020/03/16/tensorflow-quantum/

-----

IBM:Qiskit

2021/06/30

「開發者可以直接使用 Qiskit 機器學習中提供的模型之外,由於 Qiskit 加入了 Torch 連接器,因此也可以將量子神經網路,直接整合到 PyTorch 開源機器學習函式庫,同時,Qiskit 機器學習的靈活設計,還允許將來開發者自己建構其他套件的連接器。IBM 提供豐富的 Qiskit 機器學習教學範例,介紹這一系列新功能。」

https://www.ithome.com.tw/news/143806

-----

量子機器學習(Quantum Machine Learning;QML)

2021/06/29

「IBM、Google、微軟(Microsoft)與亞馬遜(Amazon)等量子運算技術軟硬體供應業者已相繼投入 QML 資源布局,訴求降低 CML 開發者進入 QML 的使用門檻,並藉 QML 建立量子生態版圖,同時延續主導科技發展的地位。」

「IBM、Google、微軟(Microsoft)與亞馬遜(Amazon)。」

https://money.udn.com/money/story/5612/5385638

-----

量子電腦有何功用?

2021/06/28

「量子電腦並非可以更快完成所有運算的超級電腦,但量子電腦會在幾個領域有更加出色的表現。量子模擬、碼編譯、搜尋、最佳化、機器學習服務。」

https://docs.microsoft.com/zh-tw/azure/quantum/overview-qdk

-----

量子演算法(Quantum Algorithm)

2021/06/27

「量子電腦在輿論中有時被過度彩現成無所不能或速度快數億倍等,其實這種電腦是否強大極度看問題而定,若該問題已經有提出速算的量子演算法只是困於傳統電腦無法執行,那量子電腦確實能達到未有的高速,若是沒有發明演算法的問題則量子電腦表現與傳統無異甚至更差。」

https://zh.wikipedia.org/wiki/%E9%87%8F%E5%AD%90%E8%AE%A1%E7%AE%97%E6%9C%BA

「這一演算法證明運用量子電腦能有效地進行大數的因式分解,這原本在傳統的資訊領域中是被視為無法有效解決的 NP 問題(意味不存在有效率的解法),可能要耗費上百年的運算時間,如今量子電腦能在一秒內計算完成,開啟了量子計算的研究大門。」

https://kelispinor.medium.com/%E9%87%8F%E5%AD%90%E9%9B%BB%E8%85%A6%E6%A5%B5%E7%B0%A1%E4%BB%8B-short-introduction-to-quantum-computer-a7b159861786

-----

量子電腦

2021/06/26

「由於量子電腦能同時執行許多運算作業,所以可大幅縮減處理時間。這表示量子電腦能讓 AI 系統在幾秒內就完成工作,不必枯等最快的超級電腦耗費幾千年的光陰。」

「雖然不清楚這些機器還要多久才會從研究實驗室進入現實世界,但它們有潛力大幅提升運算工作的速度,」

https://atozofai.withgoogle.com/intl/zh-TW/quantum-computing/

-----

量子運算首頁

一、Quantum Computing

https://hemingwang.blogspot.com/2021/06/quantum-computing.html

-----

Paragraph2vec(五):Lab

 Paragraph2vec(五):Lab

2021/09/13

 -----


https://pixabay.com/zh/photos/notebook-pen-the-work-course-work-2637757/

-----

References


# official Doc2Vec

[1] Doc2vec tutorial | RARE Technologies

https://rare-technologies.com/doc2vec-tutorial/


# wiki reference

[2] Doc2Vec tutorial using Gensim. The official Doc2Vec is great… | by Andreas Klintberg | Medium

https://medium.com/@klintcho/doc2vec-tutorial-using-gensim-ab3ac03d3a1


# 應用

[3] Understand how to transfer your paragraph to vector by doc2vec | by Edward Ma | Towards Data Science

https://towardsdatascience.com/understand-how-to-transfer-your-paragraph-to-vector-by-doc2vec-1e225ccf102


# 應用

[4] nlp/nlp-embeddings-document-doc2vec.ipynb at master · makcedward/nlp · GitHub

https://github.com/makcedward/nlp/blob/master/sample/embeddings/nlp-embeddings-document-doc2vec.ipynb

-----

Paragraph2vec(四):Appendix

Paragraph2vec(四):Appendix

2021/09/07

 -----


# C&W v2。

-----

References


# C&W v2。被引用 6841 次。本篇論文闡釋了從 Word2vec 繼續發展 Paragraph2vec 的必要性。

Collobert, Ronan, et al. "Natural language processing (almost) from scratch." Journal of machine learning research 12.ARTICLE (2011): 2493-2537.

https://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf

-----

Paragraph2vec(三):Illustrated

 Paragraph2vec(三):Illustrated

2021/08/27

-----


https://pixabay.com/zh/photos/chart-trading-courses-analysis-1942060/

-----


Figure 1: Our model reads an input sentence “ABC” and produces “WXYZ” as the output sentence. The model stops making predictions after outputting the end-of-sentence token. Note that the LSTM reads the input sentence in reverse, because doing so introduces many short term dependencies in the data that make the optimization problem much easier.

圖 1:我們的模型讀取輸入句子“ABC”並生成“WXYZ”作為輸出句子。 模型在輸出句尾標記後停止進行預測。 請注意,LSTM 反向讀取輸入句子,因為這樣做會在數據中引入許多短期依賴關係,從而使優化問題變得更加容易。

# Seq2seq 1

說明:

將 ABC<EOS> 這個詞向量序列壓縮成一個向量(句向量),再將此向量解壓縮成 WXYZ<EOS> 這個詞向量的序列。

-----


Figure 1: The skip-thoughts model. Given a tuple (si-1; si; si+1) of contiguous sentences, with si the i-th sentence of a book, the sentence si is encoded and tries to reconstruct the previous sentence si-1 and next sentence si+1. In this example, the input is the sentence triplet I got back home. I could see the cat on the steps. This was strange. Unattached arrows are connected to the encoder output. Colors indicate which components share parameters. <eos> is the end of sentence token.

圖 1:跳過思考模型。 給定一個連續句子的元組 (si-1; si; si+1),其中 si 是一本書的第 i 個句子,句子 si 被編碼並嘗試重建前一句 si-1 和下一句 si+1 . 在這個例子中,輸入是我回到家的句子三元組。 我可以看到台階上的貓。 這很奇怪。 未附加的箭頭連接到編碼器輸出。 顏色指示哪些組件共享參數。 <eos> 是句尾標記。

# Skip-thought。

說明:

Seq2seq 的加強版。預測前後的句子。同樣要將輸入句先壓縮成一個句向量。

-----



Figure 1. A framework for learning word vectors. Context of three words (“the,” “cat,” and “sat”) is used to predict the fourth word (“on”). The input words are mapped to columns of the matrix W to predict the output word.

圖 1. 學習詞向量的框架。 三個詞(“the”、“cat”和“sat”)的上下文用於預測第四個詞(“on”)。 輸入詞映射到矩陣 W 的列以預測輸出詞。

# Paragraph2vec

說明:

CBOW。

-----


# C&W v2。

說明:

主要用於 SRL。輸入為句子,用上了一維卷積,可以理解為 ConvS2S 的基礎。

https://www.cnblogs.com/qinzhuy/p/12643277.html

「Window Approach 能夠完成絕大部分自然語言處理任務,但是在 SRL 上表現不佳。因此,SENNA 提出了 Sentence Approach 用於適應 SRL。Sentence Approach 採用的卷積網路結構,除了線性層和 HardTanh 層外,還有一個卷積層和一個 Max 層。」

https://blog.csdn.net/hlang8160/article/details/78047676

-----

POS 詞性標記

part-of-speech (POS) tagging

「依據字詞在句法結構或語言形態上扮演的角色,經由詞性分類賦予語句中每個字詞適當之詞性符號或標記的過程,則稱為詞性標記(part-of-speech tagging,或稱 POS ...」

「VBG 為動名詞或現在分詞,BEZ 代表 is,AT 為冠詞,NN 為名詞,IN 為介係詞,CC 為連接詞,DT 為限定詞,PP$ 為所有格,JJ 為形容詞。」

https://terms.naer.edu.tw/detail/1678982/

-----

CHUNK 組塊分析

「組塊分析是從非結構化文本中提取短語的過程。相對於 POS-Tagging 來說,POS-Tagging 返回了解析樹的最底層,就是一個個單詞。但是有時候你需要的是幾個單詞構成的名詞短語,而非個個單詞。」

「組塊分析是可以接着詞性標註工作繼續完成,它使用詞性標註作爲輸入,並提供分析好的組塊做爲輸出。與詞性標註的標籤類似,它也有一組標準的組塊標籤,如名詞短語(np)、動詞短語(vp)等。」

https://blog.csdn.net/Sirow/article/details/89306934

-----

NER 命名實體識別

Named Entity Recognition

「組塊分析是可以接着詞性標註工作繼續完成,它使用詞性標註作爲輸入,並提供分析好的組塊做爲輸出。」

「與詞性標註的標籤類似,它也有一組標準的組塊標籤,如名詞短語(np)、動詞短語(vp)等,當你想從諸如位置,人名等文本中提取信息時,分塊是非常重要的。在 NLP 中,稱爲命名實體識別,舉個例子‘李雷的杯子’是分塊分出的一個短語,而抽取’李雷’這個人名,就是命名體識別。所以,組塊分析也是命名體識別的基礎。」

https://blog.csdn.net/Sirow/article/details/89306934

-----

SRL 語義角色標註

Semantic Role Labeling (SRL) is defined as the task to recognize arguments for a given predicate and assign semantic role labels to them.

「語義角色標註的任務就是以句子的謂詞為中心,研究句子中各成分與謂詞之間的關係,並且用語義角色來描述他們之間的關係。

例:歐巴馬昨晚在白宮發表了演說。

這個句子中包括:謂詞“發表”、施事“歐巴馬”、受事“演說”、時間“昨晚”、地點“在白宮”。」

https://zhuanlan.zhihu.com/p/35789254

-----

NER Deep Learning


# NER

說明:

POS、CHUNK、NER、SRL,都可使用 Word Embedding 後,以 LSTM 進行 Supervised 的訓練,來完成。

--

BIO 與 BIOES。

「B,即 Begin,表示開始。I,即 Intermediate,表示中間。E,即 End,表示結尾。S,即Single,表示單個字符。O,即 Other,表示其他,用於標記無關字符。」

「將“小明在北京大學的燕園看了中國男籃的一場比賽”這句話,進行標註,結果就是:

[B-PER,E-PER,O, B-ORG,I-ORG,I-ORG,E-ORG,O,B-LOC,E-LOC,O,O,B-ORG,I-ORG,I-ORG,E-ORG,O,O,O,O]」

https://zhuanlan.zhihu.com/p/88544122

-----


# Word2vec 1。

說明:

w:window。此處 window 大小為 5。CBOW 是以周邊的字預測中間應該出現什麼字。Skip-gram 是以中間的字預測周邊應該出現什麼字。

-----

CBOW 周圍的字預測中間的單字


# Word2vec 3。

說明:

所有 context 字的 one hot 先乘以共享的 VxN 矩陣,得到的每個向量相加求平均,作為隱藏層的向量。

https://blog.csdn.net/WitsMakeMen/article/details/89511764

-----


https://zhuanlan.zhihu.com/p/27234078

-----


Figure 2. A framework for learning paragraph vector. This framework is similar to the framework presented in Figure 1; the only change is the additional paragraph token that is mapped to a vector via matrix D. In this model, the concatenation or average of this vector with a context of three words is used to predict the fourth word. The paragraph vector represents the missing information from the current context and can act as a memory of the topic of the paragraph.

圖 2. 學習段落向量的框架。 該框架類似於圖 1 所示的框架; 唯一的變化是通過矩陣 D 映射到向量的附加段落標記。在這個模型中,這個向量與三個詞的上下文的串聯或平均值用於預測第四個詞。 段落向量表示當前上下文中缺失的信息,可以作為段落主題的記憶。

# Paragraph2vec

說明:

類似 CBOW。

Paragraph Matrix

「In our Paragraph Vector framework (see Figure 2), every paragraph is mapped to a unique vector, represented by a column in matrix D and every word is also mapped to a unique vector, represented by a column in matrix W.」

在我們的段落向量框架(見圖 2)中,每個段落都映射到一個唯一的向量,由矩陣 D 中的一行表示,每個詞也映射到一個唯一的向量,由矩陣 W 中的一行表示。

--



「In summary, the algorithm itself has two key stages: the unsupervised training to get word vectors W, the inference stage to get paragraph vectors D. The third stage is to turn D to make a prediction about some particular labels using a standard classifier such as a logistic classifier or support vector machines.」

綜上所述,算法本身有兩個關鍵階段:無監督訓練得到詞向量 W,推理階段得到段落向量 D。 第三階段是轉 D 使用標準分類器對某些特定標籤進行預測,例如邏輯分類器或支持向量機。

--



一、訓練階段可以得到所有詞向量與句向量。

二、推論階段還是要隨機初始化新的句向量,然後用隨機梯度下降訓練權重,只是詞向量不用重新訓練。

--

「訓練完了以後,就會得到訓練樣本中所有的詞向量和每句話對應的句子向量,那麼 Doc2vec 是怎麼預測新的句子 Paragraph vector 呢?其實在預測新的句子的時候,還是會將該 Paragraph vector 隨機初始化,放入模型中再重新根據隨機梯度下降不斷迭代求得最終穩定下來的句子向量。不過在預測過程中,模型裡的詞向量還有投影層到輸出層的 softmax weights 參數是不會變的,這樣在不斷迭代中只會更新 Paragraph vector,其他參數均已固定,只需很少的時間就能計算出帶預測的 Paragraph vector。」

https://zhuanlan.zhihu.com/p/36886191

-----

Skip-Gram 中間的單字預測周圍的字



# Word2vec 3。

說明:

Input layer:以 skip-gram 為例,是 V 維的 one-hot encoding,非 0 的輸入神經元到隱藏層的權重,極為該單詞的詞向量。

Hidden layer:隱藏層。

Output layer:輸出層。

V-dim:輸入層的維度。

N-dim:隱藏層的維度。

CxV-dim:輸出層的維度。

W VxN:VxN 的矩陣。將輸入層的 V 維資料,轉成 N 維的隱藏層資料。

W' NxV:NxV 的矩陣。輸出為字彙表裡面,每個字的機率。先將隱藏層轉成 V 個值,再把這 V 個值做 Softmax 輸出。我們希望 context 裡的字,其機率越高越好。

xk:index。

hj:index。

y Cj:C 代表 context。target 代表 window 中間的字,context 代表 window 中,target 之外的其他字。CBOW 是 context 預測 target,skip-gram 則是 target 預測 context。

-----


Figure 3. Distributed Bag of Words version of paragraph vectors. In this version, the paragraph vector is trained to predict the words in a small window.

圖 3. 段落向量的分佈式詞袋版本。 在這個版本中,段落向量被訓練來預測小窗口中的單詞。

# Paragraph2vec

說明:

類似 Skip-gram。

Paragraph Matrix

「Another way is to ignore the context words in the input, but force the model to predict words randomly sampled from the paragraph in the output. In reality, what this means is that at each iteration of stochastic gradient descent, we sample a text window, then sample a random word from the text window and form a classification task given the Paragraph Vector.」

另一種方法是忽略輸入中的上下文詞,但強制模型預測從輸出中的段落中隨機採樣的詞。 實際上,這意味著在隨機梯度下降的每次迭代中,我們對一個文本窗口進行採樣,然後從該文本窗口中採樣一個隨機單詞,並在給定段落向量的情況下形成一個分類任務。

「In our experiments, each paragraph vector is a combination of two vectors: one learned by the standard paragraph vector with distributed memory (PV-DM) and one learned by the paragraph vector with distributed bag of words (PV-DBOW). PV-DM alone usually works well for most tasks (with state-of-art performances), but its combination with PV-DBOW is usually more consistent across many tasks that we try and therefore strongly recommended.」

在我們的實驗中,每個段落向量是兩個向量的組合:一個是通過具有分佈式內存的標準段落向量 (PV-DM) 學習的,另一個是通過具有分佈式詞袋 (PV-DBOW) 的段落向量學習的。 PV-DM 單獨通常適用於大多數任務(具有最先進的性能),但它與 PV-DBOW 的組合通常在我們嘗試並因此強烈推薦的許多任務中更加一致。

-----


Table 1. The performance of our method compared to other approaches on the Stanford Sentiment Treebank dataset. The error rates of other methods are reported in (Socher et al., 2013b).

表 1. 我們的方法與斯坦福情緒樹庫數據集上的其他方法相比的性能。 (Socher et al., 2013b) 中報告了其他方法的錯誤率。

# Paragraph2vec

說明:

Positive / Negative:SST-2 or SST binary。

fine-grained:The corpus with all 5 labels is referred to as SST-5 or SST fine-grained.

--

「The Stanford Sentiment Treebank is a corpus with fully labeled parse trees that allows for a complete analysis of the compositional effects of sentiment in language. The corpus is based on the dataset introduced by Pang and Lee (2005) and consists of 11,855 single sentences extracted from movie reviews. It was parsed with the Stanford parser and includes a total of 215,154 unique phrases from those parse trees, each annotated by 3 human judges.」

斯坦福情感樹庫是一個帶有完全標記的解析樹的語料庫,可以對語言中情感的構成效應進行完整的分析。 該語料庫基於 Pang 和 Lee (2005) 引入的數據集,包含從電影評論中提取的 11,855 個單句。 它使用斯坦福解析器進行解析,包括來自這些解析樹的總共 215,154 個獨特的短語,每個短語由 3 位人類判斷進行註釋。

「Each phrase is labelled as either negative, somewhat negative, neutral, somewhat positive or positive. The corpus with all 5 labels is referred to as SST-5 or SST fine-grained. Binary classification experiments on full sentences (negative or somewhat negative vs somewhat positive or positive with neutral sentences discarded) refer to the dataset as SST-2 or SST binary.」

每個短語都被標記為消極、有點消極、中性、有點積極或積極。 具有所有 5 個標籤的語料庫被稱為 SST-5 或 SST 細粒度。 完整句子的二元分類實驗(否定或有點否定 vs 有點肯定或肯定,丟棄中性句子)將數據集稱為 SST-2 或 SST 二進制。

https://paperswithcode.com/dataset/sst

-----


Table 2. The performance of Paragraph Vector compared to other approaches on the IMDB dataset. The error rates of other methods are reported in (Wang & Manning, 2012).

表 2. 與 IMDB 數據集上的其他方法相比,段落向量的性能。 其他方法的錯誤率在 (Wang & Manning, 2012) 中報告。

# Paragraph2vec

說明:

有兩種類型的標籤:正面和負面。

--

「Dataset: The IMDB dataset was first proposed by Maas et al. (Maas et al., 2011) as a benchmark for sentiment analysis. The dataset consists of 100,000 movie reviews taken from IMDB. One key aspect of this dataset is that each movie review has several sentences.」

數據集:IMDB 數據集首先由 Maas 等人提出。 (Maas et al., 2011) 作為情感分析的基準。 該數據集包含來自 IMDB 的 100,000 條電影評論。 該數據集的一個關鍵方面是每個電影評論都有幾個句子。

「The 100,000 movie reviews are divided into three datasets: 25,000 labeled training instances, 25,000 labeled test instances and 50,000 unlabeled training instances. There are two types of labels: Positive and Negative. These labels are balanced in both the training and the test set. The dataset can be downloaded at http://ai.Stanford.edu/amaas/data/sentiment/index.html」

100,000 條影評分為三個數據集:25,000 個標記訓練實例、25,000 個標記測試實例和 50,000 個未標記訓練實例。 有兩種類型的標籤:正面和負面。 這些標籤在訓練和測試集中都是平衡的。 數據集可以在 http://ai.Stanford.edu/amaas/data/sentiment/index.html 下載

# Paragraph2vec

-----


Table 3. The performance of Paragraph Vector and bag-of-words models on the information retrieval task. “Weighted Bag-of-bigrams” is the method where we learn a linear matrix W on TF-IDF bigram features that maximizes the distance between the first and the third paragraph and minimizes the distance between the first and the second paragraph.

表 3. Paragraph Vector 和 bag-of-words 模型在信息檢索任務上的表現。 “Weighted Bag-of-bigrams”是我們在 TF-IDF bigram 特徵上學習線性矩陣 W 的方法,該矩陣使第一段和第三段之間的距離最大化,並使第一段和第二段之間的距離最小化。

# Paragraph2vec

說明:

「tf-idf(英語:term frequency–inverse document frequency)是一種用於資訊檢索與文字挖掘的常用加權技術。tf-idf是一種統計方法,用以評估一字詞對於一個檔案集或一個語料庫中的其中一份檔案的重要程度。字詞的重要性隨著它在檔案中出現的次數成正比增加,但同時會隨著它在語料庫中出現的頻率成反比下降。」

https://zh.wikipedia.org/wiki/Tf-idf

-----

# Paragraph2vec。被引用 6763 次。

Le, Quoc, and Tomas Mikolov. "Distributed representations of sentences and documents." International conference on machine learning. 2014.

http://proceedings.mlr.press/v32/le14.pdf

-----

# Word2vec 1。被引用 18991 次。

Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781 (2013).

https://arxiv.org/pdf/1301.3781.pdf


# Word2vec 2。被引用 23990 次。

Mikolov, Tomas, et al. "Distributed representations of words and phrases and their compositionality." Advances in neural information processing systems. 2013.

https://papers.nips.cc/paper/2013/file/9aa42b31882ec039965f3c4923ce901b-Paper.pdf


# Word2vec 3。被引用 645 次。

Rong, Xin. "word2vec parameter learning explained." arXiv preprint arXiv:1411.2738 (2014).

https://arxiv.org/pdf/1411.2738.pdf


# C&W v1。被引用 5099 次。

Collobert, Ronan, and Jason Weston. "A unified architecture for natural language processing: Deep neural networks with multitask learning." Proceedings of the 25th international conference on Machine learning. 2008.

http://www.cs.columbia.edu/~smaskey/CS6998-Fall2012/supportmaterial/colbert_dbn_nlp.pdf


# C&W v2。被引用 6841 次。本篇論文闡釋了從 Word2vec 繼續發展 Paragraph2vec 的必要性。

Collobert, Ronan, et al. "Natural language processing (almost) from scratch." Journal of machine learning research 12.ARTICLE (2011): 2493-2537.

https://www.jmlr.org/papers/volume12/collobert11a/collobert11a.pdf


# Seq2seq 1。被引用 12676 次。

Sutskever, Ilya, Oriol Vinyals, and Quoc V. Le. "Sequence to sequence learning with neural networks." Advances in neural information processing systems. 2014.

http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf


# Skip-thought。

Kiros, Ryan, et al. "Skip-thought vectors." arXiv preprint arXiv:1506.06726 (2015).

https://arxiv.org/pdf/1506.06726.pdf


# NER

Yadav, Vikas, and Steven Bethard. "A survey on recent advances in named entity recognition from deep learning models." arXiv preprint arXiv:1910.11470 (2019).

https://arxiv.org/pdf/1910.11470.pdf

-----