astrolog
2021/06/30
-----
月合海。
-----
癸己甲辛
酉酉午丑
-----
里程碑。家庭的溫暖。
-----
Wednesday, June 30, 2021
Monday, June 28, 2021
小樣本與 t 檢定
統計最基本最重要的一點，就是要樣本互相獨立，如果無法獨立，則後面討論的分配完全錯誤，所以樣本的設立是最基本的第一步，也是最重要地。
舉例如下：牙醫師常常要了解麻醉藥跟血壓之間的關係，從10個病人裡，再施打麻藥之後，觀察其血壓的變化，並且每一個病人量四次血壓，所以可以得到40個觀察值。但是這40個觀察值真的是互相獨立嗎？這就很有疑問了，因為這四次都是從一個病人量取得地，在單一個體裡量得的值會有相似性，所以並不是互相獨立的，所以這個取樣有問題。所以這個要點，必須要先搞清楚，才能考慮下一步。
另外如果抽樣所需要的成本，極為昂貴，所以無法獲得『大樣本』，這樣所得到的資訊，要如何利用呢？小樣本的統計推論，就是要利用學生t分配 和 chi-square分配來解決之。Student's t distribution這個統計方法非常適用於小樣本的推論，並且改善推論的可信度，是後來才被拿來利用的。
當我們在小樣本時，並無法像大樣本n>30的時候，無論母體是否是標準常態分配，樣本一定都是標準常態分配。但是在小樣本時，如果母體不為常態，則抽樣出來的分配，也將不是常態，而是依照母體來決定。並且實際的百分位點將隨『自由度』變動，自由度越大，也就是n越大，則越近似常態分配。
好在用t分配來推論統計量時，就算是樣本規模不是很大，仍然不會有很嚴重的錯誤，如果在大樣本時，不管母體是不是常態，樣本一定是常態分配，所以這些困擾會消失掉。當我們要以小樣本來估計時，仍然不要取太小的樣本，否則估算出來的信賴區間，要用來估算母體的平均值或其他統計量，則準確度很低。
當我們在推論小樣本的時候，常常可以發現其樣本圖形，不足以拿來判斷是否具常態，另外如果母體不是常態，樣本抽樣結果之觀察值也不是常態，此時用t分配來檢驗，誤差還不是很大，這是其中幸運的一點。但是如果是要用來做為『定性』的話，則不太好，如果有一組變動很激烈的觀察值，將會導致錯誤的結論，所以應該不宜用在定性的討論。但是卡方分配就沒有這麼幸運了，即是是大樣本，如果母體不為常態，就無法用卡方分配來推論母體標準差，這是一點要非常注意的囉。
另外一定要確定樣本是獨立抽樣，舉例如下，當政府要問卷調查家庭之政府政見的抽樣民意時，隨機抽樣100個家庭中夫妻的意見，所得到的結果，仍然不能視為100 x 2= 200。因為夫妻的意見並不是獨立的，而是會互相影響地。所以當觀察值在時間上、距離上非常接近時，可能會有非獨立的顧慮，所以這要非常小心，並且在一開始，就必須要嚴格審查抽樣方法是否正確。
資料來源：http://www.wretch.cc/blog/kalendar/9924412
舉例如下：牙醫師常常要了解麻醉藥跟血壓之間的關係，從10個病人裡，再施打麻藥之後，觀察其血壓的變化，並且每一個病人量四次血壓，所以可以得到40個觀察值。但是這40個觀察值真的是互相獨立嗎？這就很有疑問了，因為這四次都是從一個病人量取得地，在單一個體裡量得的值會有相似性，所以並不是互相獨立的，所以這個取樣有問題。所以這個要點，必須要先搞清楚，才能考慮下一步。
另外如果抽樣所需要的成本，極為昂貴，所以無法獲得『大樣本』，這樣所得到的資訊，要如何利用呢？小樣本的統計推論，就是要利用學生t分配 和 chi-square分配來解決之。Student's t distribution這個統計方法非常適用於小樣本的推論，並且改善推論的可信度，是後來才被拿來利用的。
當我們在小樣本時，並無法像大樣本n>30的時候，無論母體是否是標準常態分配，樣本一定都是標準常態分配。但是在小樣本時，如果母體不為常態，則抽樣出來的分配，也將不是常態，而是依照母體來決定。並且實際的百分位點將隨『自由度』變動，自由度越大，也就是n越大，則越近似常態分配。
好在用t分配來推論統計量時，就算是樣本規模不是很大，仍然不會有很嚴重的錯誤，如果在大樣本時，不管母體是不是常態，樣本一定是常態分配，所以這些困擾會消失掉。當我們要以小樣本來估計時，仍然不要取太小的樣本，否則估算出來的信賴區間，要用來估算母體的平均值或其他統計量，則準確度很低。
當我們在推論小樣本的時候，常常可以發現其樣本圖形，不足以拿來判斷是否具常態，另外如果母體不是常態，樣本抽樣結果之觀察值也不是常態，此時用t分配來檢驗，誤差還不是很大，這是其中幸運的一點。但是如果是要用來做為『定性』的話，則不太好，如果有一組變動很激烈的觀察值，將會導致錯誤的結論，所以應該不宜用在定性的討論。但是卡方分配就沒有這麼幸運了，即是是大樣本，如果母體不為常態，就無法用卡方分配來推論母體標準差，這是一點要非常注意的囉。
另外一定要確定樣本是獨立抽樣，舉例如下，當政府要問卷調查家庭之政府政見的抽樣民意時，隨機抽樣100個家庭中夫妻的意見，所得到的結果，仍然不能視為100 x 2= 200。因為夫妻的意見並不是獨立的，而是會互相影響地。所以當觀察值在時間上、距離上非常接近時，可能會有非獨立的顧慮，所以這要非常小心，並且在一開始，就必須要嚴格審查抽樣方法是否正確。
資料來源：http://www.wretch.cc/blog/kalendar/9924412
流動
流動
2021/06/18
-----
「凡事理中求，大千世界唯心造。」
-----
「在業界能賺錢最重要，在學校能發表能升等最重要，做公益甘之如飴最重要。」
-----
「沒有成效的，讓他有成效。
要有成效就從市場去驗證。
化繁為簡，簡則易用，易用有功。」
-----
Wednesday, June 23, 2021
TensorFlow
TensorFlow
2019/04/16
前言：
-----
Fig. Flow（圖片來源）。
-----
Summary：
-----
Outline
一、Tensor
二、Frameworks
三、TensorFlow in a Nutshell
四、TensorFlow 2.0
-----
Fig.1.1a. Tensor [1]。
-----
Fig.1.1b. Tensor [2]。
-----
一、Tensor
But we don’t have to restrict ourselves to linear algebra. As it turns out, we can move up the mathematical food chain a bit. It has long been known that there are bigger fish in the mathematical abstraction sea than just matrices. One such candidate is called a tensor. Tensors figure prominently in the mathematical underpinnings of general relativity and are fundamental to other branches of physics as well. But just as the mathematical concepts of matrices and vectors can be simplified down to the arrays we use in computers, tensors can also be simplified and represented as multidimensional arrays and some related operations. Unfortunately, things aren’t quite as simple as they were with matrices and vectors, largely because there isn’t an obvious and simple set of operations to be performed on tensors like there were with matrices and vectors.
長期以來，人們都知道在數學抽象的海洋中存在著比矩陣還要大的魚，這其中一個候選就是張量（tensor）。張量是廣義相對論重要的數學基礎，此外它對於物理學的其它分支來說也具有基礎性的地位。那麼如同數學的矩陣和向量概念可被簡化成我們在計算機中使用的數組一樣，我們是否可以將張量也簡化和表徵成多維數組和一些相關的運算呢？很不幸，事情沒有那麼簡單，這其中的主要原因是不存在一個顯而易見且簡單的（如在矩陣和向量上類似的）可在張量上進行的一系列運算。
// Deep Learning 101 Demystifying Tensors
A tensor is often thought of as a generalized matrix. That is, it could be a 1-D matrix (a vector is actually such a tensor), a 3-D matrix (something like a cube of numbers), even a 0-D matrix (a single number), or a higher dimensional structure that is harder to visualize. The dimension of the tensor is called its rank.
張量通常被認為是一個廣義矩陣。 也就是說，它可以是 1-D 矩陣（向量實際上是這樣的張量），3-D 矩陣（類似於數字的立方體），甚至是 0-D 矩陣（單個數字），或者更難視覺化的更高維的結構。 張量的維度稱為其 rank。
// What’s the difference between a matrix and a tensor
-----
Fig. 1.2a. Tensor [3]。
-----
Fig. 1.2b. Code [4]。
// TensorFlow 101：基礎數值運算 – DataInPoint – Medium
「張量是現代機器學習的基礎。它的核心是一個數據容器，多數情況下，它包含數字，有時候它也包含字符串，但這種情況比較少。因此把它想像成一個數字的水桶。」
// 浅谈什么是张量tensor - So What - CSDN博客
-----
Fig. Army（圖片來源）。
-----
數字的水桶可能還是很抽象，不如以軍隊的編制說明比較具體，男生可能很容易瞭解，對女生或許也會有一些幫助。
這一兩天沈醉在張量裡面，從網路上蒐集了很多文章。數學與物理的部分，其實很難讀懂，深度學習的部分，配合圖示，倒是一下子就很清楚了。今天早上，我回憶起在成功嶺的單位，一師四旅九營二連。連，即是最基本的張量！
單兵：純量。班：向量。排：矩陣。連：張量。營：連的向量。旅：連的矩陣。師：連的向量。轉置矩陣，可以想成把班長抽出獨立成一班，副班長也抽出成一班，等等。
-----
Fig. 2. Deep Learning Frameworks
// Battle of the Deep Learning frameworks — Part I 2017, even more frameworks and interfaces
-----
二、Frameworks
「Facebook 開源 PyTorch，成為 TensorFlow 強敵 Theano 完成歷史使命，功成身退 ONNX 開放平台橫空出世，力圖促進開放的開發生態 CNTK，Keras，MXNet 均迎來重大更新 微軟攜手亞馬遜推出 Gluon 深度學習庫，英特爾推出增強學習框架 Coach 針對移動終端，Caffe2 和 TensorFlow Lite 先後開源」
// 迎來 PyTorch，告別 Theano，2017 深度學習框架發展大盤點 _ 香港矽谷
「1. 張量（Tensor） 2. 基於張量的各種操作 3. 計算圖（Computation Graph） 4. 自動微分（Automatic Differentiation）工具 5. BLAS、cuBLAS、cuDNN等拓展包」
// The Anatomy of Deep Learning Frameworks – Medium
「對於 Theano 的退出，有開發者這樣評價，「它開啟了基於符號運算的機器學習框架的先河，然後隨着 TensorFlow 和 PyTorch 的崛起，完成自己的歷史任務。」」目前「Theano 雖然已經停止更新了，但基本上所有的框架都參考過 Theano，它並不算徹底消失。」
// 迎來 PyTorch，告別 Theano，2017 深度學習框架發展大盤點 _ 香港矽谷
-----
Fig. 3.1. TensorFlow
// TensorFlow — A hands-on approach – Towards Data Science
-----
三、TensorFlow in a Nutshell
「TensorFlow 的名稱，凸顯了這個框架的兩個重要性質，靜態的資料結構設計成 Tensor 張量，能夠一次存放多屬性的資料，這讓我們可以用張量來描述我們要讓電腦進行機器學習的物件，像是一張包含 RGB 的彩色圖片。另外一方面 Flow，則是表達運算的動態路徑流，TensorFlow 利用 Graph 來表示 Tensor 的運算加工流程，以方便產生自動微分 AD，這是執行反向傳播來修正類神經網路權重的核心過程。所以如果有人問你，TensorFlow 的原理是什麼？她最重要的特點是什麼？我認為答案已經在「Tensor」「Flow」這兩個詞彙上面了。」
// Tensor張量的定義 – Epic
-----
Fig. 3.2
// TensorFlow in a Nutshell - DZone AI
-----
So, What Are the Benefits of Using Graphs? Parallelism: By using explicit edges to represent dependencies between operations, it is easy for the system to identify operations that can execute in parallel. Distributed execution: By using explicit edges to represent the values that flow between operations, it is possible for TensorFlow to partition your program across multiple devices (CPUs, GPUs, and TPUs) attached to different machines. TensorFlow inserts the necessary communication and coordination between devices. Compilation: TensorFlow’s XLA compiler can use the information in your dataflow graph to generate faster code, for example, by fusing together adjacent operations. Portability: The dataflow graph is a language-independent representation of the code in your model. You can build a dataflow graph in Python, store it in a SavedModel, and restore it in a C++ program for low-latency inference.
那麼，使用圖表的好處是什麼？
並行性：通過使用顯式邊來表示操作之間的依賴關係，系統很容易識別可以並行執行的操作。
分佈式執行：通過使用顯式邊來表示在操作之間流動的值，TensorFlow可以將程序劃分到連接到不同計算機的多個設備（CPU，GPU和TPU）上。 TensorFlow在設備之間插入必要的通信和協調。
編譯：TensorFlow的XLA編譯器可以使用數據流圖中的信息生成更快的代碼，例如，通過將相鄰操作融合在一起。
可移植性：數據流圖是模型中代碼的獨立於語言的表示形式。 您可以在Python中構建數據流圖，將其存儲在SavedModel中，並在C ++程序中將其還原以進行低延遲推理。
-----
Fig. 3.3. TensorFlow toolkit hierarchy
// TensorFlow — A hands-on approach – Towards Data Science
-----
TensorFlow provides a variety of different tool kits that allow you to write code at your preferred level of abstraction. For instance, you can write code in the Core TensorFlow (C++) and call that method from Python code. You can also define the architecture on which your code should run (CPU, GPU etc.). In the above hierarchy, the lowest level in which you can write your code is C++ or Python. These two levels allow you to write numerical programs to solve mathematical operations and equations. Although this is not highly recommended for building Machine Learning models, it offers a wide range of math libraries that ease your tasks. The next level in which you can write your code is using the TF specific abstract methods which are highly optimised for model components. For example, using the tf.layers method abstract you can play with the layers of a neural net. You can build a model and evaluate the model performance using the tf.metrics method. The most widely used level is the tf.estimator API, which allows you to build (train and predict) production ready models with easy. The estimator API is insanely easy to use and well optimised. Although it offers less flexibility, it has all that is needed to train and test your model. Let’s see an application of the estimator API to build a classifier using just three lines of code.
TensorFlow提供了各種不同的工具包，允許您以您喜歡的抽象級別編寫代碼。例如，您可以在Core TensorFlow（C ++）中編寫代碼並從Python代碼中調用該方法。您還可以定義應運行代碼的體系結構（CPU，GPU等）。在上面的層次結構中，您可以編寫代碼的最低級別是C ++或Python。這兩個級別允許您編寫數值程序來解決數學運算和方程。雖然這不是強烈建議用於構建機器學習模型，但它提供了各種數學庫，可以簡化您的任務。您可以編寫代碼的下一個級別是使用特定於TF的抽象方法，這些方法針對模型組件進行了高度優化。例如，使用tf.layers方法摘要，您可以使用神經網絡的圖層。您可以使用tf.metrics方法構建模型並評估模型性能。最廣泛使用的級別是tf.estimator API，它允許您輕鬆地構建（訓練和預測）生產就緒模型。估算器API非常易於使用且經過優化。雖然它提供的靈活性較低，但它具備培訓和測試模型所需的一切。讓我們看一下估算器API的應用程序，僅使用三行代碼構建分類器。
-----
-----
Fig. 4. TensorFlow 2.0
// What’s coming in TensorFlow 2.0 – TensorFlow – Medium
-----
四、TensorFlow 2.0
「使用 Keras 和 eager execution，輕鬆建立簡單的模型並執行。 在任何平台達成生產環境的模型部署。 為研究提供強大的實驗工具。 清除不建議使用的 API 和減少重複來簡化 API。」
// TensorFlow 2.0 Alpha 版来了！吴恩达配套课程同步上线 _ 雷锋网
「此外，TensorFlow 2.0 Alpha 版還有些新功能，允許研究人員和進階用戶使用豐富的延伸去實驗，如 Ragged Tensors、TensorFlow Probability、Tensor2Tensor 等。」
// TensorFlow 2.0 Alpha 版来了！吴恩达配套课程同步上线 _ 雷锋网
◎ Ragged Tensor
Gluon 支持循環和不規則張量（ragged tensors）(能批處理變長度序列)，對於 RNN 和 LSTM 模型具有空前的效率。
// 迎來 PyTorch，告別 Theano，2017 深度學習框架發展大盤點 _ 香港矽谷
「在處理很多機器學習現實任務的時候，我們常常會面臨形狀分佈不固定的Tensor，比如，在處理文本分類任務中，一句話中包含的單詞的數目是可變的，在語音識別中，輸入的音頻的長度是可變的，在語音合成中，輸入的文本的長度是可變的。一般這個時候，我們需要設定一個固定的長度，對於過長的輸入，就進行截斷；而對於過短的輸入，就用特殊數值補齊。 在TF 2.0中，我們迎來了一個新的解決方法，那就是」Ragged Tensor。
// TensorFlow 2.0新特性之Ragged Tensor_tf
◎ Tensor2Tensor
「Tensor2Tensor（T2T）是 Google Brain Team 在 Github 上開源出來的一套基於 TensorFlow 的深度學習系統。該系統最初是希望完全使用 Attention 方法來建模序列到序列（Sequence-to-Sequence，Seq2Seq）的問題，對應於《Attention Is All You Need》這篇論文。該項工作有一個有意思的名字叫“Transformer”。隨著系統的不斷擴展，T2T 支持的功能變得越來越多，目前可以建模的問題包括：圖像分類，語言模型、情感分析、語音識別、文本摘要，機器翻譯。 T2T 在很多任務上的表現很好，並且模型收斂比較快，在 TF 平台上的工程化代碼實現的也非常好，是一個十分值得使用和學習的系統。」
// “变形金刚”Google Tensor2Tensor系统 - 知乎
◎ TensorFlow Probability
「TensorFlow Probability（TFP）是一個基於 TensorFlow 的 Python 庫，能夠更容易地結合概率模型和深度學習。數據科學家、統計學以及機器學習研究者或者從業者，都可以用它編碼領域知識 (Domain Knowledge)，從而理解數據並寫出自己的應用。」
// TensorFlow Probability 概率編程入門級實操教程 _ 香港矽谷
-----
Conclusion
師，連的張量？
-----
References
一、Tensor
# Tensor 圖示
Learning AI if You Suck at Math — P4 — Tensors Illustrated (with Cats!)
https://hackernoon.com/learning-ai-if-you-suck-at-math-p4-tensors-illustrated-with-cats-27f0002c9b32
# Tensor 圖示
From Scalar to Tensor Fundamental Mathematics for Machine Learning with Intuitive Examples Part…
https://medium.com/datadriveninvestor/from-scalar-to-tensor-fundamental-mathematics-for-machine-learning-with-intuitive-examples-part-163727dfea8d
# Tensor 圖示
WTF is a Tensor !
https://www.kdnuggets.com/2018/05/wtf-tensor.html
# Tensor 代碼
TensorFlow 101：基礎數值運算 – DataInPoint – Medium
https://medium.com/datainpoint/tf101-tf-as-s-calculator-7d51c66882bb
-----
What’s the difference between a matrix and a tensor
https://medium.com/@quantumsteinke/whats-the-difference-between-a-matrix-and-a-tensor-4505fbdc576c
Deep Learning 101 Demystifying Tensors
https://www.kdnuggets.com/2017/06/deep-learning-demystifying-tensors.html
深度学习初学者必读：张量究竟是什么？ _ 机器之心
https://www.jiqizhixin.com/articles/2017-06-20-2
# TensorFlow
浅谈什么是张量tensor - So What - CSDN博客
https://blog.csdn.net/qq_31821675/article/details/79188449
# TensorFlow
Tensor張量的定義 – Epic
https://1fly2sky.wordpress.com/2018/10/25/tensor%E5%BC%B5%E9%87%8F%E7%9A%84%E5%AE%9A%E7%BE%A9/
-----
// 數學、物理
# 數學
通俗理解张量tensor - 简书
https://www.jianshu.com/p/2a0f7f7735ad
# 數學
[線性代數]張量 – 尼斯的靈魂
https://frankliou.wordpress.com/2012/09/03/%E7%B7%9A%E6%80%A7%E4%BB%A3%E6%95%B8%E5%BC%B5%E9%87%8F/
# 數學、物理
Tensor - Wikipedia
https://en.wikipedia.org/wiki/Tensor
# 數學、物理
張量 - 維基百科，自由的百科全書
https://zh.wikipedia.org/wiki/%E5%BC%B5%E9%87%8F
# 數學、物理
什么是张量 (tensor)？ - 知乎
https://www.zhihu.com/question/20695804
-----
二、Frameworks
# 框架
Battle of the Deep Learning frameworks — Part I 2017, even more frameworks and interfaces
https://towardsdatascience.com/battle-of-the-deep-learning-frameworks-part-i-cff0e3841750
2017年深度学习框架之争——看谁主沉浮？ - 简书
https://www.jianshu.com/p/9c2685862fd4
# 框架、核心
The Anatomy of Deep Learning Frameworks – Medium
https://medium.com/@gokul_uf/the-anatomy-of-deep-learning-frameworks-46e2a7af5e47
深度学习框架太抽象？其实不外乎这五大核心组件 _ 雷锋网
https://www.leiphone.com/news/201701/DZeAwe2qgx8JhbU8.html
# 框架、Ragged Tensor
迎來 PyTorch，告別 Theano，2017 深度學習框架發展大盤點 _ 香港矽谷
https://www.hksilicon.com/articles/1509257
-----
三、TensorFlow in a Nutshell
# 786 claps
Tensorflow for absolute beginners – Towards Data Science
https://towardsdatascience.com/tensorflow-for-absolute-beginners-28c1544fb0d6
TensorFlow Tutorial For Beginners (article) - DataCamp
https://www.datacamp.com/community/tutorials/tensorflow-tutorial
9 Things You Should Know About TensorFlow – Hacker Noon
https://hackernoon.com/9-things-you-should-know-about-tensorflow-9cf0a05e4995
TensorFlow in a Nutshell - DZone AI
https://dzone.com/articles/tensorflow-in-a-nutshell
TensorFlow Tutorial For Beginners (article) - DataCamp
https://www.datacamp.com/community/tutorials/tensorflow-tutorial
Understand TensorFlow by mimicking its API from scratch
https://medium.com/@d3lm/understand-tensorflow-by-mimicking-its-api-from-scratch-faa55787170d
TensorFlow — A hands-on approach – Towards Data Science
https://towardsdatascience.com/tensorflow-a-hands-on-approach-8614372f021f
从框架优缺点说起，这是一份TensorFlow入门极简教程 _ 机器之心
https://www.jiqizhixin.com/articles/052401
-----
四、TensorFlow 2.0
TensorFlow is dead, long live TensorFlow! – Hacker Noon
https://hackernoon.com/tensorflow-is-dead-long-live-tensorflow-49d3e975cf04
What’s coming in TensorFlow 2.0 – TensorFlow – Medium
https://medium.com/tensorflow/whats-coming-in-tensorflow-2-0-d3663832e9b8
TensorFlow 2.0 Alpha 版来了！吴恩达配套课程同步上线 _ 雷锋网
https://www.leiphone.com/news/201903/hFAVIz7ZiCsGBx7C.html
TensorFlow 2.0 Alpha 版來了！吳恩達配套課程同步上線 _ TechNews 科技新報
http://technews.tw/2019/03/08/tensorflow-2-0-alpha/
-----
◎ Ragged Tensor
Introducing Ragged Tensors – TensorFlow – Medium
https://medium.com/tensorflow/introducing-ragged-tensors-ac301c31fd38
TensorFlow 2.0新特性之Ragged Tensor_tf
http://www.sohu.com/a/306300588_723464
-----
◎ Tensor2Tensor
Training Cutting-Edge Neural Networks with Tensor2Tensor and 10 lines of code
https://medium.com/data-from-the-trenches/training-cutting-edge-neural-networks-with-tensor2tensor-and-10-lines-of-code-10973c030b8
Tensor2Tensor and One Model to Learn them all – Towards Data Science
https://towardsdatascience.com/tensor2tensor-and-one-model-to-learn-them-all-7ef3f9b61ba4
“变形金刚”Google Tensor2Tensor系统 - 知乎
https://zhuanlan.zhihu.com/p/39348901
-----
◎ TensorFlow Probability
An introduction to probabilistic programming, now available in TensorFlow Probability
https://medium.com/tensorflow/an-introduction-to-probabilistic-programming-now-available-in-tensorflow-probability-6dcc003ca29e
TensorFlow Probability 概率編程入門級實操教程 _ 香港矽谷
https://www.hksilicon.com/articles/1730267
2019/04/16
前言：
-----
Fig. Flow（圖片來源）。
-----
Summary：
-----
Outline
一、Tensor
二、Frameworks
三、TensorFlow in a Nutshell
四、TensorFlow 2.0
-----
Fig.1.1a. Tensor [1]。
-----
Fig.1.1b. Tensor [2]。
-----
一、Tensor
But we don’t have to restrict ourselves to linear algebra. As it turns out, we can move up the mathematical food chain a bit. It has long been known that there are bigger fish in the mathematical abstraction sea than just matrices. One such candidate is called a tensor. Tensors figure prominently in the mathematical underpinnings of general relativity and are fundamental to other branches of physics as well. But just as the mathematical concepts of matrices and vectors can be simplified down to the arrays we use in computers, tensors can also be simplified and represented as multidimensional arrays and some related operations. Unfortunately, things aren’t quite as simple as they were with matrices and vectors, largely because there isn’t an obvious and simple set of operations to be performed on tensors like there were with matrices and vectors.
長期以來，人們都知道在數學抽象的海洋中存在著比矩陣還要大的魚，這其中一個候選就是張量（tensor）。張量是廣義相對論重要的數學基礎，此外它對於物理學的其它分支來說也具有基礎性的地位。那麼如同數學的矩陣和向量概念可被簡化成我們在計算機中使用的數組一樣，我們是否可以將張量也簡化和表徵成多維數組和一些相關的運算呢？很不幸，事情沒有那麼簡單，這其中的主要原因是不存在一個顯而易見且簡單的（如在矩陣和向量上類似的）可在張量上進行的一系列運算。
// Deep Learning 101 Demystifying Tensors
A tensor is often thought of as a generalized matrix. That is, it could be a 1-D matrix (a vector is actually such a tensor), a 3-D matrix (something like a cube of numbers), even a 0-D matrix (a single number), or a higher dimensional structure that is harder to visualize. The dimension of the tensor is called its rank.
張量通常被認為是一個廣義矩陣。 也就是說，它可以是 1-D 矩陣（向量實際上是這樣的張量），3-D 矩陣（類似於數字的立方體），甚至是 0-D 矩陣（單個數字），或者更難視覺化的更高維的結構。 張量的維度稱為其 rank。
// What’s the difference between a matrix and a tensor
-----
Fig. 1.2a. Tensor [3]。
-----
Fig. 1.2b. Code [4]。
// TensorFlow 101：基礎數值運算 – DataInPoint – Medium
「張量是現代機器學習的基礎。它的核心是一個數據容器，多數情況下，它包含數字，有時候它也包含字符串，但這種情況比較少。因此把它想像成一個數字的水桶。」
// 浅谈什么是张量tensor - So What - CSDN博客
-----
Fig. Army（圖片來源）。
-----
數字的水桶可能還是很抽象，不如以軍隊的編制說明比較具體，男生可能很容易瞭解，對女生或許也會有一些幫助。
這一兩天沈醉在張量裡面，從網路上蒐集了很多文章。數學與物理的部分，其實很難讀懂，深度學習的部分，配合圖示，倒是一下子就很清楚了。今天早上，我回憶起在成功嶺的單位，一師四旅九營二連。連，即是最基本的張量！
單兵：純量。班：向量。排：矩陣。連：張量。營：連的向量。旅：連的矩陣。師：連的向量。轉置矩陣，可以想成把班長抽出獨立成一班，副班長也抽出成一班，等等。
-----
Fig. 2. Deep Learning Frameworks
// Battle of the Deep Learning frameworks — Part I 2017, even more frameworks and interfaces
-----
二、Frameworks
「Facebook 開源 PyTorch，成為 TensorFlow 強敵 Theano 完成歷史使命，功成身退 ONNX 開放平台橫空出世，力圖促進開放的開發生態 CNTK，Keras，MXNet 均迎來重大更新 微軟攜手亞馬遜推出 Gluon 深度學習庫，英特爾推出增強學習框架 Coach 針對移動終端，Caffe2 和 TensorFlow Lite 先後開源」
// 迎來 PyTorch，告別 Theano，2017 深度學習框架發展大盤點 _ 香港矽谷
「1. 張量（Tensor） 2. 基於張量的各種操作 3. 計算圖（Computation Graph） 4. 自動微分（Automatic Differentiation）工具 5. BLAS、cuBLAS、cuDNN等拓展包」
// The Anatomy of Deep Learning Frameworks – Medium
「對於 Theano 的退出，有開發者這樣評價，「它開啟了基於符號運算的機器學習框架的先河，然後隨着 TensorFlow 和 PyTorch 的崛起，完成自己的歷史任務。」」目前「Theano 雖然已經停止更新了，但基本上所有的框架都參考過 Theano，它並不算徹底消失。」
// 迎來 PyTorch，告別 Theano，2017 深度學習框架發展大盤點 _ 香港矽谷
-----
Fig. 3.1. TensorFlow
// TensorFlow — A hands-on approach – Towards Data Science
-----
三、TensorFlow in a Nutshell
「TensorFlow 的名稱，凸顯了這個框架的兩個重要性質，靜態的資料結構設計成 Tensor 張量，能夠一次存放多屬性的資料，這讓我們可以用張量來描述我們要讓電腦進行機器學習的物件，像是一張包含 RGB 的彩色圖片。另外一方面 Flow，則是表達運算的動態路徑流，TensorFlow 利用 Graph 來表示 Tensor 的運算加工流程，以方便產生自動微分 AD，這是執行反向傳播來修正類神經網路權重的核心過程。所以如果有人問你，TensorFlow 的原理是什麼？她最重要的特點是什麼？我認為答案已經在「Tensor」「Flow」這兩個詞彙上面了。」
// Tensor張量的定義 – Epic
-----
Fig. 3.2
// TensorFlow in a Nutshell - DZone AI
-----
So, What Are the Benefits of Using Graphs? Parallelism: By using explicit edges to represent dependencies between operations, it is easy for the system to identify operations that can execute in parallel. Distributed execution: By using explicit edges to represent the values that flow between operations, it is possible for TensorFlow to partition your program across multiple devices (CPUs, GPUs, and TPUs) attached to different machines. TensorFlow inserts the necessary communication and coordination between devices. Compilation: TensorFlow’s XLA compiler can use the information in your dataflow graph to generate faster code, for example, by fusing together adjacent operations. Portability: The dataflow graph is a language-independent representation of the code in your model. You can build a dataflow graph in Python, store it in a SavedModel, and restore it in a C++ program for low-latency inference.
那麼，使用圖表的好處是什麼？
並行性：通過使用顯式邊來表示操作之間的依賴關係，系統很容易識別可以並行執行的操作。
分佈式執行：通過使用顯式邊來表示在操作之間流動的值，TensorFlow可以將程序劃分到連接到不同計算機的多個設備（CPU，GPU和TPU）上。 TensorFlow在設備之間插入必要的通信和協調。
編譯：TensorFlow的XLA編譯器可以使用數據流圖中的信息生成更快的代碼，例如，通過將相鄰操作融合在一起。
可移植性：數據流圖是模型中代碼的獨立於語言的表示形式。 您可以在Python中構建數據流圖，將其存儲在SavedModel中，並在C ++程序中將其還原以進行低延遲推理。
-----
Fig. 3.3. TensorFlow toolkit hierarchy
// TensorFlow — A hands-on approach – Towards Data Science
-----
TensorFlow provides a variety of different tool kits that allow you to write code at your preferred level of abstraction. For instance, you can write code in the Core TensorFlow (C++) and call that method from Python code. You can also define the architecture on which your code should run (CPU, GPU etc.). In the above hierarchy, the lowest level in which you can write your code is C++ or Python. These two levels allow you to write numerical programs to solve mathematical operations and equations. Although this is not highly recommended for building Machine Learning models, it offers a wide range of math libraries that ease your tasks. The next level in which you can write your code is using the TF specific abstract methods which are highly optimised for model components. For example, using the tf.layers method abstract you can play with the layers of a neural net. You can build a model and evaluate the model performance using the tf.metrics method. The most widely used level is the tf.estimator API, which allows you to build (train and predict) production ready models with easy. The estimator API is insanely easy to use and well optimised. Although it offers less flexibility, it has all that is needed to train and test your model. Let’s see an application of the estimator API to build a classifier using just three lines of code.
TensorFlow提供了各種不同的工具包，允許您以您喜歡的抽象級別編寫代碼。例如，您可以在Core TensorFlow（C ++）中編寫代碼並從Python代碼中調用該方法。您還可以定義應運行代碼的體系結構（CPU，GPU等）。在上面的層次結構中，您可以編寫代碼的最低級別是C ++或Python。這兩個級別允許您編寫數值程序來解決數學運算和方程。雖然這不是強烈建議用於構建機器學習模型，但它提供了各種數學庫，可以簡化您的任務。您可以編寫代碼的下一個級別是使用特定於TF的抽象方法，這些方法針對模型組件進行了高度優化。例如，使用tf.layers方法摘要，您可以使用神經網絡的圖層。您可以使用tf.metrics方法構建模型並評估模型性能。最廣泛使用的級別是tf.estimator API，它允許您輕鬆地構建（訓練和預測）生產就緒模型。估算器API非常易於使用且經過優化。雖然它提供的靈活性較低，但它具備培訓和測試模型所需的一切。讓我們看一下估算器API的應用程序，僅使用三行代碼構建分類器。
-----
-----
Fig. 4. TensorFlow 2.0
// What’s coming in TensorFlow 2.0 – TensorFlow – Medium
-----
四、TensorFlow 2.0
「使用 Keras 和 eager execution，輕鬆建立簡單的模型並執行。 在任何平台達成生產環境的模型部署。 為研究提供強大的實驗工具。 清除不建議使用的 API 和減少重複來簡化 API。」
// TensorFlow 2.0 Alpha 版来了！吴恩达配套课程同步上线 _ 雷锋网
「此外，TensorFlow 2.0 Alpha 版還有些新功能，允許研究人員和進階用戶使用豐富的延伸去實驗，如 Ragged Tensors、TensorFlow Probability、Tensor2Tensor 等。」
// TensorFlow 2.0 Alpha 版来了！吴恩达配套课程同步上线 _ 雷锋网
◎ Ragged Tensor
Gluon 支持循環和不規則張量（ragged tensors）(能批處理變長度序列)，對於 RNN 和 LSTM 模型具有空前的效率。
// 迎來 PyTorch，告別 Theano，2017 深度學習框架發展大盤點 _ 香港矽谷
「在處理很多機器學習現實任務的時候，我們常常會面臨形狀分佈不固定的Tensor，比如，在處理文本分類任務中，一句話中包含的單詞的數目是可變的，在語音識別中，輸入的音頻的長度是可變的，在語音合成中，輸入的文本的長度是可變的。一般這個時候，我們需要設定一個固定的長度，對於過長的輸入，就進行截斷；而對於過短的輸入，就用特殊數值補齊。 在TF 2.0中，我們迎來了一個新的解決方法，那就是」Ragged Tensor。
// TensorFlow 2.0新特性之Ragged Tensor_tf
◎ Tensor2Tensor
「Tensor2Tensor（T2T）是 Google Brain Team 在 Github 上開源出來的一套基於 TensorFlow 的深度學習系統。該系統最初是希望完全使用 Attention 方法來建模序列到序列（Sequence-to-Sequence，Seq2Seq）的問題，對應於《Attention Is All You Need》這篇論文。該項工作有一個有意思的名字叫“Transformer”。隨著系統的不斷擴展，T2T 支持的功能變得越來越多，目前可以建模的問題包括：圖像分類，語言模型、情感分析、語音識別、文本摘要，機器翻譯。 T2T 在很多任務上的表現很好，並且模型收斂比較快，在 TF 平台上的工程化代碼實現的也非常好，是一個十分值得使用和學習的系統。」
// “变形金刚”Google Tensor2Tensor系统 - 知乎
◎ TensorFlow Probability
「TensorFlow Probability（TFP）是一個基於 TensorFlow 的 Python 庫，能夠更容易地結合概率模型和深度學習。數據科學家、統計學以及機器學習研究者或者從業者，都可以用它編碼領域知識 (Domain Knowledge)，從而理解數據並寫出自己的應用。」
// TensorFlow Probability 概率編程入門級實操教程 _ 香港矽谷
-----
Conclusion
師，連的張量？
-----
References
一、Tensor
# Tensor 圖示
Learning AI if You Suck at Math — P4 — Tensors Illustrated (with Cats!)
https://hackernoon.com/learning-ai-if-you-suck-at-math-p4-tensors-illustrated-with-cats-27f0002c9b32
# Tensor 圖示
From Scalar to Tensor Fundamental Mathematics for Machine Learning with Intuitive Examples Part…
https://medium.com/datadriveninvestor/from-scalar-to-tensor-fundamental-mathematics-for-machine-learning-with-intuitive-examples-part-163727dfea8d
# Tensor 圖示
WTF is a Tensor !
https://www.kdnuggets.com/2018/05/wtf-tensor.html
# Tensor 代碼
TensorFlow 101：基礎數值運算 – DataInPoint – Medium
https://medium.com/datainpoint/tf101-tf-as-s-calculator-7d51c66882bb
-----
What’s the difference between a matrix and a tensor
https://medium.com/@quantumsteinke/whats-the-difference-between-a-matrix-and-a-tensor-4505fbdc576c
Deep Learning 101 Demystifying Tensors
https://www.kdnuggets.com/2017/06/deep-learning-demystifying-tensors.html
深度学习初学者必读：张量究竟是什么？ _ 机器之心
https://www.jiqizhixin.com/articles/2017-06-20-2
# TensorFlow
浅谈什么是张量tensor - So What - CSDN博客
https://blog.csdn.net/qq_31821675/article/details/79188449
# TensorFlow
Tensor張量的定義 – Epic
https://1fly2sky.wordpress.com/2018/10/25/tensor%E5%BC%B5%E9%87%8F%E7%9A%84%E5%AE%9A%E7%BE%A9/
-----
// 數學、物理
# 數學
通俗理解张量tensor - 简书
https://www.jianshu.com/p/2a0f7f7735ad
# 數學
[線性代數]張量 – 尼斯的靈魂
https://frankliou.wordpress.com/2012/09/03/%E7%B7%9A%E6%80%A7%E4%BB%A3%E6%95%B8%E5%BC%B5%E9%87%8F/
# 數學、物理
Tensor - Wikipedia
https://en.wikipedia.org/wiki/Tensor
# 數學、物理
張量 - 維基百科，自由的百科全書
https://zh.wikipedia.org/wiki/%E5%BC%B5%E9%87%8F
# 數學、物理
什么是张量 (tensor)？ - 知乎
https://www.zhihu.com/question/20695804
-----
二、Frameworks
# 框架
Battle of the Deep Learning frameworks — Part I 2017, even more frameworks and interfaces
https://towardsdatascience.com/battle-of-the-deep-learning-frameworks-part-i-cff0e3841750
2017年深度学习框架之争——看谁主沉浮？ - 简书
https://www.jianshu.com/p/9c2685862fd4
# 框架、核心
The Anatomy of Deep Learning Frameworks – Medium
https://medium.com/@gokul_uf/the-anatomy-of-deep-learning-frameworks-46e2a7af5e47
深度学习框架太抽象？其实不外乎这五大核心组件 _ 雷锋网
https://www.leiphone.com/news/201701/DZeAwe2qgx8JhbU8.html
# 框架、Ragged Tensor
迎來 PyTorch，告別 Theano，2017 深度學習框架發展大盤點 _ 香港矽谷
https://www.hksilicon.com/articles/1509257
-----
三、TensorFlow in a Nutshell
# 786 claps
Tensorflow for absolute beginners – Towards Data Science
https://towardsdatascience.com/tensorflow-for-absolute-beginners-28c1544fb0d6
TensorFlow Tutorial For Beginners (article) - DataCamp
https://www.datacamp.com/community/tutorials/tensorflow-tutorial
9 Things You Should Know About TensorFlow – Hacker Noon
https://hackernoon.com/9-things-you-should-know-about-tensorflow-9cf0a05e4995
TensorFlow in a Nutshell - DZone AI
https://dzone.com/articles/tensorflow-in-a-nutshell
TensorFlow Tutorial For Beginners (article) - DataCamp
https://www.datacamp.com/community/tutorials/tensorflow-tutorial
Understand TensorFlow by mimicking its API from scratch
https://medium.com/@d3lm/understand-tensorflow-by-mimicking-its-api-from-scratch-faa55787170d
TensorFlow — A hands-on approach – Towards Data Science
https://towardsdatascience.com/tensorflow-a-hands-on-approach-8614372f021f
从框架优缺点说起，这是一份TensorFlow入门极简教程 _ 机器之心
https://www.jiqizhixin.com/articles/052401
-----
四、TensorFlow 2.0
TensorFlow is dead, long live TensorFlow! – Hacker Noon
https://hackernoon.com/tensorflow-is-dead-long-live-tensorflow-49d3e975cf04
What’s coming in TensorFlow 2.0 – TensorFlow – Medium
https://medium.com/tensorflow/whats-coming-in-tensorflow-2-0-d3663832e9b8
TensorFlow 2.0 Alpha 版来了！吴恩达配套课程同步上线 _ 雷锋网
https://www.leiphone.com/news/201903/hFAVIz7ZiCsGBx7C.html
TensorFlow 2.0 Alpha 版來了！吳恩達配套課程同步上線 _ TechNews 科技新報
http://technews.tw/2019/03/08/tensorflow-2-0-alpha/
-----
◎ Ragged Tensor
Introducing Ragged Tensors – TensorFlow – Medium
https://medium.com/tensorflow/introducing-ragged-tensors-ac301c31fd38
TensorFlow 2.0新特性之Ragged Tensor_tf
http://www.sohu.com/a/306300588_723464
-----
◎ Tensor2Tensor
Training Cutting-Edge Neural Networks with Tensor2Tensor and 10 lines of code
https://medium.com/data-from-the-trenches/training-cutting-edge-neural-networks-with-tensor2tensor-and-10-lines-of-code-10973c030b8
Tensor2Tensor and One Model to Learn them all – Towards Data Science
https://towardsdatascience.com/tensor2tensor-and-one-model-to-learn-them-all-7ef3f9b61ba4
“变形金刚”Google Tensor2Tensor系统 - 知乎
https://zhuanlan.zhihu.com/p/39348901
-----
◎ TensorFlow Probability
An introduction to probabilistic programming, now available in TensorFlow Probability
https://medium.com/tensorflow/an-introduction-to-probabilistic-programming-now-available-in-tensorflow-probability-6dcc003ca29e
TensorFlow Probability 概率編程入門級實操教程 _ 香港矽谷
https://www.hksilicon.com/articles/1730267
Saturday, June 19, 2021
PFPNet（三）：Illustrated
PFPNet（三）：Illustrated
2021/04/08
-----
-----
# Deep learning for generic object detection: A survey
說明：
2005 HOG 用 SVM 分類固定大小的圖片。
2008 DPM 用 SVM 分類照片中部分區域的圖片（可搭配 SS 或 R-CNN）。
◎ 2011 SS 提供約兩千個建議框（可搭配 DPM 或 R-CNN 或 Fast R-CNN）。
2014 R-CNN
2015 Fast R-CNN
2015 Faster R-CNN
-----
# Object Detection in 20 Years: A Survey
說明：
2005 HOG
2008 DPM
2014 R-CNN
◎ 2015 SPPNet（RoI Region of Interest，被 Fast R-CNN 與 Faster R-CNN 使用）。
2015 Fast R-CNN
2015 Faster R-CNN
-----
# A Survey of Deep Learning-based Object Detection
說明：
Two-stage and one-stage。
-----
Modified from # A Survey of Deep Learning-based Object Detection
說明：
一、主架構。Faster R-CNN 提供建議框。R-CNN 抽取特徵。Fast R-CNN 利用抽取的特徵進行分類與回歸。
二、RPN 架構。
1. 分類為有物件或無物件兩類。回歸先做一次。
2. 「而最後的 Proposal 層則負責綜合 positive anchors 和對應 bounding box regression 偏移量獲取 proposals，同時剔除太小和超出邊界的 proposals。其實整個網路到了 Proposal Layer 這裡，就完成了相當於目標定位的功能。」回歸在正式分類還會再做一次，細調。
3. anchors 共有幾個？以 800 x 600 為例：向上取整數(800/16) x 向上取整數(600/16) x 9 = 17100。
4. 「全部 anchors 拿去訓練太多了，訓練程式會在合適的 anchors 中隨機選取 128 個postive anchors+128 個 negative anchors 進行訓練。」
5. 到此跟一階段演算法如 YOLO 類似，只是分類數為 2 而不是多分類。
https://zhuanlan.zhihu.com/p/31426458
-----
# R-CNN
說明：
R-CNN。
-----
Modified from # R-CNN
說明：
先用 SS 建議的 2000 個左右的建議框，每個建議框用 CNN 抽取特徵。然後對每一類進行 SVM 判別。
-----
# Fast R-CNN
說明：
Fast R-CNN。
-----
# SPPNet
說明：
SPPNet 的 RoI 主要用來解決 crop 與 warp 兩個問題。
-----
# SPPNet
說明：
ROI 之後進行 Spatial Pyramid Pooling。
-----
Modified from # Fast R-CNN
說明：
先用 CNN 抽取特徵。然後把 SS 提供的 2000 個建議框，用 SPPNet 的 RoI 框住特徵圖，然後用 CNN 進行分類與回歸。
-----
# Faster R-CNN
說明：
k anchor boxes, k = 9。
2k scores, 2 = positive and negative。
4k coordinates, 4 = (x, y, w, h) x y 中心點，w h 寬高。
a box-regression layer (reg) 回歸。
a box-classification layer (cls) 分類。
最後一層的特徵圖，每個點（錨點），有三個 scale、每個 scale，有三種框。每個框預測有物件或沒物件。一共 18 種預測。種類參考本張圖。大小參考下一張圖。
-----
# Faster R-CNN
說明：
「全部 anchors 拿去訓練太多了，訓練程序會在合適的 anchors 中隨機選取 128 個 postive anchors + 128 個 negative anchors 進行訓練。」
https://zhuanlan.zhihu.com/p/31426458
-----
# PUP
說明：
RPN 的損失函數，cross entropy and smooth L1。PU 部分參考即可。
-----
# Wing Loss
說明：
1. L2 收斂比 L1 快。一般選 L2。
2. 但若有誤差樣本為 1000，其他為 1 時，此誤差為 1000 的樣本會佔太大比重。將 L2 改為 L1 則將平方改為線性，減低此項效應。
3. L1 在 0 處，導數不唯一（在正負 1 之間跳動），有可能影響收斂（？此說明不佳）。0 處改為平方，則兼具 L1 與 L2 之優點。
https://zhuanlan.zhihu.com/p/48426076
（？）
1. L2 的導數為 2x。
2. L1 的導數為 正負 1。
3. smooth L1，當預測框與 ground truth 差別大時，導數不置於太大。當差別很小時，導數夠小（此說明佳）。
https://www.zhihu.com/question/58200555
-----
# Faster R-CNN
說明：
損失函數的英文說明。請參考下方損失函數的中文說明。
-----
# Faster R-CNN
說明：
RPN 的損失函數。
L：Loss function。
p：positive softmax probability。
t：predict bounding box。
i：anchors index。
Ncls：mini-batch size (i.e., Ncls = 256)。圖片張數。
Lcls：Loss function of classification。rpn_cls_loss 層計算的 softmax loss（log loss）。
pi：參考 p 與 i。
pi*：對應的 GT predict 概率。「（即當第 i 個 anchor 與 GT 間 IoU > 0.7，認為是該 anchor 是positive，[公式]；反之 IoU <0.3 時，認為是該 anchor 是 negative，[公式]；至於那些 0.3 < IoU < 0.7 的 anchor 則不參與訓練）」。pi 是預測機率，pi* 是 label。positive 的 anchor，pi* 為 1，negative 的 anchor，pi* 為 0。此為二分類 cross entropy loss。
https://zhuanlan.zhihu.com/p/31426458
Nreg：the number of anchor locations (i.e., Nreg = 2400)。圖片張數的框張數的總和。
Lreg：Loss function of regression。
ti：參考 t 與 i。
ti*：對應 positive anchor 對應的 GT box。
乘上 pi*，代表只關心 positive 的 box。
λ：= Nreg / Ncls = 2400 / 256，大約等於 10。用以平衡兩者的個數。
-----
# Fast R-CNN
說明：
smooth L1 損失函數。希望預測框跟 GT 框的位置與大小越接近越好。
Lloc = Lreg。名稱不一樣而已。都是用來做位置與大小的回歸（先平移再縮放）。
tu「t：predict bounding box。」（預測框）。t 如何取得，參考下一張圖。
v「ti*：對應 positive anchor 對應的 GT box。」（GT 框）。t* 如何取得，參考下一張圖。
i「x y w h。」（位置與大小）。
-----
# Faster R-CNN
說明：
如何從原始的錨框 A，經過變換得到一個接近 GT 框 G 的 預測框 G' 呢？先做平移，再做縮放。
x：框的中心點 x 座標。
y：框的中心點 y 座標。
w：框的寬度。
h：框的高度。
x：預測框。
xa：錨框。
x*：GT 框。
t 與 t*：預測框的四個元素與 GT 框的四個元素（越近越好）。
https://zhuanlan.zhihu.com/p/31426458
-----
# DeepFood
說明：
如何從原始的 anchor A，經過變換得到一個接近真實窗口 G 的 G' 呢？先做平移，再做縮放。
公式與上圖相反。
-----
# Object Detection in 20 Years: A Survey
說明：
複習。
-----
Figure 1: Panoptic FPN: (a) We start with an FPN backbone [36], widely used in object detection, for extracting rich multi-scale features. (b) As in Mask R-CNN [24], we use a region-based branch on top of FPN for instance segmentation. (c) In parallel, we add a lightweight denseprediction branch on top of the same FPN features for semantic segmentation. This simple extension of Mask RCNN with FPN is a fast and accurate baseline for both tasks.
圖1：全景 FPN：（a）我們從 FPN 主幹 [36] 開始，該主幹廣泛用於物件偵測，以提取豐富的多尺度特徵。 （b）就像在 Mask R-CNN [24] 中一樣，我們在 FPN 的頂部使用基於區域的分支進行實例分割。 （c）並行地，我們在相同的 FPN 功能之上添加了一個輕量級的密集預測分支，用於語義分割。 使用 FPN 對 Mask RCNN 進行的這種簡單擴展是這兩項任務的快速而準確的基準。
# PFPNet
說明：
PFPNet =
1. FPN(based on Faster R-CNN + Pyramid) +
2. FCN +
3. Mask R-CNN(based on Faster R-CNN)。
所以本文後半部主要討論 Faster R-CNN。
-----
Figure 3: Semantic segmentation branch. Each FPN level (left) is upsampled by convolutions and bilinear upsampling until it reaches 1/4 scale (right), theses outputs are then summed and finally transformed into a pixel-wise output.
圖3：語義分割分支。 每個 FPN 層（左）通過卷積和雙線性上採樣進行上採樣，直到達到 1/4 的比例（右），然後將這些輸出求和，最後轉換為像素輸出。
# PFPNet
說明：
八倍 + 四倍 + 兩倍，所以比 FCN 多一個八倍的圖。
-----
Figure 5: Backbone architectures for increasing feature resolution. (a) A standard convolutional network (dimensions are denoted as #blocks×#channels×resolution). (b) A common approach is to reduce the stride of select convolutions and use dilated convolutions after to compensate. (c) A U-Net [49] style network uses a symmetric decoder that mirrors the bottom-up pathway, but in reverse. (d) FPN can be seen as an asymmetric, lightweight decoder whose top-down pathway has only one block per stage and uses a shared channel dimension. For a comparison of the efficiency of these models, please see Figure 4.
圖5：用於增加特徵解析度的骨幹架構。 （a）一個標準的卷積網路（尺寸表示為 #blocks x #channels x resolution）。 （b）一種常見的方法是減小選擇卷積的步幅，並在補償後使用擴張卷積。 （c）U-Net [49] 樣式的網路使用對稱的解碼器，該對稱的解碼器鏡像了自下而上的路徑，但相反。 （d）FPN 可以看作是一種非對稱，輕量級的解碼器，其自上而下的路徑每級只有一個塊，並且使用共享的通道尺寸。 為了比較這些模型的效率，請參見圖4。
# PFPNet
說明：
a. 標準的卷積網路。
b. 使用擴張卷積。
c. 加上對稱的如 U-Net 的解碼器。
d. 加上非對稱的如 FPN 的輕量解碼器（特徵圖較少）。
-----
Figure 4: Backbone architecture efficiency. We compare methods for increasing feature resolution for semantic segmentation, including dilated networks, symmetric decoders, and FPN, see Figure 5. We count multiply-adds and memory used when applying ResNet-101 to a 2 megapixel image. FPN at output scale 1/4 is similar computationally to dilation-16 (1/16 resolution output), but produces a 4× higher resolution output. Increasing resolution to 1/8 via dilation uses a further 3× more compute and memory.
圖4：骨幹架構效率。 我們比較了用於提高語義分割的特徵解析度的方法，包括擴張網路，對稱解碼器和 FPN，請參見圖5。我們計算了將 ResNet-101 應用於 2 百萬像素圖像時的乘加和內存。 FPN 在輸出比例為 1/4 時在計算上與 dilation-16（1/16分辨率輸出）相似，但會產生 4 倍更高的分辨率輸出。 通過膨脹將分辨率提高到 1/8 會使用更多 3 倍的計算和內存。
# PFPNet
說明：
1. FPN 在輸出比例為 1/4 時在計算上與 dilation-16（1/16分辨率輸出）相似，但會產生 4 倍更高的分辨率輸出。（左圖）
2. 通過膨脹將分辨率提高到 1/8 會使用更多 3 倍的計算和內存。（左圖與右圖）
-----
References
# PFPNet
Kirillov, Alexander, et al. "Panoptic feature pyramid networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
# Deep learning for generic object detection: A survey
Liu, Li, et al. "Deep learning for generic object detection: A survey." International journal of computer vision 128.2 (2020): 261-318.
# Object Detection in 20 Years: A Survey
Zou, Zhengxia, et al. "Object detection in 20 years: A survey." arXiv preprint arXiv:1905.05055 (2019).
https://arxiv.org/pdf/1905.05055.pdf
# A Survey of Deep Learning-based Object Detection
Jiao, Licheng, et al. "A survey of deep learning-based object detection." IEEE Access 7 (2019): 128837-128868.
https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=8825470
# HOG
Dalal, Navneet, and Bill Triggs. "Histograms of oriented gradients for human detection." 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR'05). Vol. 1. Ieee, 2005.
# DPM
Felzenszwalb, Pedro F., et al. "Object detection with discriminatively trained part-based models." IEEE transactions on pattern analysis and machine intelligence 32.9 (2010): 1627-1645.
https://ttic.uchicago.edu/~dmcallester/lsvm-pami.pdf
# SS
Uijlings, Jasper RR, et al. "Selective search for object recognition." International journal of computer vision 104.2 (2013): 154-171.
https://ivi.fnwi.uva.nl/isis/publications/2013/UijlingsIJCV2013/UijlingsIJCV2013.pdf
# R-CNN
Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.
# SPPNet
He, Kaiming, et al. "Spatial pyramid pooling in deep convolutional networks for visual recognition." european conference on computer vision. Springer, Cham, 2014.
https://arxiv.org/pdf/1406.4729.pdf
# Fast R-CNN
Girshick, Ross. "Fast R-CNN." Proceedings of the IEEE international conference on computer vision. 2015.
http://openaccess.thecvf.com/content_iccv_2015/papers/Girshick_Fast_R-CNN_ICCV_2015_paper.pdf
# Faster R-CNN
Ren, Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.
# FPN
Lin, Tsung-Yi, et al. "Feature pyramid networks for object detection." CVPR. Vol. 1. No. 2. 2017.
# Wing Loss
Feng, Zhen-Hua, et al. "Wing loss for robust facial landmark localisation with convolutional neural networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018.
https://openaccess.thecvf.com/content_cvpr_2018/papers/Feng_Wing_Loss_for_CVPR_2018_paper.pdf
# DeepFood
Jiang, Landu, et al. "DeepFood: Food image analysis and dietary assessment via deep model." IEEE Access 8 (2020): 47477-47489.
https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=8998172
# PUP
Yang, Yuewei, Kevin J. Liang, and Lawrence Carin. "Object detection as a positive-unlabeled problem." arXiv preprint arXiv:2002.04672 (2020).
https://arxiv.org/pdf/2002.04672.pdf
一文讀懂Faster RCNN - 知乎
https://zhuanlan.zhihu.com/p/31426458
Object Detection : R-CNN, Fast-RCNN, Faster RCNN | by chunchiang shen | Medium
-----
PFPNet（二）：Overview
PFPNet（二）：Overview
2020/12/22
-----
https://pixabay.com/zh/photos/pyramid-desert-egypt-egyptian-315298/
-----
◎ Abstract
-----
◎ Introduction
-----
本論文要解決（它之前研究）的（哪些）問題（弱點）？
-----
# FCN。
-----
◎ Method
-----
解決方法？
-----
# Panoptic Segmentation。
-----
具體細節？
https://hemingwang.blogspot.com/2021/04/pfpnetillustrated.html
-----
◎ Result
-----
本論文成果。
-----
◎ Discussion
-----
本論文與其他論文（成果或方法）的比較。
-----
成果比較。
-----
方法比較。
-----
◎ Conclusion
-----
◎ Future Work
-----
後續相關領域的研究。
-----
後續延伸領域的研究。
-----
◎ References
-----
# FCN。被引用 19356 次。
Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.
# Panoptic Segmentation。
Kirillov, Alexander, et al. "Panoptic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2019.
# PFPNet。被引用 171 次。
Kirillov, Alexander, et al. "Panoptic feature pyramid networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
-----
Entropy, Cross Entropy, and Softmax
Entropy, Cross Entropy, and Softmax
2021/06/19
-----
-----
References
Understanding Categorical Cross-Entropy Loss, Binary Cross-Entropy Loss, Softmax Loss, Logistic Loss, Focal Loss and all those confusing names
https://gombru.github.io/2018/05/23/cross_entropy_loss/
softmax和cross-entropy是什麼關係？ - 知乎
https://www.zhihu.com/question/294679135
剖析深度學習 (1)：為什麼Normal Distribution這麼好用？ - YC Note
https://www.ycc.idv.tw/deep-dl_1.html
剖析深度學習 (2)：你知道Cross Entropy和KL Divergence代表什麼意義嗎？談機器學習裡的資訊理論 - YC Note
https://www.ycc.idv.tw/deep-dl_2.html
剖析深度學習 (3)：MLE、MAP差在哪？談機器學習裡的兩大統計觀點 - YC Note
https://www.ycc.idv.tw/deep-dl_3.html
剖析深度學習 (4)：Sigmoid, Softmax怎麼來？為什麼要用MSE和Cross Entropy？談廣義線性模型 - YC Note
https://www.ycc.idv.tw/deep-dl_4.html
Thursday, June 17, 2021
The Complete Stories of Ni Kuang
The Complete Stories of Ni Kuang
2019/05/27
-----
-----
[1] 倪匡 - 維基百科，自由的百科全書
https://zh.wikipedia.org/wiki/%E5%80%AA%E5%8C%A1
[2] 奇幻小說- 好讀
http://www.haodoo.net/?M=hd&P=scifi
[3] LOVE-TRUST-HOPE(愛-信任-希望) 【筆記】遠景版倪匡科幻小說集(全44冊)
http://heidiliao.blogspot.com/2017/10/44.html
[4] LOVE-TRUST-HOPE(愛-信任-希望) 【筆記】皇冠版倪匡科幻空間系列(全123冊)
http://heidiliao.blogspot.com/2017/10/123.html
[5] 衛斯理故事年表
http://yehleehwa.net/nni17.htm
[6] 衛斯理大事記
http://www.wiselypuzzle.com/other/wisely/memoir07/appendix3.html
[7] 衛斯理年表
http://www.wiselypuzzle.com/other/wisely/chronology.html
2019/05/27
-----
-----
[1] 倪匡 - 維基百科，自由的百科全書
https://zh.wikipedia.org/wiki/%E5%80%AA%E5%8C%A1
[2] 奇幻小說- 好讀
http://www.haodoo.net/?M=hd&P=scifi
[3] LOVE-TRUST-HOPE(愛-信任-希望) 【筆記】遠景版倪匡科幻小說集(全44冊)
http://heidiliao.blogspot.com/2017/10/44.html
[4] LOVE-TRUST-HOPE(愛-信任-希望) 【筆記】皇冠版倪匡科幻空間系列(全123冊)
http://heidiliao.blogspot.com/2017/10/123.html
[5] 衛斯理故事年表
http://yehleehwa.net/nni17.htm
[6] 衛斯理大事記
http://www.wiselypuzzle.com/other/wisely/memoir07/appendix3.html
[7] 衛斯理年表
http://www.wiselypuzzle.com/other/wisely/chronology.html
玫瑰紅
-----
Ni Kuang
Ni Kuang
2019/05/23
-----
Fig. 1. Kuang Ni [3]。
-----
1935 年 5 月 30 日，12：37。甲午時。
【上海上海經緯度】 經度：121.48 ， 緯度：31.22
-----
-----
甲丙辛乙
午午巳亥
7969594939291909
癸甲乙丙丁戊己庚
酉戌亥子丑寅卯辰
起運： 於出生 7 年 10 個月又 24 天
交運： 逢虛 9 歲的 3 月 22 日
-----
「問：您的籍貫是？ 答：我是浙江鎮海人，不過生長在上海。 問：可否透露一下生日？ 答：我生於一九三五年（屬豬）五月卅日（雙子座），出生時間是中午十二點卅七分。」[5]。
-----
Fig. 2. Kuang Ni [6]。
-----
References
[1] Kuang Ni - IMDb
https://www.imdb.com/name/nm0393250/
[2] 阿紫 - Wikipedia
https://ja.wikipedia.org/wiki/%E9%98%BF%E7%B4%AB
[3] 倪匡 - 維基百科，自由的百科全書
https://zh.wikipedia.org/wiki/%E5%80%AA%E5%8C%A1
[4] 經緯度
http://www.ximizi.com/jingweidu.php?province=%E4%B8%8A%E6%B5%B7&city=%E4%B8%8A%E6%B5%B7
[5] 倪匡百問
http://yehleehwa.net/nni11.htm
[6] 亞洲週刊-你所不知道的倪匡愛恨中國恩怨情仇
https://www.yzzk.com/cfm/content_archive.cfm?id=1405567668505&docissue=2014-29
[7] The Complete Stories of Ni Kuang
https://hemingwang.blogspot.com/2019/05/the-complete-stories-of-ni-kuang.html
2019/05/23
-----
Fig. 1. Kuang Ni [3]。
-----
1935 年 5 月 30 日，12：37。甲午時。
【上海上海經緯度】 經度：121.48 ， 緯度：31.22
-----
-----
甲丙辛乙
午午巳亥
7969594939291909
癸甲乙丙丁戊己庚
酉戌亥子丑寅卯辰
起運： 於出生 7 年 10 個月又 24 天
交運： 逢虛 9 歲的 3 月 22 日
-----
「問：您的籍貫是？ 答：我是浙江鎮海人，不過生長在上海。 問：可否透露一下生日？ 答：我生於一九三五年（屬豬）五月卅日（雙子座），出生時間是中午十二點卅七分。」[5]。
-----
Fig. 2. Kuang Ni [6]。
-----
References
[1] Kuang Ni - IMDb
https://www.imdb.com/name/nm0393250/
[2] 阿紫 - Wikipedia
https://ja.wikipedia.org/wiki/%E9%98%BF%E7%B4%AB
[3] 倪匡 - 維基百科，自由的百科全書
https://zh.wikipedia.org/wiki/%E5%80%AA%E5%8C%A1
[4] 經緯度
http://www.ximizi.com/jingweidu.php?province=%E4%B8%8A%E6%B5%B7&city=%E4%B8%8A%E6%B5%B7
[5] 倪匡百問
http://yehleehwa.net/nni11.htm
[6] 亞洲週刊-你所不知道的倪匡愛恨中國恩怨情仇
https://www.yzzk.com/cfm/content_archive.cfm?id=1405567668505&docissue=2014-29
[7] The Complete Stories of Ni Kuang
https://hemingwang.blogspot.com/2019/05/the-complete-stories-of-ni-kuang.html
Wednesday, June 16, 2021
柯文哲
柯文哲
2019/06/06
-----
柯語錄：
人生最困難的事，不是面對失敗挫折，而是遇到失敗挫折後，如何不失去對人世的熱情。
-----
Fig. 1. 柯文哲 [1]。
-----
19590806
日水天合。
（日水天）木刑。
月冥合。
金火合。
-----
19590806
己亥辛未庚申。專祿，主配偶跟自己有很多相似之處（同為台大醫學系畢業）。正印格（其實是位好醫生）。劫財透，很拼。食神暗藏。
-----
先從定盤開始，確定出生時間。
-----
-----
丁庚辛己
亥申未亥
615141312111
乙丙丁戊己庚
丑寅卯辰巳午
-----
柯文哲出生於 1959 年 8 月 6 日 [2]。
比起賴清德棄醫從政，或者韓國瑜選上高雄市長，都屬於天王星。柯文哲當選台北市長，比較像是木星，成為政治人物（演藝人員）作秀。
如果是晚上廿二點十二分。2014，甲午年，SA Jup=MC，當選台北市長。
網路有資料認為是丙戌時 [3]，及丁丑時 [4]。
-----
柯文哲市長選舉險勝
土星三合月亮星群，贏的辛苦。
柯文哲總統選舉大勝 從2014年當選以來，柯文哲的素人參政，確實帶給台北市不同於以往的執政風格。但如今，面對藍綠兩黨主要參選人的夾攻下，柯文哲這次的競選卻也是如履薄冰。每一步路都走得穩健，每一雙選民的手都握的扎實，台北市政治版圖，是否會有不同局面，對選民、對柯文哲、對藍綠兩黨參選人，都是極大考驗。 有別於市長選舉以土星辛苦獲勝，總統大選是木星三合月亮，關鍵時刻棄保效應。 此外還有冥土六十度木星天蠍。 韓國瑜雖有海王星，不過力道已經減弱。
-----
References
[1] Ko Wen-je - Wikipedia
https://en.wikipedia.org/wiki/Ko_Wen-je
[2] 柯文哲 - 維基百科，自由的百科全書
https://zh.wikipedia.org/wiki/%E6%9F%AF%E6%96%87%E5%93%B2
[3] 四柱八字命理柯文哲
https://zh-cn.facebook.com/zepinfopillars/posts/388345124662192/
[4] 柯文哲的八字分析 - YouTube
https://www.youtube.com/watch?v=hMbtalyYjqQ
[5] (63) 【柯P老實說.EP12】我在生離死別之間學到的事，世間的成功與失敗要怎麼分辨｜20200911 高雄女中演講 - YouTube
https://www.youtube.com/watch?v=VrYIpF-Q8Bo
[6] (63) 【柯P老實說.EP7】柯文哲給醫科生的畢業贈言：世俗的成功與失敗，不過是你生命中的一部分｜20190615 陽明大學畢業典禮演說 - YouTube
https://www.youtube.com/watch?v=uQh_JpjPLwE
[7] (63) 柯文哲 我的故事 (全)~柯P來輔大 - YouTube
https://www.youtube.com/watch?v=WaTiqYc69-M
[8] 柯文哲的個人星盤 @ BobChen的科學占星 :: 隨意窩 Xuite日誌
https://blog.xuite.net/bobchen7/wretch/229662208
-----
Sunday, June 13, 2021
FT（四）：Activation Function
FT（四）：Activation Function
2019/01/17
-----
Fig. Activation Function（圖片來源）。
-----
Sigmoid
tanh
ReLU
LReLU
RReLU
Softplus
ELU
SELU
GELU
Swish
Swish-1
-----
-----
-----
// 神经网络激励函数的作用是什么？有没有形象的解释？ - 知乎
-----
Fig. Derivative of Activation Functions
// Activation Functions in Neural Networks – Towards Data Science
-----
導數小於 1，梯度消失。
初始值過大，梯度爆炸。
-----
References
[1] Activation functions
[2] Activation functions and others
Understanding Activation Functions in Neural Networks
https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0
Activation Functions in Neural Networks – Towards Data Science
https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6
Activation functions and it’s types-Which is better
https://towardsdatascience.com/activation-functions-and-its-types-which-is-better-a9a5310cc8f
6 种激活函数核心知识点，请务必掌握！
https://mp.weixin.qq.com/s/Cvf3ReuCKSugp9lrZqlaqg
神经网络激励函数的作用是什么？有没有形象的解释？ - 知乎
https://www.zhihu.com/question/22334626
深度學習：使用激勵函數的目的、如何選擇激勵函數 Deep Learning the role of the activation function _ Mr. Opengate
https://mropengate.blogspot.com/2017/02/deep-learning-role-of-activation.html
Activation function 到底怎麼影響模型？ - Dream Maker
https://yuehhua.github.io/2018/07/27/activation-function/
2019/01/17
-----
Fig. Activation Function（圖片來源）。
-----
Sigmoid
tanh
ReLU
LReLU
RReLU
Softplus
ELU
SELU
GELU
Swish
Swish-1
-----
-----
-----
// 神经网络激励函数的作用是什么？有没有形象的解释？ - 知乎
-----
Fig. Derivative of Activation Functions
// Activation Functions in Neural Networks – Towards Data Science
-----
導數小於 1，梯度消失。
初始值過大，梯度爆炸。
-----
References
[1] Activation functions
Ramachandran, Prajit, Barret Zoph, and Quoc V. Le. "Searching for activation functions." (2018).
https://openreview.net/pdf?id=SkBYYyZRZ[2] Activation functions and others
Gu, Jiuxiang, et al. "Recent advances in convolutional neural networks." arXiv preprint arXiv:1512.07108 (2015).
https://arxiv.org/pdf/1512.07108.pdfUnderstanding Activation Functions in Neural Networks
https://medium.com/the-theory-of-everything/understanding-activation-functions-in-neural-networks-9491262884e0
Activation Functions in Neural Networks – Towards Data Science
https://towardsdatascience.com/activation-functions-neural-networks-1cbd9f8d91d6
Activation functions and it’s types-Which is better
https://towardsdatascience.com/activation-functions-and-its-types-which-is-better-a9a5310cc8f
6 种激活函数核心知识点，请务必掌握！
https://mp.weixin.qq.com/s/Cvf3ReuCKSugp9lrZqlaqg
神经网络激励函数的作用是什么？有没有形象的解释？ - 知乎
https://www.zhihu.com/question/22334626
深度學習：使用激勵函數的目的、如何選擇激勵函數 Deep Learning the role of the activation function _ Mr. Opengate
https://mropengate.blogspot.com/2017/02/deep-learning-role-of-activation.html
Activation function 到底怎麼影響模型？ - Dream Maker
https://yuehhua.github.io/2018/07/27/activation-function/