深度學習(3)--循環神經網絡(RNN, Recurrent Neural Networks)

    本節介紹最簡單的循環神經網路，稱之為Simple-RNN，它是LSTM的基礎。Simple-RNN與BP一樣都有前饋層與反饋層。但是Simple-RNN引入了基於時間(狀態)的循環機制。

    下圖一所示為Simple-RNN的神經網路示意圖。神經網路為A，通過讀取某個時間(狀態)的
輸入xt，然後輸出一個值ht，循環可以使得信息從當前時間步傳遞到下一時間步。
    這些循環使得RNN可以被看作同一網路在不同時間步的多次循環，每個神經元會把更新的結果傳遞給下一個時間步，下圖一右側即為循環展開的情形。


<圖一>

深度學習(2)--使用Tensorflow實作卷積神經網路(Convolutional neural network，CNN)

    卷積神經網路(Convolutional neural network，CNN)，是一多層的神經網路架構，是以類神經網路實現的深度學習，在許多實際應用上取得優異的成績，尤其在影像物件識別的領域上表現優異。

     傳統的多層感知器(Multilayer Perceptron，MLP)可以成功的用來做影像識別，如之前
所介紹，可以用來做MNIST 手寫數字辨識，但是由於多層感知器(Multilayer Perceptron，MLP)在神經元之間採用全連接的方式(Full connectivity)，當使用在較高解析度或是較高維度的影像或資料時，便容易發生維度災難而造成過度適合(Overfitting)。

     例如，考慮MNIST的手寫輸入資料為28x28解析度，考慮神經元全連接的方式
(Full connectivity)，連接到第一個隱藏層神經元便需要28x28=784個權重(Weight)。如果考慮一
RGB三通道色彩圖像輸入，如CIFAR-10為32x32x3的圖像解析度，連接到第一個隱藏層神經
元便需32x32x3=3072個權重(Weight)。那麼如果是200x200x3的圖像解析度，便需要120000
個權重，而這只是連接到隱含層的第一個神經元而已，如果隱含層有多個神經元，那麼連
接權重的數量必然再倍數增加。
     像這樣子的網路架構，沒有考慮到原始影像資料各像素(pixel)之間的遠近，或是密集關係，只是一昧的將全部像素(pixel)當各個輸入的特徵值，連接到隱含層神經元，造成爆量增加的權重不僅是一種浪費，因為實際上不須這麼多的權重，效果不僅沒增加，只是增加了運算的負荷，而且很可能會造成過度適合(Overfitting)。而卷積神經網路(Convolutional neural network，
CNN)被提出來後，可以有效的解決此一問題。

    事實上卷積神經網路(Convolutional neural network，CNN)設計的目標就是用來處理以多陣列型態表達的資料，如以RGB三通道表達的彩色圖片。CNN和普通神經網路之間的一個實質差別在於，CNN是對原始圖像直接做操作，而傳統神經網路是人為的先對影像提取特徵(例如灰階化，二值化)才做操作。

CNN有三個主要的特點。

1.感知區域(Receptive field)：可採用3維的圖像資料(width，height，depth)與神經元連接方式，
    實際上也可以直接採用2維的圖像資料，但隱含層內部的神經元只與原本圖像的某一小塊
    區域做連結。該區塊我們稱之為感知區域(Receptive field)。

2.局部連結採樣(Local connectivity)：根據上述感知區域(Receptive field)的概念，CNN使用過濾
  器(filters)增強與該局部圖形空間的相關性，然後堆疊許多這樣子的層，可以達到非線性
   濾波的功能，且擴及全域，也就是允許網路架構從原圖小區塊的較好的特徵值代表性，組
   合後變成大區塊的特徵值代表性。

3.共享權重(Shared weights)：使用的過濾器(filters)是可以重複使用的，當在原始圖像產生一
    特徵圖(Feature Map)時，其權重向量(weights vector)及偏誤(bias)是共用的。這樣可以確保
    在該卷積層所使用的神經元會偵測相同的特徵。並且即使圖像位置或是有旋轉的狀態，
    仍然可以被偵測。

        這三個特點使得CNN在圖像辨識上有更好的效果。在實際操作上的三個基礎分別是：
    區域感知域(Local Receptive field)，卷積(Convolutional )，池化(pooling)。
    我們可以從下面圖形化的實際操作來理解它的意思。

卷積層(Convolutional Layer )

      下圖1，2說明在卷積層的運作方式，假設原始影像為一32x32x3維度，我們可以任意給定一
卷積核(filter)，其卷積核的值即為權重(weight)。其大小可以為5x5x3，3為與原影像有一樣的深度(RGB三通道)，如果輸入影像為一灰階單通道色彩，那麼卷積核大小5x5即可。卷積核大小3x3或5x5或7x7...等等可以自訂，通常為奇數維度。
    接著與原圖像相同的小區域計算點積，得到的一個值便是在新的feature Map的一個新元素值。卷積核會在原始的圖像或者前一個圖像(Map)按照Stride(步伐)的設定移動，直到掃描完全部圖像區域，這樣便會產生一個新的Feature Map。便是下圖圖3~圖5所示，在這個步驟中產生單一新feature Map所使用的權重W，也就是卷積核是共用的，並且共用同一個偏誤(bias)，通常初始預設偏誤(bias)可以為0。這樣確保這一新的feature map偵測的是該原始圖像同一特徵。

<圖1>

機器學習(7)--利用核主成分分析(Kernel PCA)處理非線性對應

    在這之前所探討的輸入數據都是假設為可線性分離的，如果輸入數據不是線性可分離的，實務上的數據往往是這樣，那麼標準PCA，所設計的線性轉換技術就不是最好的選擇，在本節介紹核PCA(kernel PCA)，它與核支援向量機(kernel SVM)類似，利用核技巧來將非線性分離的數據轉換到一個新的特徵子空間，而轉換之後便可以做線性分離。


核函數與核技巧：

    類似核SVM的作法，透過核函數與核技巧，將原始數據投影到更高維的新特徵空間，而在新特徵空間，數據類別是可以線性分離的。要轉換d維空間的樣本到更高維的k維空間，我們需要定義一個非線性對應函數Φ：
    如下方式，原本數據X有兩個特徵行向量，為2維d=2。利用函數Φ可以對應到3維空間k=3。
       

    整體上來說就是，透過核PCA，我們執行一個非線性對應函數將數據轉換到一個更高維的空間，並在這個高維的空間，使用標準PCA，再將數據投影回到一個較低維度的子空間，在這個低維度的子空間中，樣本即可使用線性分類器來分離。
    這個方法的缺點是非常耗費計算資源，因此我們可以使用核技巧，使用核技巧，我們可以計算兩個由原始的特徵空間所產生的高維特徵向量之間的相似度。
    套用之前標準PCA的推導(此略)，我們可以定義一核矩陣(相似度矩陣)K：

核函數k則可以替代原本需使用的非線性對應函數Φ：

    這樣我們就不用去計算原本需由非線性對應函數Φ去處理的樣本中兩兩數據點的內積(公式右側)，因此核函數也可以理解為，一個計算兩個向量內積的函數，也就是計算相似度的函數。而不像標準PCA，會建立一個轉換矩陣，經過核PCA處理之後，所得到的是已經投影完成的樣本。
 
    在此我們使用的核函數為RBF(Radial Basis Function Kernel)：

實作一個「RBF核」(Radial Basis Function Kernel)的PCA，我們可以定義如下的三個步驟：

機器學習(6)--主成分分析(Principal component analysis，PCA)

    這一篇介紹主成分分析(Principal component analysis，PCA)，是一種特徵提取的技術，利用特徵降維來避免因維度災難所造成的過度適合(Overfitting)現象。就是說假如訓練資料集裡有很多個特徵數據，我們可以利用主成分分析(Principal component analysis，PCA)來選取最有影響的幾個特徵來做分類器模型的訓練而不需要使用所有的特徵數據來做訓練。
    在這個範例裡，我們將使用葡萄酒數據集來做示範，把原本有的13個特徵，利用PCA分析後只找出兩個主要的特徵值作為分類器模型分類的特徵依據。

    PCA著眼在高維度的數據，"最大化變異數"並投影到與原數據及相同維數或較低維數的"新特徵子空間"。新特徵子空間的正交軸即是"主成分"。

<圖一>x1，x2軸維原本的，PC1，PC2為主成分

機器學習(5)--邏輯斯迴歸，過度適合與正規化( Logistic regression，overfitting and regularization)

  本節介紹邏輯斯迴歸模型(Logistic regression)，過度適合(overfitting)與正規化(regularization)。邏輯斯迴歸模型(Logistic regression)能處裡線性和二元分類的問題，要注意的是這裡所要說的邏輯斯迴歸模型(Logistic regression)是分類模型而無關於"迴歸"。

邏輯斯迴歸模型(Logistic regression)：

首先來看一下邏輯斯迴歸模型(Logistic regression)，如下圖跟前一章所介紹的
適應線性神經元模型類似，但是其所使用的啟動函數不同，成本函數也不同。

<圖一>邏輯斯迴歸模型(Logistic regression)

深度學習(1)-如何在windows安裝Theano +Keras +Tensorflow並使用GPU加速訓練神經網路

本篇文章介紹如何安裝Theano 及Keras， Tensorflow深度學習的框架在windows環境上，並快速的使用Keras的內建範例來執行人工神經網路的訓練。

     之前也有實作Tensorflow 及caffe在VM+ubuntu16.04環境安裝的經驗，甚至安裝在NVIDIA的Jetson TX1 的慘痛經驗XD(雖然後來也是有安裝成功)。各深度學習的框架各有它的優缺點，有許多文章已做過類似的分析，在此我不會對這部分著墨太多，只會敘述自己之前安裝的一些經驗來提供大家參考，特別如果是要在windows環境上使用，並且具有NVIDIA CUDA支援GPU加速運算的功能。
      雖然也很多人認為應該直接使用Linux環境會比較適合做深度學習框架的使用及學習，原因是使用Linux的人或網路資源比較多，而且Linux對於電腦硬體效能有優化。但對於Linux環境不熟的人，使用windows環境仍然有它方便性存在，而對於Python程式語言來說，其程式碼在Linux環境或windows環境做切換是很容易的，當然Theano ，Keras，Tensorflow也可以安裝在Linux環境上使用。接下來開始正式介紹如何在一般常見的筆電上建構這個環境，在一般的筆電上也可以使用GPU加速訓練人工神經網路的快感。


<圖一>為Keras 的lstm_benchmark.py 範例輸出結果

機器學習(2)--使用OPENCV SVM實作手寫辨識

 
      這一篇我們要來利用OPENCV 所提供的SVM(支援向量機)來實作手寫辨識。在程式實作中，我稍微改變了OPENCV官版原本的範例程式，除了修正在Python3.5+OPENCV3.x
build code 會error以外，程式最後並加入自己手畫的數字圖進行預測。可以使用小畫家直接手繪一20x20 pixel 黑底白字數字圖當作自己輸入預測的樣本。如下<圖一>

另外可以跟前一篇KNN做比較
機器學習(1)--使用OPENCV KNN實作手寫辨識


<圖一>上方為用小畫家手寫輸入的樣本圖片，下方是使用OPENCV SVM辨識出的結果

機器學習(1)--使用OPENCV KNN實作手寫辨識

 
      這一篇我們要來利用OPENCV 所提供的kNN(k-Nearest Neighbour ）來實作手寫辨識。在程式實作中，我稍微改變了OPENCV官版原本的範例程式，除了修正在Python3.5+OPENCV3.x
build code 會error以外，程式最後並加入自己手畫的數字圖進行預測。可以使用小畫家直接手繪一20x20 pixel 黑底白字數字圖當作自己輸入預測的樣本。如下<圖一>

<圖一>上方為輸入的手寫樣本圖片，下方是使用OPENCV KNN辨識出的結果