神經網路架構

2.三大神經網路:

①標準NN (Fully Connected Neural):1980年代就火紅的model
 

Input layer (輸入層)                      ƒ(隱藏層)                      output layer(輸出層)

                    神經元(神經網路就是由很多個神經元所構成)
  

 (所謂的深度學習就是有三層或三層以上的隱藏層)

 (所謂建構神經網路其實就是決定我們要幾層的隱藏層，每一層隱藏層要用幾個神經元)

(每一個神經元動作都是一樣的)在數學上表示 ( 加權和 ) :
 (i=13WiXi+b)=h
激活函數  ( 總刺激  +  調整值(偏執bias) ) = 輸出

                                （Activation Function=激活函數）

 Sigmoid = 模擬人類的神經元的樣子 : 接收總刺激很小的話=0  接收總刺激很小的話=1

ReLU = 現在神經網路的王牌 : 小於0的時候就是0   大於0就是原本輸入的那個數字

1-7

神經網路訓練法:

把我們的「考古題」一次次拿給神經網路學習，學習法叫backpropagation。 

固定結構神經網路的函數空間:

當一個神經網路結構決定、Activation functions也決定，那可以調的就是weights,biases。

我們把這些參數的集合叫θ，每一個θ就定義一個函數，我們把它看成一個集合

                           {Fθ}

       我們就是要找θ*，使得Fθ*和目標函數最接近 (最好的權重和最好的偏值)

 “最接近”是甚麼意思?

(就是”loss function”的最小值，”loss function”=測量神經網路輸出的答案和正確答案到底有差多遠)

 假設我們有訓練資料:

                {(x1,y1), (x2,y2), … , (xk,yk)}  

       (當輸入值為x1 ，正確答案為y1; 當輸入值為x2 ，正確答案為y2)

為了讓神經網路輸出的資料可以接近正確答案，需要知道距離還有多遠，

我們最常使用loss functions : L() =12i=1kyi-F(xi)2

       假設:

               知道總誤差之後再使用以下函數去調整:

                      learning rate      -Lwij 

                記得L ( 網路輸出 : 調整我們的權重和偏值之後，固定一組權重和偏值就會產生函數，函數跟我們正確答案做相比，算出的距離，就會發現L的變數就是 W1, W2, b1權重和偏值)是W1, W2, b1,…...的函數。

但因為變數實在是太多了，為了簡化，我們先把L想成只有一個變數W。