神經網路架構

神經元網絡

network of neurons 神經元網路.ipynb - Colaboratory (google.com)

人工神經網路，簡稱神經網路或類神經網路，在機器學習和認知科學領域，是一種模仿生物神經網路（動物的中樞神經系統，特別是大腦）的結構和功能的數學模型或計算模型，用於對函式進行估計或近似。神經網路由大量的人工神經元聯結進行計算。大多數情況下人工神經網路能在外界資訊的基礎上改變內部結構，是一種自適應系統，通俗地講就是具備學習功能。現代神經網路是一種非線性統計性資料建模工具，神經網路通常是通過一個基於數學統計學類型的學習方法得以最佳化，所以也是數學統計學方法的一種實際應用，通過統計學的標準數學方法我們能夠得到大量的可以用函式來表達的局部結構空間，另一方面在人工智慧學的人工感知領域，我們通過數學統計學的應用可以來做人工感知方面的決定問題，也就是說通過統計學的方法，人工神經網路能夠類似人一樣具有簡單的決定能力和簡單的判斷能力，這種方法比起正式的邏輯學推理演算更具有優勢。

和其他機器學習方法一樣，神經網路已經被用於解決各種各樣的問題，例如機器視覺和語音辨識。這些問題都是很難被傳統基於規則的編程所解決的。

對人類中樞神經系統的觀察啟發了人工神經網路這個概念。在人工神經網路中，簡單的人工節點，稱作神經元，連接在一起形成一個類似生物神經網路的網狀結構。

這些可調節的權重可以被看做神經元之間的連接強度。

人工神經網路與生物神經網路的相似之處在於，它可以集體地、並列地計算函式的各個部分，而不需要描述每一個單元的特定任務。神經網路這個詞一般指統計學、認知心理學和人工智慧領域使用的模型，而控制中央神經系統的神經網路屬於理論神經科學和計算神經科學。

在神經網路的現代軟體實現中，由生物學啟發的方法已經有了很重大的延伸，現在主流的是基於統計學和訊號處理的更加實用的方法。在一些軟體系統中，神經網路或者神經網路的一部分（例如人工神經元）是大型系統中的一個部分。這些系統結合了適應性的和非適應性的元素。雖然這種系統使用的這種更加普遍的方法更適宜解決現實中的問題，但是這和傳統的連接主義人工智慧已經沒有什麼關聯了。不過它們還有一些共同點：非線性、分散式、並列化，局部性計算以及適應性。從歷史的角度講，神經網路模型的應用標誌著二十世紀八十年代後期從高度符號化的人工智慧（以用條件規則表達知識的專家系統為代表）向低符號化的機器學習（以用動力系統的參數列達知識為代表）的轉變。

典型的人工神經網路具有以下三個部分：

人工神經網路的實用性

人工神經網路是一個能夠學習，能夠總結歸納的系統，也就是說它能夠通過已知資料的實驗運用來學習和歸納總結。人工神經網路通過對局部情況的對照比較（而這些比較是基於不同情況下的自動學習和要實際解決問題的複雜性所決定的），它能夠推理產生一個可以自動辨識的系統。與之不同的基於符號系統下的學習方法，它們也具有推理功能，只是它們是建立在邏輯演算法的基礎上，也就是說它們之所以能夠推理，基礎是需要有一個推理演算法則的集合。

人工神經元網路模型

通常來說，一個人工神經元網路是由一個多層神經元結構組成，每一層神經元擁有輸入和輸出，每一層（我們用符號記做）Layer(i)是由Ni(Ni代表在第i層上的N)個網路神經元組成，每個Ni上的網路神經元把對應在Ni-1上的神經元輸出做為它的輸入，我們把神經元和與之對應的神經元之間的連線用生物學的名稱，叫做突觸，在數學模型中每個突觸有一個加權數值，我們稱做權重，那麼要計算第i層上的某個神經元所得到的勢能等於每一個權重乘以第i-1層上對應的神經元的輸出，然後全體求和得到了第i層上的某個神經元所得到的勢能，然後勢能數值通過該神經元上的啟用功能以控制輸出大小，因為其可微分且連續，方便差量規則，求出該神經元的輸出，注意的是該輸出是一個非線性的數值，也就是說通過激勵函式求的數值根據極限值來判斷是否要啟用該神經元，換句話說我們對一個神經元網路的輸出是否線性不感興趣。


理論性質

1.  計算能力

多層感知器是一個通用的函式逼近器，由Cybenko定理證明。然而，證明不依賴特定的神經元數量或權重。一個具有有理數權重值的特定遞迴結構（與全精度實數權重值相對應）由有限個神經元和標準的線性關係構成的神經網路相當於一個通用圖靈機。他們進一步表明，使用無理數權重值會產生一個超圖靈機。

2.  容量

人工神經網路模型有一個屬性，稱為「容量」，這大致相當於他們記住（而非正確分類）輸入資料的能力。它與網路的參數、和結構有關。Google在研究中使用打亂標籤的方法，來測試模型是否能否記住所有的輸出。雖然很明顯，這樣模型在測試集上的表現幾乎是隨機猜測，但是模型能夠記住所有訓練集的輸入資料，即記住他們被打亂後的標籤。而記住有限的樣本的資訊，需要的模型的參數數量存在下限。

3.  收斂性

模型並不總是收斂到唯一解，因為它取決於一些因素。首先，函式可能存在許多局部極小值，這取決於成本函式和模型。其次，在遠離局部最小值時，最佳化方法可能無法保證收斂。第三，對大量的資料或參數，一些方法變得不切實際。在一般情況下，我們發現，理論保證的收斂不能成為實際應用的一個可靠的指南。

4.    綜合統計

在目標是建立一個普遍系統的應用程式中，過度訓練的問題出現了。這出現在迴旋或過度具體的系統中當網路的容量大大超過所需的自由參數。為了避免這個問題，有兩個方向：第一個是使用交叉驗證和類似的技術來檢查過度訓練的存在和選擇最佳參數如最小化泛化誤差。二是使用某種形式的正規化。這是一個在概率化框架里出現的概念，其中的正則化可以通過為簡單模型選擇一個較大的先驗概率模型進行；而且在統計學習理論中，其目的是最大限度地減少了兩個數量：「風險」和「結構風險」，相當於誤差在訓練集和由於過度擬合造成的預測誤差。

神經網路的功能與人腦有何相似之處

最基本形式的人工神經網工具有三層神經元，資訊會從一個流向另一個，就像在人腦中一樣：

1.  輸入層：資料輸入系統的輸入口

2.  隱藏層：處理資訊的地方

3.  出層：系統根據資料決定如何處理的地方

比較複雜的人工神經網路可以有很多層，其中有一些是隱藏的。

人工神經網路的神經元工作原理

在人工神經網絡中，人工神經元接收的刺激為實數訊號形式，然後：

1.  每一個神經元的輸出都是由其輸入總和的非線性函數計算而得。

2.  神經元之間的連接處稱為邊緣。

3.  神經元和邊緣都設置有重權，此參數字會隨著學習過程而不斷調整和變化。

4.  重新使用來增加或減少連接處的信號強度。

5.  神經元可能有一個輝值，只有當匯總訊號超過此輝值時，才會繼續往外發送訊號。

神經述成層成層中層之後才進入最後一層。

神經網路天生內建某種學習規則，會根據現在的輸入模式來修改神經連接的權重，就像成長中的孩子學會從動物舉例子中識。

神經網路和深度學習

談到神經網路，就不得不談深度學習。「深度深度學習互換互換互換互換不存在了：

1.  深度學習是促使人類智慧 (AI) 前進的先決條件。

2.  深度學習不同於機器學習，機器學習早在電腦處理和學習資料。

3.  透過深度學習，電腦可不停訓練自己處理資料、從中學學習並構建更多功能。更複雜的多人工作神經網絡使這一點成為可能。

4.  複雜的神經網路像簡單的神經網路一樣包含一個輸入層和一個輸出層，但它們有多個隱藏層，因此被稱為深度神經網路，於深。

為什麼深度學習對組織很重要

它是資源驅動大環境的一部分，特別是由於大數據變得越來越重要。如果您將網絡互聯網路採生的資源視頻為存儲在資源庫、資源庫和資源湖中的原油，等候著使用各種資料分析工具進行挖掘，那麼深度學習就是獲取原料油、並將其轉為您可以使用的最終產品的煉油廠。

市場上填充著以資料取為溫床的分析工具，深度學習則是這個市場上的最後一級遊戲：如果沒有高效和最先進的處理單元，就不能提供任何東西。

分區機器學習和其他類型的學習

機器學習

談到機器方法時，它是演算法學習訓練平均值決策樹，隨機這些法會資料集，在過程進行新情況

監督型學習

於機器加上標記，就標記一張答題紙，用於答題紙張以了解哪些電子郵件是垃圾郵件、哪些是合法郵件。這種方式稱為監督型學習。監督型學習的回歸或分類是透過線性回歸和K-近鄰演算法來完成。

非監理型學習

當資源集沒有標記，並使用像K均值這樣的算法來導出匯集總集模型，而不借任何對照片時，這種學珠非監理型學習。

神經網路和模糊總編輯

一提，區分網路模糊邏輯也重要。模糊根據不精確或模棱兩可的資料資料做出具體決策下面，採用類人思維過程來解決問題。

神經網路的局限性

可能在使用者應注意一些具體問題，特別是與反向傳播神經網絡路徑和某些其他類型網絡路徑相關的問題。

過程不可解

傳播終極黑盒子允許使用者隨時間對網絡進行度進行採集。在這些情況下，網絡本身會自主進行學習。

最後的輸出就是一條訓練完成的網絡，它是自治的，不提供超出其本身內部數據相關係的運算式或網絡係數，網絡的網絡就是關係。

訓練比較慢

反向訓練速度比網路更慢數千代。這是因為機器的中央處理單元必須計算可能非常麻痺，並且會在包含大量資料的超大型網路中引起問題。不過，當今天機器運行速度已經足夠快了，可以迴避這個問題。

神經網路的應用

神經網路實例
 

1.    神經網路對製造業檢測的衝擊
     
 假設，有間汽車組件公司想要識別所製造保險桿上的掛擦。不可能預判出保險桿上哪些位置可能會出現刮傷。尋找和識別掛擦的作業，並無法真正有效地將程式設計成機器視覺應用，原因是掛擦的變化可能或深或淺、或長或短，還可能出現在表面的任何位置。

Ochiai 表示：「因神經網路促成的深度學習圖像分析功能，可以更容易讓公司將採用傳統機器視覺時相當複雜或棘手的檢測自動化。想一想大部分仍由人工進行的裝配檢測。或另一個範例：缺陷探測，這項技術將對製造廠商的自動化策略帶來助益。」

神經網路的測試功能辨識圖案的能力強大。但正如 Ochiai 所指出，加上標籤的資料需有非常優異的品質，神經網路才能成功訓練其模型。此外，它還需要大量參考圖像資料，使得情況更形複雜。

2.  神經網路對醫療業檢測的衝擊
   
本身是醫學博士的Google研究團隊產品經理彭浩怡，運用Google於2015年貢獻給開放原始碼陣營的機器學習框架TensorFlow，投入視網膜影像研究專案，以及判讀癌症細胞的演算法模型，只待未來經過臨床驗證，獲得醫療團隊的信任後，即可讓人工智慧演算法模型，基於簡單、直覺的操作介面來執行，輔助醫生日常的診斷。

全部共 0則留言
留言...
登入帳號密碼代表遵守學術網路規範