神經網路架構搜索算力

Ⅰ 神經網路演算法是什麼

Introction
--------------------------------------------------------------------------------

神經網路是新技術領域中的一個時尚詞彙。很多人聽過這個詞，但很少人真正明白它是什麼。本文的目的是介紹所有關於神經網路的基本包括它的功能、一般結構、相關術語、類型及其應用。

「神經網路」這個詞實際是來自於生物學，而我們所指的神經網路正確的名稱應該是「人工神經網路（ANNs）」。在本文，我會同時使用這兩個互換的術語。

一個真正的神經網路是由數個至數十億個被稱為神經元的細胞（組成我們大腦的微小細胞）所組成，它們以不同方式連接而型成網路。人工神經網路就是嘗試模擬這種生物學上的體系結構及其操作。在這里有一個難題：我們對生物學上的神經網路知道的不多！因此，不同類型之間的神經網路體系結構有很大的不同，我們所知道的只是神經元基本的結構。

The neuron
--------------------------------------------------------------------------------

雖然已經確認在我們的大腦中有大約50至500種不同的神經元，但它們大部份都是基於基本神經元的特別細胞。基本神經元包含有synapses、soma、axon及dendrites。Synapses負責神經元之間的連接，它們不是直接物理上連接的，而是它們之間有一個很小的空隙允許電子訊號從一個神經元跳到另一個神經元。然後這些電子訊號會交給soma處理及以其內部電子訊號將處理結果傳遞給axon。而axon會將這些訊號分發給dendrites。最後，dendrites帶著這些訊號再交給其它的synapses，再繼續下一個循環。

如同生物學上的基本神經元，人工的神經網路也有基本的神經元。每個神經元有特定數量的輸入，也會為每個神經元設定權重（weight）。權重是對所輸入的資料的重要性的一個指標。然後，神經元會計算出權重合計值（net value），而權重合計值就是將所有輸入乘以它們的權重的合計。每個神經元都有它們各自的臨界值（threshold），而當權重合計值大於臨界值時，神經元會輸出1。相反，則輸出0。最後，輸出會被傳送給與該神經元連接的其它神經元繼續剩餘的計算。

Learning
--------------------------------------------------------------------------------

正如上述所寫，問題的核心是權重及臨界值是該如何設定的呢？世界上有很多不同的訓練方式，就如網路類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓練模式。

由於結構體系的不同，訓練的規則也不相同，但大部份的規則可以被分為二大類別 - 監管的及非監管的。監管方式的訓練規則需要「教師」告訴他們特定的輸入應該作出怎樣的輸出。然後訓練規則會調整所有需要的權重值（這是網路中是非常復雜的），而整個過程會重頭開始直至數據可以被網路正確的分析出來。監管方式的訓練模式包括有back-propagation及delta rule。非監管方式的規則無需教師，因為他們所產生的輸出會被進一步評估。

Architecture
--------------------------------------------------------------------------------

在神經網路中，遵守明確的規則一詞是最「模糊不清」的。因為有太多不同種類的網路，由簡單的布爾網路（Perceptrons），至復雜的自我調整網路（Kohonen），至熱動態性網路模型（Boltzmann machines）！而這些，都遵守一個網路體系結構的標准。

一個網路包括有多個神經元「層」，輸入層、隱蔽層及輸出層。輸入層負責接收輸入及分發到隱蔽層（因為用戶看不見這些層，所以見做隱蔽層）。這些隱蔽層負責所需的計算及輸出結果給輸出層，而用戶則可以看到最終結果。現在，為免混淆，不會在這里更深入的探討體系結構這一話題。對於不同神經網路的更多詳細資料可以看Generation5 essays

盡管我們討論過神經元、訓練及體系結構，但我們還不清楚神經網路實際做些什麼。

The Function of ANNs
--------------------------------------------------------------------------------

神經網路被設計為與圖案一起工作 - 它們可以被分為分類式或聯想式。分類式網路可以接受一組數，然後將其分類。例如ONR程序接受一個數字的影象而輸出這個數字。或者PPDA32程序接受一個坐標而將它分類成A類或B類（類別是由所提供的訓練決定的）。更多實際用途可以看Applications in the Military中的軍事雷達，該雷達可以分別出車輛或樹。

聯想模式接受一組數而輸出另一組。例如HIR程序接受一個『臟』圖像而輸出一個它所學過而最接近的一個圖像。聯想模式更可應用於復雜的應用程序，如簽名、面部、指紋識別等。

The Ups and Downs of Neural Networks
--------------------------------------------------------------------------------

神經網路在這個領域中有很多優點，使得它越來越流行。它在類型分類/識別方面非常出色。神經網路可以處理例外及不正常的輸入數據，這對於很多系統都很重要（例如雷達及聲波定位系統）。很多神經網路都是模仿生物神經網路的，即是他們仿照大腦的運作方式工作。神經網路也得助於神經系統科學的發展，使它可以像人類一樣准確地辨別物件而有電腦的速度！前途是光明的，但現在...

是的，神經網路也有些不好的地方。這通常都是因為缺乏足夠強大的硬體。神經網路的力量源自於以並行方式處理資訊，即是同時處理多項數據。因此，要一個串列的機器模擬並行處理是非常耗時的。

神經網路的另一個問題是對某一個問題構建網路所定義的條件不足 - 有太多因素需要考慮：訓練的演算法、體系結構、每層的神經元個數、有多少層、數據的表現等，還有其它更多因素。因此，隨著時間越來越重要，大部份公司不可能負擔重復的開發神經網路去有效地解決問題。

NN 神經網路，Neural Network
ANNs 人工神經網路，Artificial Neural Networks
neurons 神經元
synapses 神經鍵
self-organizing networks 自我調整網路
networks modelling thermodynamic properties 熱動態性網路模型

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
網格演算法我沒聽說過
好像只有網格計算這個詞

網格計算是伴隨著互聯網技術而迅速發展起來的，專門針對復雜科學計算的新型計算模式。這種計算模式是利用互聯網把分散在不同地理位置的電腦組織成一個「虛擬的超級計算機」，其中每一台參與計算的計算機就是一個「節點」，而整個計算是由成千上萬個「節點」組成的「一張網格」， 所以這種計算方式叫網格計算。這樣組織起來的「虛擬的超級計算機」有兩個優勢，一個是數據處理能力超強；另一個是能充分利用網上的閑置處理能力。簡單地講，網格是把整個網路整合成一台巨大的超級計算機，實現計算資源、存儲資源、數據資源、信息資源、知識資源、專家資源的全面共享。

Ⅱ 如何訓練神經網路

1、先別著急寫代碼

訓練神經網路前，別管代碼，先從預處理數據集開始。我們先花幾個小時的時間，了解數據的分布並找出其中的規律。

Andrej有一次在整理數據時發現了重復的樣本，還有一次發現了圖像和標簽中的錯誤。所以先看一眼數據能避免我們走很多彎路。

由於神經網路實際上是數據集的壓縮版本，因此您將能夠查看網路（錯誤）預測並了解它們的來源。如果你的網路給你的預測看起來與你在數據中看到的內容不一致，那麼就會有所收獲。

一旦從數據中發現規律，可以編寫一些代碼對他們進行搜索、過濾、排序。把數據可視化能幫助我們發現異常值，而異常值總能揭示數據的質量或預處理中的一些錯誤。

2、設置端到端的訓練評估框架

處理完數據集，接下來就能開始訓練模型了嗎？並不能！下一步是建立一個完整的訓練+評估框架。

在這個階段，我們選擇一個簡單又不至於搞砸的模型，比如線性分類器、CNN，可視化損失。獲得准確度等衡量模型的標准，用模型進行預測。

這個階段的技巧有：

· 固定隨機種子

使用固定的隨機種子，來保證運行代碼兩次都獲得相同的結果，消除差異因素。

· 簡單化

在此階段不要有任何幻想，不要擴增數據。擴增數據後面會用到，但是在這里不要使用，現在引入只會導致錯誤。

· 在評估中添加有效數字

在繪制測試集損失時，對整個測試集進行評估，不要只繪制批次測試損失圖像，然後用Tensorboard對它們進行平滑處理。

· 在初始階段驗證損失函數

驗證函數是否從正確的損失值開始。例如，如果正確初始化最後一層，則應在softmax初始化時測量-log(1/n_classes)。

· 初始化

正確初始化最後一層的權重。如果回歸一些平均值為50的值，則將最終偏差初始化為50。如果有一個比例為1:10的不平衡數據集，請設置對數的偏差，使網路預測概率在初始化時為0.1。正確設置這些可以加速模型的收斂。

· 人類基線

監控除人為可解釋和可檢查的損失之外的指標。盡可能評估人的准確性並與之進行比較。或者對測試數據進行兩次注釋，並且對於每個示例，將一個注釋視為預測，將第二個注釋視為事實。

· 設置一個獨立於輸入的基線

最簡單的方法是將所有輸入設置為零，看看模型是否學會從輸入中提取任何信息。

· 過擬合一個batch

增加了模型的容量並驗證我們可以達到的最低損失。

· 驗證減少訓練損失

嘗試稍微增加數據容量。

Ⅲ 問一下大家神經網路演算法有多少種啊，說能科普一下啊

神經網路就是一種演算法，只是說比較大，屬於大型演算法。裡面有一些協助的小演算法，比如bp，rnn，lstm 屬於神經網路結構。
這個沒幾個月說不清楚的

Ⅳ 神經網路演算法原理

一共有四種演算法及原理，如下所示：

1、自適應諧振理論（ART）網路

自適應諧振理論（ART）網路具有不同的方案。一個ART-1網路含有兩層一個輸入層和一個輸出層。這兩層完全互連，該連接沿著正向（自底向上）和反饋（自頂向下）兩個方向進行。

2、學習矢量量化（LVQ）網路

學習矢量量化（LVQ）網路，它由三層神經元組成，即輸入轉換層、隱含層和輸出層。該網路在輸入層與隱含層之間為完全連接，而在隱含層與輸出層之間為部分連接，每個輸出神經元與隱含神經元的不同組相連接。

3、Kohonen網路

Kohonen網路或自組織特徵映射網路含有兩層，一個輸入緩沖層用於接收輸入模式，另一個為輸出層，輸出層的神經元一般按正則二維陣列排列，每個輸出神經元連接至所有輸入神經元。連接權值形成與已知輸出神經元相連的參考矢量的分量。

4、Hopfield網路

Hopfield網路是一種典型的遞歸網路，這種網路通常只接受二進制輸入（0或1）以及雙極輸入（+1或-1）。它含有一個單層神經元，每個神經元與所有其他神經元連接，形成遞歸結構。

(4)神經網路架構搜索算力擴展閱讀：

人工神經網路演算法的歷史背景：

該演算法系統是 20 世紀 40 年代後出現的。它是由眾多的神經元可調的連接權值連接而成，具有大規模並行處理、分布式信息存儲、良好的自組織自學習能力等特點。

BP演算法又稱為誤差反向傳播演算法，是人工神經網路中的一種監督式的學習演算法。BP 神經網路演算法在理論上可以逼近任意函數，基本的結構由非線性變化單元組成，具有很強的非線性映射能力。

而且網路的中間層數、各層的處理單元數及網路的學習系數等參數可根據具體情況設定，靈活性很大，在優化、信號處理與模式識別、智能控制、故障診斷等許 多領域都有著廣泛的應用前景。

Ⅳ Matlab神經網路原理中可以用於尋找最優解的演算法有哪些

若果對你有幫助，請點贊。
神經網路的結構（例如2輸入3隱節點1輸出）建好後，一般就要求神經網路里的權值和閾值。現在一般求解權值和閾值，都是採用梯度下降之類的搜索演算法（梯度下降法、牛頓法、列文伯格-馬跨特法、狗腿法等等），這些演算法會先初始化一個解，在這個解的基礎上，確定一個搜索方向和一個移動步長（各種法算確定方向和步長的方法不同，也就使各種演算法適用於解決不同的問題），使初始解根據這個方向和步長移動後，能使目標函數的輸出（在神經網路中就是預測誤差）下降。 然後將它更新為新的解，再繼續尋找下一步的移動方向的步長，這樣不斷的迭代下去，目標函數（神經網路中的預測誤差）也不斷下降，最終就能找到一個解，使得目標函數（預測誤差）比較小。
而在尋解過程中，步長太大，就會搜索得不仔細，可能跨過了優秀的解，而步長太小，又會使尋解過程進行得太慢。因此，步長設置適當非常重要。
學習率對原步長（在梯度下降法中就是梯度的長度）作調整，如果學習率lr = 0.1,那麼梯度下降法中每次調整的步長就是0.1*梯度，
而在matlab神經網路工具箱里的lr,代表的是初始學習率。因為matlab工具箱為了在尋解不同階段更智能的選擇合適的步長，使用的是可變學習率，它會根據上一次解的調整對目標函數帶來的效果來對學習率作調整，再根據學習率決定步長。
機制如下：
if newE2/E2 > maxE_inc %若果誤差上升大於閾值
lr = lr * lr_dec; %則降低學習率
else
if newE2 < E2 %若果誤差減少
lr = lr * lr_inc;%則增加學習率
end
詳細的可以看《神經網路之家》nnetinfo里的《[重要]寫自己的BP神經網路(traingd)》一文，裡面是matlab神經網路工具箱梯度下降法的簡化代碼

Ⅵ BP神經網路的原理的BP什麼意思

人工神經網路有很多模型，但是日前應用最廣、基本思想最直觀、最容易被理解的是多層前饋神經網路及誤差逆傳播學習演算法（Error Back-Prooaeation），簡稱為BP網路。

在1986年以Rumelhart和McCelland為首的科學家出版的《Parallel Distributed Processing》一書中，完整地提出了誤差逆傳播學習演算法，並被廣泛接受。多層感知網路是一種具有三層或三層以上的階層型神經網路。典型的多層感知網路是三層、前饋的階層網路（圖4.1），即：輸入層、隱含層（也稱中間層）、輸出層，具體如下：

圖4.1 三層BP網路結構

（1）輸入層

輸入層是網路與外部交互的介面。一般輸入層只是輸入矢量的存儲層，它並不對輸入矢量作任何加工和處理。輸入層的神經元數目可以根據需要求解的問題和數據表示的方式來確定。一般而言，如果輸入矢量為圖像，則輸入層的神經元數目可以為圖像的像素數，也可以是經過處理後的圖像特徵數。

（2）隱含層

1989年，Robert Hecht Nielsno證明了對於任何在閉區間內的一個連續函數都可以用一個隱層的BP網路來逼近，因而一個三層的BP網路可以完成任意的n維到m維的映射。增加隱含層數雖然可以更進一步的降低誤差、提高精度，但是也使網路復雜化，從而增加了網路權值的訓練時間。誤差精度的提高也可以通過增加隱含層中的神經元數目來實現，其訓練效果也比增加隱含層數更容易觀察和調整，所以一般情況應優先考慮增加隱含層的神經元個數，再根據具體情況選擇合適的隱含層數。

（3）輸出層

輸出層輸出網路訓練的結果矢量，輸出矢量的維數應根據具體的應用要求來設計，在設計時，應盡可能減少系統的規模，使系統的復雜性減少。如果網路用作識別器，則識別的類別神經元接近1，而其它神經元輸出接近0。

以上三層網路的相鄰層之間的各神經元實現全連接，即下一層的每一個神經元與上一層的每個神經元都實現全連接，而且每層各神經元之間無連接，連接強度構成網路的權值矩陣W。

BP網路是以一種有教師示教的方式進行學習的。首先由教師對每一種輸入模式設定一個期望輸出值。然後對網路輸入實際的學習記憶模式，並由輸入層經中間層向輸出層傳播（稱為「模式順傳播」）。實際輸出與期望輸出的差即是誤差。按照誤差平方最小這一規則，由輸出層往中間層逐層修正連接權值，此過程稱為「誤差逆傳播」（陳正昌，2005）。所以誤差逆傳播神經網路也簡稱BP（Back Propagation）網。隨著「模式順傳播」和「誤差逆傳播」過程的交替反復進行。網路的實際輸出逐漸向各自所對應的期望輸出逼近，網路對輸入模式的響應的正確率也不斷上升。通過此學習過程，確定下各層間的連接權值後。典型三層BP神經網路學習及程序運行過程如下（標志淵，2006）：

（1）首先，對各符號的形式及意義進行說明：

網路輸入向量P_k=（a₁，a₂，...，a_n）；

網路目標向量T_k=（y₁，y₂，...，y_n）；

中間層單元輸入向量S_k=（s₁，s₂，...，s_p），輸出向量B_k=（b₁，b₂，...，b_p）；

輸出層單元輸入向量L_k=（l₁，l₂，...，l_q），輸出向量C_k=（c₁，c₂，...，c_q）；

輸入層至中間層的連接權w_ij，i=1，2，...，n，j=1，2，...p；

中間層至輸出層的連接權v_jt，j=1，2，...，p，t=1，2，...，p；

中間層各單元的輸出閾值θ_j，j=1，2，...，p；

輸出層各單元的輸出閾值γ_j，j=1，2，...，p；

參數k=1，2，...，m。

（2）初始化。給每個連接權值w_ij、v_jt、閾值θ_j與γ_j賦予區間（-1，1）內的隨機值。

（3）隨機選取一組輸入和目標樣本

提供給網路。

（4）用輸入樣本

、連接權w_ij和閾值θ_j計算中間層各單元的輸入s_j，然後用s_j通過傳遞函數計算中間層各單元的輸出b_j。

基坑降水工程的環境效應與評價方法

b_j=f（s_j） j=1，2，...，p （4.5）

（5）利用中間層的輸出b_j、連接權v_jt和閾值γ_t計算輸出層各單元的輸出L_t，然後通過傳遞函數計算輸出層各單元的響應C_t。

基坑降水工程的環境效應與評價方法

C_t=f（L_t） t=1，2，...，q （4.7）

（6）利用網路目標向量

，網路的實際輸出C_t，計算輸出層的各單元一般化誤差

。

基坑降水工程的環境效應與評價方法

（7）利用連接權v_jt、輸出層的一般化誤差d_t和中間層的輸出b_j計算中間層各單元的一般化誤差

。

基坑降水工程的環境效應與評價方法

（8）利用輸出層各單元的一般化誤差

與中間層各單元的輸出b_j來修正連接權v_jt和閾值γ_t。

基坑降水工程的環境效應與評價方法

（9）利用中間層各單元的一般化誤差

，輸入層各單元的輸入P_k=（a₁，a₂，...，a_n）來修正連接權w_ij和閾值θ_j。

基坑降水工程的環境效應與評價方法

（10）隨機選取下一個學習樣本向量提供給網路，返回到步驟（3），直到m個訓練樣本訓練完畢。

（11）重新從m個學習樣本中隨機選取一組輸入和目標樣本，返回步驟（3），直到網路全局誤差E小於預先設定的一個極小值，即網路收斂。如果學習次數大於預先設定的值，網路就無法收斂。

（12）學習結束。

可以看出，在以上學習步驟中，（8）、（9）步為網路誤差的「逆傳播過程」，（10）、（11）步則用於完成訓練和收斂過程。

通常，經過訓練的網路還應該進行性能測試。測試的方法就是選擇測試樣本向量，將其提供給網路，檢驗網路對其分類的正確性。測試樣本向量中應該包含今後網路應用過程中可能遇到的主要典型模式（宋大奇，2006）。這些樣本可以直接測取得到，也可以通過模擬得到，在樣本數據較少或者較難得到時，也可以通過對學習樣本加上適當的雜訊或按照一定規則插值得到。為了更好地驗證網路的泛化能力，一個良好的測試樣本集中不應該包含和學習樣本完全相同的模式（董軍，2007）。

Ⅶ 神經網路權值怎麼確定

神經網路的權值是通過對網路的訓練得到的。如果使用MATLAB的話不要自己設定，newff之後會自動賦值。也可以手動：net.IW{}= ; net.bias{}=。一般來說輸入歸一化，那麼w和b取0-1的隨機數就行。神經網路的權值確定的目的是為了讓神經網路在訓練過程中學習到有用的信息，這意味著參數梯度不應該為0。

參數初始化要滿足兩個必要條件：

1、各個激活層不會出現飽和現象，比如對於sigmoid激活函數，初始化值不能太大或太小，導致陷入其飽和區。

2、各個激活值不為0，如果激活層輸出為零，也就是下一層卷積層的輸入為零，所以這個卷積層對權值求偏導為零，從而導致梯度為0。

(7)神經網路架構搜索算力擴展閱讀：

神經網路和權值的關系。

在訓練智能體執行任務時，會選擇一個典型的神經網路框架，並相信它有潛力為這個任務編碼特定的策略。注意這里只是有潛力，還要學習權重參數，才能將這種潛力變化為能力。

受到自然界早成行為及先天能力的啟發，在這項工作中，研究者構建了一個能自然執行給定任務的神經網路。也就是說，找到一個先天的神經網路架構，然後只需要隨機初始化的權值就能執行任務。研究者表示，這種不用學習參數的神經網路架構在強化學習與監督學習都有很好的表現。

其實如果想像神經網路架構提供的就是一個圈，那麼常規學習權值就是找到一個最優點（或最優參數解）。但是對於不用學習權重的神經網路，它就相當於引入了一個非常強的歸納偏置，以至於，整個架構偏置到能直接解決某個問題。

但是對於不用學習權重的神經網路，它相當於不停地特化架構，或者說降低模型方差。這樣，當架構越來越小而只包含最優解時，隨機化的權值也就能解決實際問題了。如研究者那樣從小架構到大架構搜索也是可行的，只要架構能正好將最優解包圍住就行了。

Ⅷ 做計算機視覺哪些神經網路框架更好

看應用。 有的處理快， 有的跑樣本快。。 不同的模型也有不同的性能。我tensorflow吧， gpu兼容性好， 開源， 案例多。 我們學校目前在用呢

Ⅸ 神經網路演算法的三大類分別是

神經網路演算法的三大類分別是：

1、前饋神經網路：

這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。

2、循環網路：

循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。

循環網路的目的是用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。

循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

3、對稱連接網路：

對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。

這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。

(9)神經網路架構搜索算力擴展閱讀：

應用及發展：

心理學家和認知科學家研究神經網路的目的在於探索人腦加工、儲存和搜索信息的機制，弄清人腦功能的機理，建立人類認知過程的微結構理論。

生物學、醫學、腦科學專家試圖通過神經網路的研究推動腦科學向定量、精確和理論化體系發展，同時也寄希望於臨床醫學的新突破；信息處理和計算機科學家研究這一問題的目的在於尋求新的途徑以解決不能解決或解決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。

Ⅹ 哪一個神經網路框架的運算速度最快

看應用。 有的處理快， 有的跑樣本快。。 不同的模型也有不同的性能。我推薦tensorflow吧， gpu兼容性好， 開源， 案例多。 我們學校目前在用呢