常規神經網路算力

A. BP神經網路的原理的BP什麼意思

人工神經網路有很多模型，但是日前應用最廣、基本思想最直觀、最容易被理解的是多層前饋神經網路及誤差逆傳播學習演算法（Error Back-Prooaeation），簡稱為BP網路。

在1986年以Rumelhart和McCelland為首的科學家出版的《Parallel Distributed Processing》一書中，完整地提出了誤差逆傳播學習演算法，並被廣泛接受。多層感知網路是一種具有三層或三層以上的階層型神經網路。典型的多層感知網路是三層、前饋的階層網路（圖4.1），即：輸入層、隱含層（也稱中間層）、輸出層，具體如下：

圖4.1 三層BP網路結構

（1）輸入層

輸入層是網路與外部交互的介面。一般輸入層只是輸入矢量的存儲層，它並不對輸入矢量作任何加工和處理。輸入層的神經元數目可以根據需要求解的問題和數據表示的方式來確定。一般而言，如果輸入矢量為圖像，則輸入層的神經元數目可以為圖像的像素數，也可以是經過處理後的圖像特徵數。

（2）隱含層

1989年，Robert Hecht Nielsno證明了對於任何在閉區間內的一個連續函數都可以用一個隱層的BP網路來逼近，因而一個三層的BP網路可以完成任意的n維到m維的映射。增加隱含層數雖然可以更進一步的降低誤差、提高精度，但是也使網路復雜化，從而增加了網路權值的訓練時間。誤差精度的提高也可以通過增加隱含層中的神經元數目來實現，其訓練效果也比增加隱含層數更容易觀察和調整，所以一般情況應優先考慮增加隱含層的神經元個數，再根據具體情況選擇合適的隱含層數。

（3）輸出層

輸出層輸出網路訓練的結果矢量，輸出矢量的維數應根據具體的應用要求來設計，在設計時，應盡可能減少系統的規模，使系統的復雜性減少。如果網路用作識別器，則識別的類別神經元接近1，而其它神經元輸出接近0。

以上三層網路的相鄰層之間的各神經元實現全連接，即下一層的每一個神經元與上一層的每個神經元都實現全連接，而且每層各神經元之間無連接，連接強度構成網路的權值矩陣W。

BP網路是以一種有教師示教的方式進行學習的。首先由教師對每一種輸入模式設定一個期望輸出值。然後對網路輸入實際的學習記憶模式，並由輸入層經中間層向輸出層傳播（稱為「模式順傳播」）。實際輸出與期望輸出的差即是誤差。按照誤差平方最小這一規則，由輸出層往中間層逐層修正連接權值，此過程稱為「誤差逆傳播」（陳正昌，2005）。所以誤差逆傳播神經網路也簡稱BP（Back Propagation）網。隨著「模式順傳播」和「誤差逆傳播」過程的交替反復進行。網路的實際輸出逐漸向各自所對應的期望輸出逼近，網路對輸入模式的響應的正確率也不斷上升。通過此學習過程，確定下各層間的連接權值後。典型三層BP神經網路學習及程序運行過程如下（標志淵，2006）：

（1）首先，對各符號的形式及意義進行說明：

網路輸入向量P_k=（a₁，a₂，...，a_n）；

網路目標向量T_k=（y₁，y₂，...，y_n）；

中間層單元輸入向量S_k=（s₁，s₂，...，s_p），輸出向量B_k=（b₁，b₂，...，b_p）；

輸出層單元輸入向量L_k=（l₁，l₂，...，l_q），輸出向量C_k=（c₁，c₂，...，c_q）；

輸入層至中間層的連接權w_ij，i=1，2，...，n，j=1，2，...p；

中間層至輸出層的連接權v_jt，j=1，2，...，p，t=1，2，...，p；

中間層各單元的輸出閾值θ_j，j=1，2，...，p；

輸出層各單元的輸出閾值γ_j，j=1，2，...，p；

參數k=1，2，...，m。

（2）初始化。給每個連接權值w_ij、v_jt、閾值θ_j與γ_j賦予區間（-1，1）內的隨機值。

（3）隨機選取一組輸入和目標樣本

提供給網路。

（4）用輸入樣本

、連接權w_ij和閾值θ_j計算中間層各單元的輸入s_j，然後用s_j通過傳遞函數計算中間層各單元的輸出b_j。

基坑降水工程的環境效應與評價方法

b_j=f（s_j） j=1，2，...，p （4.5）

（5）利用中間層的輸出b_j、連接權v_jt和閾值γ_t計算輸出層各單元的輸出L_t，然後通過傳遞函數計算輸出層各單元的響應C_t。

基坑降水工程的環境效應與評價方法

C_t=f（L_t） t=1，2，...，q （4.7）

（6）利用網路目標向量

，網路的實際輸出C_t，計算輸出層的各單元一般化誤差

。

基坑降水工程的環境效應與評價方法

（7）利用連接權v_jt、輸出層的一般化誤差d_t和中間層的輸出b_j計算中間層各單元的一般化誤差

。

基坑降水工程的環境效應與評價方法

（8）利用輸出層各單元的一般化誤差

與中間層各單元的輸出b_j來修正連接權v_jt和閾值γ_t。

基坑降水工程的環境效應與評價方法

（9）利用中間層各單元的一般化誤差

，輸入層各單元的輸入P_k=（a₁，a₂，...，a_n）來修正連接權w_ij和閾值θ_j。

基坑降水工程的環境效應與評價方法

（10）隨機選取下一個學習樣本向量提供給網路，返回到步驟（3），直到m個訓練樣本訓練完畢。

（11）重新從m個學習樣本中隨機選取一組輸入和目標樣本，返回步驟（3），直到網路全局誤差E小於預先設定的一個極小值，即網路收斂。如果學習次數大於預先設定的值，網路就無法收斂。

（12）學習結束。

可以看出，在以上學習步驟中，（8）、（9）步為網路誤差的「逆傳播過程」，（10）、（11）步則用於完成訓練和收斂過程。

通常，經過訓練的網路還應該進行性能測試。測試的方法就是選擇測試樣本向量，將其提供給網路，檢驗網路對其分類的正確性。測試樣本向量中應該包含今後網路應用過程中可能遇到的主要典型模式（宋大奇，2006）。這些樣本可以直接測取得到，也可以通過模擬得到，在樣本數據較少或者較難得到時，也可以通過對學習樣本加上適當的雜訊或按照一定規則插值得到。為了更好地驗證網路的泛化能力，一個良好的測試樣本集中不應該包含和學習樣本完全相同的模式（董軍，2007）。

B. 神經網路使用范圍

個人感覺在系統或者說被控對象的數學模型是不明確的，或是非線性的、或者是強耦合等用常規方法難以控制的情況下，用一下神經網路還可以。

C. 神經網路權值怎麼確定

神經網路的權值是通過對網路的訓練得到的。如果使用MATLAB的話不要自己設定，newff之後會自動賦值。也可以手動：net.IW{}= ; net.bias{}=。一般來說輸入歸一化，那麼w和b取0-1的隨機數就行。神經網路的權值確定的目的是為了讓神經網路在訓練過程中學習到有用的信息，這意味著參數梯度不應該為0。

參數初始化要滿足兩個必要條件：

1、各個激活層不會出現飽和現象，比如對於sigmoid激活函數，初始化值不能太大或太小，導致陷入其飽和區。

2、各個激活值不為0，如果激活層輸出為零，也就是下一層卷積層的輸入為零，所以這個卷積層對權值求偏導為零，從而導致梯度為0。

(3)常規神經網路算力擴展閱讀：

神經網路和權值的關系。

在訓練智能體執行任務時，會選擇一個典型的神經網路框架，並相信它有潛力為這個任務編碼特定的策略。注意這里只是有潛力，還要學習權重參數，才能將這種潛力變化為能力。

受到自然界早成行為及先天能力的啟發，在這項工作中，研究者構建了一個能自然執行給定任務的神經網路。也就是說，找到一個先天的神經網路架構，然後只需要隨機初始化的權值就能執行任務。研究者表示，這種不用學習參數的神經網路架構在強化學習與監督學習都有很好的表現。

其實如果想像神經網路架構提供的就是一個圈，那麼常規學習權值就是找到一個最優點（或最優參數解）。但是對於不用學習權重的神經網路，它就相當於引入了一個非常強的歸納偏置，以至於，整個架構偏置到能直接解決某個問題。

但是對於不用學習權重的神經網路，它相當於不停地特化架構，或者說降低模型方差。這樣，當架構越來越小而只包含最優解時，隨機化的權值也就能解決實際問題了。如研究者那樣從小架構到大架構搜索也是可行的，只要架構能正好將最優解包圍住就行了。

D. 如何提高神經網路的外推能力

人工神經網路以其智能性見長，那麼神經網路能真的學到一個映射的本質嗎？也就是說，對一個映射給出一定的必要的訓練樣本訓練後，網路能否對樣本以外的樣本給出較為准確的預測。泛化能力也就是神經網路用於對未知數據預測的能力。神經網路對訓練樣本區間范圍內的樣本有較好的泛化能力，而對於訓練樣本確定的范圍外的樣本不能認為有泛化能力。常規的幾種增強泛化能力的方法，羅列如下：

1、較多的輸入樣本可以提高泛化能力；
但不是太多，過多的樣本導致過度擬合，泛化能力不佳；樣本包括至少一次的轉折點數據。

2、隱含層神經元數量的選擇，不影響性能的前提下，盡量選擇小一點的神經元數量。隱含層節點太多，造成泛化能力下降，造火箭也只要幾十個到幾百個神經元，擬合幾百幾千個數據何必要那麼多神經元？

3、誤差小，則泛化能力好；誤差太小，則會過度擬合，泛化能力反而不佳。

4、學習率的選擇，特別是權值學習率，對網路性能有很大影響，太小則收斂速度很慢，且容易陷入局部極小化；太大則，收斂速度快，但易出現擺動，誤差難以縮小；一般權值學習率比要求誤差稍微稍大一點點；另外可以使用變動的學習率，在誤差大的時候增大學習率，等誤差小了再減小學習率，這樣可以收斂更快，學習效果更好，不易陷入局部極小化。

5、訓練時可以採用隨時終止法，即是誤差達到要求即終止訓練，以免過度擬合；可以調整局部權值，使局部未收斂的加快收斂。

E. 數據挖掘中的神經網路和模糊邏輯的概念是啥

【神經網路】
人工神經網路（Artificial Neural Networks，簡寫為ANNs）也簡稱為神經網路（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
最常用的就是BP神經網路了，你做數據挖掘SVM也很常用。

【模糊】
模糊邏輯指模仿人腦的不確定性概念判斷、推理思維方式，對於模型未知或不能確定的描述系統，以及強非線性、大滯後的控制對象，應用模糊集合和模糊規則進行推理，表達過渡性界限或定性知識經驗，模擬人腦方式，實行模糊綜合判斷，推理解決常規方法難於對付的規則型模糊信息問題。模糊邏輯善於表達界限不清晰的定性知識與經驗，它藉助於隸屬度函數概念，區分模糊集合，處理模糊關系，模擬人腦實施規則型推理，解決因「排中律」的邏輯破缺產生的種種不確定問題 。

粗糙集(Roughset,也稱粗集)理論是波蘭學者2.Pawlak於1982年提出的,它為處理不確切的!不完整的信息提供了一種新的數學工具。粗糙集理論建立在分類機制的基礎之上,將分類理解為特定空間上的等價關系,而等價關系構成了對該空間的劃分。該理論將知識理解為對數據的劃分,每一劃分的集合稱為概念。粗糙集理論的主要思想是在保持信息系統分類能力不變的前提下,利用己知的知識庫,將不精確或不確定的知識用知識庫中己有的知識來近似刻畫,通過知識的補充!約簡,導出問題的決策或分類規則。

粗糙集理論與其它處理不確定和不精確問題理論最顯著的區別是粗糙集理論無須提供問題所需處理的數據集合之外的任何先驗信息,對問題的不確定性的描述或處理比較客觀,又由於這個理論未包含處理不精確或不確定原始數據的機制,所以該理論與概率論!模糊數學!證據理論等其它處理不精確或不確定問題的理論有很強的互補性。粗糙集理論不僅為信息科學和認知科學提供了新的研究方法,而且為智能信息處理提供了有效的處理技術。目前粗糙集理論己經是人工智慧領域方面的一個研究熱點,成為數據挖掘應用的主要技術之一,受到各國學者的高度重視。

F. 神經網路如果學習樣本很多，會不會出現很卡！學習慢！個例計算慢！情況！

4w到6w條數據是在合理范圍內的，一般1000個epoch。
再大的話就對算力要求高了，樣本很多就算最後收斂了，好幾年過去了，除非是實驗新的演算法，不然沒有意義了。

G. 什麼是BP神經網路

誤差反向傳播（Error Back Propagation, BP）演算法
1、BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。
1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層
注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉入2）（誤差反向傳播過程）
2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層
其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調整的過程）。
注2：權值調整的過程，也就是網路的學習訓練過程（學習也就是這么的由來，權值調整）。
2、BP演算法實現步驟（軟體）：
1）初始化
2）輸入訓練樣本對，計算各層輸出
3）計算網路輸出誤差
4）計算各層誤差信號
5）調整各層權值
6）檢查網路總誤差是否達到精度要求
滿足，則訓練結束；不滿足，則返回步驟2）
3、多層感知器（基於BP演算法）的主要能力：
1）非線性映射：足夠多樣本－>學習訓練
能學習和存儲大量輸入－輸出模式映射關系。只要能提供足夠多的樣本模式對供BP網路進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。
2）泛化：輸入新樣本（訓練時未有）－>完成正確的輸入、輸出映射
3）容錯：個別樣本誤差不能左右對權矩陣的調整
4、標准BP演算法的缺陷：
1）易形成局部極小（屬貪婪演算法，局部最優)而得不到全局最優；
2）訓練次數多使得學習效率低下，收斂速度慢（需做大量運算）；
3）隱節點的選取缺乏理論支持；
4）訓練時學習新樣本有遺忘舊樣本趨勢。
注3：改進演算法—增加動量項、自適應調整學習速率（這個似乎不錯)及引入陡度因子

H. 如何給出常規PID與模糊PIDBP神經網路PID遺傳演算法PID程序的MATLAB模擬程序

我的畢設只用把PID和模糊PID相比較
常規PID，用Matlab里的Simulink模塊模擬，建立你要做的動力學模型的傳函或者狀態空間。PID參數調節可用臨界比度法。
模糊PID就麻煩了，打開Matlab中FIS模塊，一般都用二階模糊？輸入E,EC的隸屬函數，一般為高斯，和輸出模糊Kp,Ki,Kd，一般為三角。還要整定模糊規則，再載入到Simulink里。調節模糊因子Gu，Ge，Gec，設置模糊PID的參數。
總之，你這個問題在白度知道里很難說清楚。

I. BP演算法、BP神經網路、遺傳演算法、神經網路這四者之間的關系

這四個都屬於人工智慧演算法的范疇。其中BP演算法、BP神經網路和神經網路
屬於神經網路這個大類。遺傳演算法為進化演算法這個大類。
神經網路模擬人類大腦神經計算過程，可以實現高度非線性的預測和計算，主要用於非線性擬合，識別，特點是需要「訓練」，給一些輸入，告訴他正確的輸出。若干次後，再給新的輸入，神經網路就能正確的預測對於的輸出。神經網路廣泛的運用在模式識別，故障診斷中。BP演算法和BP神經網路是神經網路的改進版，修正了一些神經網路的缺點。
遺傳演算法屬於進化演算法，模擬大自然生物進化的過程：優勝略汰。個體不斷進化，只有高質量的個體（目標函數最小（大））才能進入下一代的繁殖。如此往復，最終找到全局最優值。遺傳演算法能夠很好的解決常規優化演算法無法解決的高度非線性優化問題，廣泛應用在各行各業中。差分進化，蟻群演算法，粒子群演算法等都屬於進化演算法，只是模擬的生物群體對象不一樣而已。