訓練神經網路藉助算力

A. bp神經網路用啥演算法

自己找個例子算一下，推導一下，這個回答起來比較復雜

神經網路對模型的表達能力依賴於優化演算法，優化是一個不斷計算梯度並調整可學習參數的過程，Fluid中的優化演算法可參考優化器。

在網路的訓練過程中，梯度計算分為兩個步驟：前向計算與反向傳播。

• 前向計算會根據您搭建的網路結構，將輸入單元的狀態傳遞到輸出單元。

• 反向傳播藉助鏈式法則，計算兩個或兩個以上復合函數的導數，將輸出單元的梯度反向傳播回輸入單元，根據計算出的梯度，調整網路的可學習參數。

BP演算法

隱層的引入使網路具有很大的潛力。但正像Minskey和Papert當時所指出的．雖然對所有那些能用簡單(無隱層)網結解決的問題有非常簡單的學習規則，即簡單感知器的收斂程序(主要歸功於Widrow和HMf於1960年提出的Delta規剛)，

BP演算法

但當時並沒有找到同樣有技的含隱層的同培的學習規則。對此問題的研究有三個基本的結果。一種是使用簡單無監督學習規則的競爭學習方法．但它缺乏外部信息．難以確定適台映射的隱層結構。第二條途徑是假設一十內部(隱層)的表示方法，這在一些先約條件下是台理的。另一種方法是利用統計手段設計一個學習過程使之能有技地實現適當的內部表示法，Hinton等人(1984年)提出的Bolzmann機是這種方法的典型例子．它要求網路在兩個不同的狀態下達到平衡，並且只局限於對稱網路。Barto和他的同事(1985年)提出了另一條利用統計手段的學習方法。但迄今為止最有教和最實用的方瑤是Rumelhart、Hinton和Williams(1986年)提出的一般Delta法則，即反向傳播(BP)演算法。Parter(1985年)也獨立地得出過相似的演算法,他稱之為學習邏輯。此外， Lecun(1985年)也研究出大致相似的學習法則。

B. 如何通過玩TensorFlow Playground來理解神經網路

單個神經元的數學機制很簡單，它所能做的只是將數據點分成兩類。而眾多神經元組成的深度神經網路能提取更多特徵，解決更復雜更抽象的問題。（之前相關報道：業界 | 想揭開深度學習隱藏層的神秘面紗？試試Tensor Flow的神經網路游樂場）源碼：https://github.com/tensorflow/playground

神經網路和深度學習近來已經變成了互聯網上的熱詞，你可能也想一探究竟。但是當很多人拿起教科書准備自學成才時，卻最後發現自己被數學模型和公式搞得暈頭轉向。反正我就是這樣的。

對於和我一樣的人來說，我們還有一種不需要太過艱深的數學知識就能理解神經網路的方法：TensorFlow Playground，這是一個用 JavaScript 寫的網頁應用，能讓你把玩在你的瀏覽器中運行的真實的神經網路，並且可以讓你點擊按鈕和調整參數，從而了解它是怎麼工作的。體驗地址：http://playground.tensorflow.org/

在這篇文章中，我會向你介紹如何使用 TensorFlow Playground ，因而你能夠理解神經網路背後的核心思想。然後你就能理解為什麼最近這么多人會變得對這項技術感到如此地興奮。

讓計算機解決問題

計算機編程需要程序員。人類通過一行行的代碼制定計算機執行的每一個步驟，從而指示計算機解決問題。但有了機器學習和神經網路，你就可以讓計算機自己去解決問題了。一個神經網路就是一個函數，能夠學會訓練數據集中的給定輸入所對應的預期輸出。

神經網路就是能夠從訓練數據集中學習的函數

比如，為了構建能夠識別貓的圖像的神經網路，你可以使用大量貓圖像樣本訓練網路。最終得到的網路就和一個函數一樣，其將貓圖像作為輸入，然後輸出「cat（貓）」標簽。或者更實用的情況是——你可以向其中輸入來自游戲伺服器的大量用戶活動日誌，然後輸出有較高轉化概率的用戶。

這是怎麼辦到的？讓我們來看一個簡單的分類問題。假設你有一個如下的數據集。其中每一個數據點都有兩個值：x1（橫坐標）和 x2（縱坐標）。這里有兩組數據點：橙色組和藍色組。

要區分一個數據點是橙色的還是藍色的，你該如何編寫代碼？也許你會像下面一樣任意畫一條對角線來分隔兩組數據點，定義一個閾值以確定每個數據點屬於哪一個組。

你的 IF 語句的條件應該看起來是這樣：

其中 b 是確定線的位置的閾值。通過分別為 x1 和 x2 賦予權重 w1 和 w2，你可以使你的代碼的復用性更強。

此外，如果你調整 w1 和 w2 的值，你可以按你喜歡的方式調整線的角度。你也可以調整 b 的值來移動線的位置。所以你可以重復使用這個條件來分類任何可以被一條直線分類的數據集。

但問題的關鍵是程序員必須為 w1、w2 和 b 找到合適的值——即所謂的參數值，然後指示計算機如何分類這些數據點。

一個神經元：將一個數據點分為兩類

現在，讓我們看看 TensorFlow Playground 背後的計算機是如何解決這個特定問題的。在 Playground 上，點擊左上角的「Play（播放）」按鈕。藍色和橙色數據點之間的線開始緩慢移動。點擊復位（reset）按鈕然後再點擊播放幾次，觀察有不同初始值的線是如何移動的。你看到的是計算機正在試圖找到權重和閾值的最佳組合，從而畫出兩組之間的直線。

TensorFlow Playground 上一個簡單的分類問題

TensorFlow Playground 使用了一個人工神經元進行這個分類。什麼是人工神經元？這是由人類大腦中生物神經元的行為所啟發的一種概念。

生物神經元之間的網路

對於生物神經網路的機制的詳細描述，可以參見維基網路「神經元」頁面：當神經元接收到來自其相連的神經元的電信號時，它會變得興奮（激活）。神經元之間的每個連接的強度不同。一些神經元之間的連接很強，足以激活其它神經元，而另一些連接則會抑制激活。你大腦中的數千億神經元及其連接一起構成了人類智能。

對生物神經元的研究導致了一種新的計算模式的誕生——人工神經網路。使用人工神經網路，我們可以使用簡單的數學方式模擬生物神經元的行為。為了解決上述的分類問題，你可以使用下面的簡單神經網路，它只具有一個神經元（即感知器（Perceptron））。

x1 和 x2 是輸入值，w1 和 w2 是權重——代表了輸入與神經元連接的強度。b 是所謂的偏置（bias），表示一個神經元是否可被輸入激活的閾值。這個單一的神經元可以通過下面的公式計算。

是的，這也就是前面提到的用一條直線分類數據集時所需的公式。而且實際上這也是一個神經元所能做的唯一事情：使用權重和偏置檢查輸入值，將一個數據點分到兩類中的一類。帶有兩個輸入時，一個神經元可以使用一條直線將一個數據點在一個二維空間中分成兩類。如果有三個輸入，一個神經元可以使用一個平面將一個三維空間分成兩部分，以此類推。這就是所謂的「使用一個超平面分割 n 維空間（dividing n-dimensional space with a hyperplane）」。

一個神經元可以將任何數據點分為兩類

使用單個神經元執行圖像識別

一個「超平面（hyperplane）」如何解決日常問題呢？舉個例子，假設你有大量如下的手寫文本圖像：

手寫文本的像素圖像

你可以訓練一個神經元將一組圖像分類為「數字 8 的圖像」和「其它」兩類。

你該怎麼做呢？首先，你需要准備數萬張用於訓練的樣本。假設單張圖像是 28×28 像素的灰度圖像，它可對應於一個 28×28=784 個數字的數組。假設給定 55,000 張樣本圖像，那就將得到一個帶有 784×55000 個數字的數組。

對於這 5.5 萬個樣本中的每一張樣本圖像，你都可以將 784 個數字輸入到一個神經元中，這些每個樣本都帶有一個訓練標簽——是否表示了「8」。

正如你在 Playground 演示中看到的那樣，該計算機會嘗試尋找權重和偏置的最優組合，進而分辨每張圖像是否是「8」。

在經過了 5.5 萬個樣本的訓練之後，該神經元會生成如下的一個權重集合，其中藍色代表正值，紅色代表負值。

就是這樣的。即使是這樣非常原始的單個神經元，你也可以在手寫文本圖像的識別上實現 90% 的准確度[1]。要識別 0-9 這 10 個數字，你只需要 10 個神經元就能達到 92% 的准確度。

再說一次，這個神經元所能做的只是將數據點分成兩類：「8」或「其它」。什麼才能算作是一個「數據點」？在這個案例中，每一張圖像包含 28×28=784 的數字。從數學的角度上說，你可以說每張圖像都代表了 784 維空間中的一個點。該神經元用一個超平面將這個 784 維空間分成了兩個部分，從而將每張圖像（每個數據點）分為了「8」或「其它」。（是的，我們幾乎不可能想像維度空間和超平面看起來是怎樣的。還是不要去想了。）

在上述例子中，我們所用的樣本數據是手寫文本的圖像，但你也可以使用神經網路分類其它許多類型的數據。比如，網路游戲提供商可以通過檢查玩家活動日誌來識別作弊的玩家；電子商務提供商可以通過網頁伺服器訪問日誌和交易歷史識別優質客戶。換句話說，你可以將任何可以轉換成數字表示的數據表示成 n 維空間中的數據點，然後讓神經元找到所需的超平面，看它是否能幫你有效地分類你的問題。

怎麼訓練神經網路？

如你所見，神經網路是用基礎數學實現的簡單機制。神經網路和傳統編程之間的唯一不同是：你讓計算機通過學習訓練數據集來確定參數（權重和偏置）。換句話說，我們的樣本中訓練出的權重模式不是由人類編程的。

在這篇文章中，我不會詳細地討論你可以如何使用反向傳播和梯度下降等演算法訓練參數。我只想說，訓練過程中的計算機會嘗試一點點增大或減小每個參數，看其能如何減少相比於訓練數據集的誤差，以望能找到最優的參數組合。

你可以將計算機看作一個學生或初級員工。開始的時候，計算機會犯很多錯，它需要一些時間才能找到解決真實世界問題（包括可能的未來問題）的實際方法並最小化誤差（即所謂的泛化（generalization））。

在其可以最小化誤差之前，一個神經網路需要訓練時間

我們可能會在未來的一篇文章中重新談到這一主題。至於現在，你只需要知道 TensorFlow 這樣的神經網路庫已經囊括了大部分訓練必需的數學知識，而不必過於擔心。

更多神經元，更多提取特徵

我們已經展示了單個神經元進行簡單分類的方式，但你可能也想知道如何使用單個神經元建立能夠識別數千張不同圖像、以及能與專業圍棋手對抗的網路。有一個原因可以解釋為什麼神經網路能變得比我們上面描述的更聰明。讓我們看一下來自 TensorFlow Playground 的另一個樣例。

這個數據集不能被單個神經元分類，因為兩組數據點不能被一條直線分開。這就是所謂的非線性分類問題。在現實世界中，非線性和復雜的數據集是無限的，比如上面這個，而問題是如何捕捉這種類型的復雜模式？

答案是在輸入值與輸出神經元之間增加一個隱含層（hidden layer ）。

TensorFlow Playground 上的非線性分類問題

這里發生了什麼？如果你點擊隱含層中的每一個神經元，你就會看到它們每一個都在進行簡單的單條直線的分類：

第一個神經元檢查數據點是在左邊還是在右邊

第二個神經元檢查它是否在正右方

第三個檢查它是否在右下方

這三個結果被稱為數據的特徵。這些神經元的輸出表示相應特徵的強度。

最終，輸出層的神經元使用這些特徵對數據分類。如果你繪制一張包含這些特徵值的三維空間圖，這個最終神經元能用一個平面簡單的劃分該空間。這里有一個將原始數據轉換為特徵空間的例子。

一個隱層將輸入變換為特徵空間，使其可線性分類

在 Playground 的演示例子中，這樣的變換導致多種特徵對應一個三角形或矩形區域。如果你通過點擊「plus」按鈕加入更多神經元，你將看到輸出神經元能捕捉數據集中更多復雜的多邊形。

回到工作者的類比，你可以說這種變換是一個經驗豐富的專家在日常工作中提取見解。一個新職員會被來自郵件、手機、老闆、消費者等各方的任意信號所困惑，但高級職員在從這些輸入中提取關鍵信號卻很高效，並且能根據一些重要原則組織這些雜亂事項。

神經網路同樣如此，試圖提取數據集中最重要的特徵解決問題。這也是為何有時神經網路在處理一些復雜的任務上能夠相當聰明。

神經網路（看起來）似乎可以從隨機信號中提取見解

我們需要更深入：建立抽象的層次結構

一個單隱含層有更多的神經元，你就能捕捉更多的特徵。而且有更多隱層，意味著你能從數據集中提取更多復雜的構造。在下一例子中，你可以看到它是如何的強大。

分類此數據集你會編寫什麼樣的代碼？幾十個 IF 語句帶有大量的條件和閾值，每一個都會給定的數據點應該位於哪個小區域。我個人是不想這么做。

這個是機器學習和神經網路超過人類程序員表現的展示。

在 TensorFlow Playground 上的雙螺旋問題

很酷，不是嗎？你剛才看到的是計算機試圖建立深度神經網路的抽象層次結構（ hierarchy of abstraction）。第一張隱層中的神經元正在進行同樣簡單的分類，然而第二、第三隱含層中的神經元正在從簡單特徵中組合出復雜特徵，並最終產出雙螺旋模式。

更多神經元 + 更深的網路 = 更復雜的抽象。這也是簡單的神經元如何變得更聰明，並在圖像識別、圍棋這些特定問題上表現如此之好的原因。

Inception：谷歌公開的一個圖像識別模型

一些公開的深度網路可視化樣例展示了它們進行訓練、建立識別模式的層級結構的方式——從簡單的邊緣和斑點，到目標的部分部位以及整體類別。

兩大挑戰：計算能力和訓練數據

在此文章中，我們看到了一些 TensorFolw Playground 演示解釋了神經網路的機制和能力。就像你看到的那樣，這一技術的基礎非常簡單。每一個神經元只將一個數據點分類成兩個類別中的一個。然而，通過有更多的神經元和深度層，一個神經網路能提取出訓練數據集中隱藏的見解和復雜模式，並且建立抽象的層級結構。

接下來的問題是，為什麼如今還不是每個人都在使用這一偉大的技術？這是因為神經網路還有兩大挑戰。第一個是訓練深度神經網路需要大量的算力。第二，它們需要大量的訓練數據集。一個強力的 GPU 伺服器可能要花費數天、甚至數周的時間，才能使用數百萬張圖像的數據集訓練出一個深度網路。

而且，為了得到最好的訓練結果，需要結合不同的網路設計與演算法，並進行大量的試錯。如今，一些研究者會使用幾十個 GPU 伺服器，甚至超級計算機來進行大規模分布式的訓練。

但在不久的將來，全面管理的分布式訓練與預測服務——比如谷歌 TensorFlow 雲機器學習平台——可能會解決這些問題，為大家提供成本合理的基於雲的 CPU 和 GPU，而且也可能會把大型的或深度的神經網路的能力開放給每一個人。

C. 華為的AI訓練集群適用於哪些場景

近日，華為在全聯接大會上又宣布了一項重大消息，就是華為AI訓練集群Atlas 900要發布了，這款Atlas 900可是由數千個升騰910 AI處理器組成，因此Atlas 900也號稱為全球最快AI訓練集群。那麼，這么牛的AI訓練集群適用哪些場景呢？

具有超強算力的華為Atlas 900能運用到科技這樣重大領域中，不得不讓人對華為刮目相看，因為目前為止還沒有哪家公司那麼牛，能自主研究出那麼強大的AI訓練集群，所以大家也都非常期待華為能給我們帶來更多的驚喜。

D. 人工神經網路，人工神經網路是什麼意思

人工神經網路（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智慧領域興起的研究熱點。它從信息處理角度對人腦神經元網路進行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網路。在工程與學術界也常直接簡稱為神經網路或類神經網路。神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重，這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。

E. matlab神經網路工具箱訓練出來的函數，怎麼輸出得到函數代碼段

這樣：

clear;

%輸入數據矩陣

p1=zeros(1,1000);

p2=zeros(1,1000);

%填充數據

for i=1:1000

p1(i)=rand;

p2(i)=rand;

end

%輸入層有兩個，樣本數為1000

p=[p1;p2];

%目標（輸出）數據矩陣，待擬合的關系為簡單的三角函數

t = cos(pi*p1)+sin(pi*p2);

%對訓練集中的輸入數據矩陣和目標數據矩陣進行歸一化處理

[pn, inputStr] = mapminmax(p);

[tn, outputStr] = mapminmax(t);

%建立BP神經網路

net = newff(pn, tn, [200,10]);

%每10輪回顯示一次結果

net.trainParam.show = 10;

%最大訓練次數

net.trainParam.epochs = 5000;

%網路的學習速率

net.trainParam.lr = 0.05;

%訓練網路所要達到的目標誤差

net.trainParam.goal = 10^(-8);

%網路誤差如果連續6次迭代都沒變化，則matlab會默認終止訓練。為了讓程序繼續運行，用以下命令取消這條設置

net.divideFcn = '';

%開始訓練網路

net = train(net, pn, tn);

%訓練完網路後要求網路的權值w和閾值b

%獲取網路權值、閾值

netiw = net.iw;

netlw = net.lw;

netb = net.b;

w1 = net.iw{1,1}; %輸入層到隱層1的權值

b1 = net.b{1} ; %輸入層到隱層1的閾值

w2 = net.lw{2,1}; %隱層1到隱層2的權值

b2 = net.b{2} ; %隱層1到隱層2的閾值

w3 = net.lw{3,2}; %隱層2到輸出層的權值

b3 = net.b{3} ;%隱層2到輸出層的閾值

%在默認的訓練函數下，擬合公式為，y=w3*tansig(w2*tansig(w1*in+b1)+b2)+b3;

%用公式計算測試數據[x1;x2]的輸出，輸入要歸一化，輸出反歸一化

in = mapminmax('apply',[x1;x2],inputStr);

y=w3*tansig(w2*tansig(w1*in+b1)+b2)+b3;

y1=mapminmax('reverse',y,outputStr);

%用bp神經網路驗證計算結果

out = sim(net,in);

out1=mapminmax('reverse',out,outputStr);

(5)訓練神經網路藉助算力擴展閱讀：

注意事項

一、訓練函數

1、traingd

Name：Gradient descent backpropagation （梯度下降反向傳播演算法 ）

Description：triangd is a network training function that updates weight and bias values according to gradient descent.

2、traingda

Name：Gradient descentwith adaptive learning rate backpropagation(自適應學習率的t梯度下降反向傳播演算法)

Description：triangd is a network training function that updates weight and bias values according to gradient descent with adaptive learning rate.it will return a trained net (net) and the trianing record (tr).

3、traingdx (newelm函數默認的訓練函數)

name:Gradient descent with momentum and adaptive learning rate backpropagation(帶動量的梯度下降的自適應學習率的反向傳播演算法)

Description：triangdx is a network training function that updates weight and bias values according to gradient descent momentumand an adaptive learning rate.it will return a trained net (net) and the trianing record (tr).

4、trainlm

Name：Levenberg-Marquardtbackpropagation（L-M反向傳播演算法）

Description：triangd is a network training function that updates weight and bias values according toLevenberg-Marquardt optimization.it will return a trained net (net) and the trianing record (tr).

註：更多的訓練演算法請用matlab的help命令查看。

二、學習函數

1、learngd

Name：Gradient descent weight and bias learning function（梯度下降的權值和閾值學習函數）

Description：learngd is the gradient descentweight and bias learning function, it willreturn theweight change dWand a new learning state.

2、learngdm

Name：Gradient descentwith momentumweight and bias learning function（帶動量的梯度下降的權值和閾值學習函數）

Description：learngd is the gradient descentwith momentumweight and bias learning function, it willreturn the weight change dW and a new learning state.

註：更多的學習函數用matlab的help命令查看。

三、訓練函數與學習函數的區別

函數的輸出是權值和閾值的增量，訓練函數的輸出是訓練好的網路和訓練記錄，在訓練過程中訓練函數不斷調用學習函數修正權值和閾值，通過檢測設定的訓練步數或性能函數計算出的誤差小於設定誤差，來結束訓練。

或者這么說：訓練函數是全局調整權值和閾值，考慮的是整體誤差的最小。學習函數是局部調整權值和閾值，考慮的是單個神經元誤差的最小。

它的基本思想是學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。

正向傳播時，輸入樣本從輸入層傳入,經各隱層逐層處理後,傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符,則轉入誤差的反向傳播階段。

反向傳播時，將輸出以某種形式通過隱層向輸入層逐層反傳,並將誤差分攤給各層的所有單元,從而獲得各層單元的誤差信號,此誤差信號即作為修正各單元權值的依據。

F. 如何藉助hadoop實現神經網路演算法並行計算實現預測

torm用於處理高速、大型數據流的分布式實時計算系統。為Hadoop添加了可靠的實時數據處理功能 Spark採用了內存計算。從多迭代批處理出發，允許將數據載入內存作反復查詢，此外還融合數據倉庫，流處理和圖形計算等多種計算範式。

G. 給人工智慧提供算力的晶元有哪些類型

給人工智慧提供算力的晶元類型有gpu、fpga和ASIC等。

GPU，是一種專門在個人電腦、工作站、游戲機和一些移動設備（如平板電腦、智能手機等）上圖像運算工作的微處理器，與CU類似，只不過GPU是專為執行復雜的數學和幾何計算而設計的，這些計算是圖形渲染所必需的。

FPGA能完成任何數字器件的功能的晶元，甚至是高性能CPU都可以用FPGA來實現。 Intel在2015年以161億美元收購了FPGA龍 Alter頭，其目的之一也是看中FPGA的專用計算能力在未來人工智慧領域的發展。

ASIC是指應特定用戶要求或特定電子系統的需要而設計、製造的集成電路。嚴格意義上來講，ASIC是一種專用晶元，與傳統的通用晶元有一定的差異。是為了某種特定的需求而專門定製的晶元。谷歌最近曝光的專用於人工智慧深度學習計算的TPU其實也是一款ASIC。

(7)訓練神經網路藉助算力擴展閱讀：

晶元又叫集成電路，按照功能不同可分為很多種，有負責電源電壓輸出控制的，有負責音頻視頻處理的，還有負責復雜運算處理的。演算法必須藉助晶元才能夠運行，而由於各個晶元在不同場景的計算能力不同，演算法的處理速度、能耗也就不同在人工智慧市場高速發展的今天，人們都在尋找更能讓深度學習演算法更快速、更低能耗執行的晶元。

H. R語言AMORE包可以分析神經網路自變數重要性嗎代碼是什麼求大神指教

說明
神經網路由一組互聯的結點組成，這些節點分別負責網路的輸入，連接，處理以及輸出。神經網路被廣泛用於諸如分類、聚類、預測等諸多領域。藉助neuralnet訓練得到神經網路模型。

操作
導入數據集，並將數據分為訓練集和測試集

data("iris")
set.seed(2)
ind = sample(2,nrow(iris),replace = TRUE,prob = c(0.7,0.3))
trainset = iris[ind == 1,]
testset = iris[ind == 2,]
1
2
3
4
5
導入與安裝包

library(neuralnet)
1
根據數據集在species列取值不同，為訓練集新增三種數列

I. 關於人工神經網路（ANN）的編程（c）

我不懂什麼落石，既然要用c語言做神經網路其實過程很麻煩，神經網路里有很多矩陣的運算，比如轉置，求逆，所以需要非常熟悉矩陣運算，畢竟不是在matlab里那樣調用函數，我個人感覺直接用c會太麻煩，可以在PC上先用matlab或者藉助一些專業的神經網路庫軟體訓練好參數，也就是樣本離線訓練，訓練好的權值放入嵌入式c語言里就可以了，計算量還是蠻大的，我以前用c寫過一些辨識的，用c寫矩陣運算 高斯消元法是精髓

J. 脈沖神經網路的簡介

脈沖神經網路 （SNN-Spiking Neuron Networks) 經常被譽為第三代人工神經網路。第一代神經網路是感知器，它是一個簡單的神經元模型並且只能處理二進制數據。第二代神經網路包括比較廣泛，包括應用較多的BP神經網路。但是從本質來講，這些神經網路都是基於神經脈沖的頻率進行編碼( rate coded）。
脈沖神經網路，其模擬神經元更加接近實際，除此之外，把時間信息的影響也考慮其中。思路是這樣的，動態神經網路中的神經元不是在每一次迭代傳播中都被激活（而在典型的多層感知機網路中卻是），而是在它的膜電位達到某一個特定值才被激活。當一個神經元被激活，它會產生一個信號傳遞給其他神經元，提高或降低其膜電位。
在脈沖神經網路中，神經元的當前激活水平（被建模成某種微分方程）通常被認為是當前狀態，一個輸入脈沖會使當前這個值升高，持續一段時間，然後逐漸衰退。出現了很多編碼方式把這些輸出脈沖序列解釋為一個實際的數字，這些編碼方式會同時考慮到脈沖頻率和脈沖間隔時間。
藉助於神經科學的研究，人們可以精確的建立基於脈沖產生時間神經網路模型。這種新型的神經網路採用脈沖編碼(spike coding)，通過獲得脈沖發生的精確時間，這種新型的神經網路可以進行獲得更多的信息和更強的計算能力。