常规神经网络算力

A. BP神经网络的原理的BP什么意思

人工神经网络有很多模型，但是日前应用最广、基本思想最直观、最容易被理解的是多层前馈神经网络及误差逆传播学习算法（Error Back-Prooaeation），简称为BP网络。

在1986年以Rumelhart和McCelland为首的科学家出版的《Parallel Distributed Processing》一书中，完整地提出了误差逆传播学习算法，并被广泛接受。多层感知网络是一种具有三层或三层以上的阶层型神经网络。典型的多层感知网络是三层、前馈的阶层网络（图4.1），即：输入层、隐含层（也称中间层）、输出层，具体如下：

图4.1 三层BP网络结构

（1）输入层

输入层是网络与外部交互的接口。一般输入层只是输入矢量的存储层，它并不对输入矢量作任何加工和处理。输入层的神经元数目可以根据需要求解的问题和数据表示的方式来确定。一般而言，如果输入矢量为图像，则输入层的神经元数目可以为图像的像素数，也可以是经过处理后的图像特征数。

（2）隐含层

1989年，Robert Hecht Nielsno证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的BP网络来逼近，因而一个三层的BP网络可以完成任意的n维到m维的映射。增加隐含层数虽然可以更进一步的降低误差、提高精度，但是也使网络复杂化，从而增加了网络权值的训练时间。误差精度的提高也可以通过增加隐含层中的神经元数目来实现，其训练效果也比增加隐含层数更容易观察和调整，所以一般情况应优先考虑增加隐含层的神经元个数，再根据具体情况选择合适的隐含层数。

（3）输出层

输出层输出网络训练的结果矢量，输出矢量的维数应根据具体的应用要求来设计，在设计时，应尽可能减少系统的规模，使系统的复杂性减少。如果网络用作识别器，则识别的类别神经元接近1，而其它神经元输出接近0。

以上三层网络的相邻层之间的各神经元实现全连接，即下一层的每一个神经元与上一层的每个神经元都实现全连接，而且每层各神经元之间无连接，连接强度构成网络的权值矩阵W。

BP网络是以一种有教师示教的方式进行学习的。首先由教师对每一种输入模式设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播（称为“模式顺传播”）。实际输出与期望输出的差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正连接权值，此过程称为“误差逆传播”（陈正昌，2005）。所以误差逆传播神经网络也简称BP（Back Propagation）网。随着“模式顺传播”和“误差逆传播”过程的交替反复进行。网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下各层间的连接权值后。典型三层BP神经网络学习及程序运行过程如下（标志渊，2006）：

（1）首先，对各符号的形式及意义进行说明：

网络输入向量P_k=（a₁，a₂，...，a_n）；

网络目标向量T_k=（y₁，y₂，...，y_n）；

中间层单元输入向量S_k=（s₁，s₂，...，s_p），输出向量B_k=（b₁，b₂，...，b_p）；

输出层单元输入向量L_k=（l₁，l₂，...，l_q），输出向量C_k=（c₁，c₂，...，c_q）；

输入层至中间层的连接权w_ij，i=1，2，...，n，j=1，2，...p；

中间层至输出层的连接权v_jt，j=1，2，...，p，t=1，2，...，p；

中间层各单元的输出阈值θ_j，j=1，2，...，p；

输出层各单元的输出阈值γ_j，j=1，2，...，p；

参数k=1，2，...，m。

（2）初始化。给每个连接权值w_ij、v_jt、阈值θ_j与γ_j赋予区间（-1，1）内的随机值。

（3）随机选取一组输入和目标样本

提供给网络。

（4）用输入样本

、连接权w_ij和阈值θ_j计算中间层各单元的输入s_j，然后用s_j通过传递函数计算中间层各单元的输出b_j。

基坑降水工程的环境效应与评价方法

b_j=f（s_j） j=1，2，...，p （4.5）

（5）利用中间层的输出b_j、连接权v_jt和阈值γ_t计算输出层各单元的输出L_t，然后通过传递函数计算输出层各单元的响应C_t。

基坑降水工程的环境效应与评价方法

C_t=f（L_t） t=1，2，...，q （4.7）

（6）利用网络目标向量

，网络的实际输出C_t，计算输出层的各单元一般化误差

。

基坑降水工程的环境效应与评价方法

（7）利用连接权v_jt、输出层的一般化误差d_t和中间层的输出b_j计算中间层各单元的一般化误差

。

基坑降水工程的环境效应与评价方法

（8）利用输出层各单元的一般化误差

与中间层各单元的输出b_j来修正连接权v_jt和阈值γ_t。

基坑降水工程的环境效应与评价方法

（9）利用中间层各单元的一般化误差

，输入层各单元的输入P_k=（a₁，a₂，...，a_n）来修正连接权w_ij和阈值θ_j。

基坑降水工程的环境效应与评价方法

（10）随机选取下一个学习样本向量提供给网络，返回到步骤（3），直到m个训练样本训练完毕。

（11）重新从m个学习样本中随机选取一组输入和目标样本，返回步骤（3），直到网路全局误差E小于预先设定的一个极小值，即网络收敛。如果学习次数大于预先设定的值，网络就无法收敛。

（12）学习结束。

可以看出，在以上学习步骤中，（8）、（9）步为网络误差的“逆传播过程”，（10）、（11）步则用于完成训练和收敛过程。

通常，经过训练的网络还应该进行性能测试。测试的方法就是选择测试样本向量，将其提供给网络，检验网络对其分类的正确性。测试样本向量中应该包含今后网络应用过程中可能遇到的主要典型模式（宋大奇，2006）。这些样本可以直接测取得到，也可以通过仿真得到，在样本数据较少或者较难得到时，也可以通过对学习样本加上适当的噪声或按照一定规则插值得到。为了更好地验证网络的泛化能力，一个良好的测试样本集中不应该包含和学习样本完全相同的模式（董军，2007）。

B. 神经网络使用范围

个人感觉在系统或者说被控对象的数学模型是不明确的，或是非线性的、或者是强耦合等用常规方法难以控制的情况下，用一下神经网络还可以。

C. 神经网络权值怎么确定

神经网络的权值是通过对网络的训练得到的。如果使用MATLAB的话不要自己设定，newff之后会自动赋值。也可以手动：net.IW{}= ; net.bias{}=。一般来说输入归一化，那么w和b取0-1的随机数就行。神经网络的权值确定的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。

参数初始化要满足两个必要条件：

1、各个激活层不会出现饱和现象，比如对于sigmoid激活函数，初始化值不能太大或太小，导致陷入其饱和区。

2、各个激活值不为0，如果激活层输出为零，也就是下一层卷积层的输入为零，所以这个卷积层对权值求偏导为零，从而导致梯度为0。

(3)常规神经网络算力扩展阅读：

神经网络和权值的关系。

在训练智能体执行任务时，会选择一个典型的神经网络框架，并相信它有潜力为这个任务编码特定的策略。注意这里只是有潜力，还要学习权重参数，才能将这种潜力变化为能力。

受到自然界早成行为及先天能力的启发，在这项工作中，研究者构建了一个能自然执行给定任务的神经网络。也就是说，找到一个先天的神经网络架构，然后只需要随机初始化的权值就能执行任务。研究者表示，这种不用学习参数的神经网络架构在强化学习与监督学习都有很好的表现。

其实如果想象神经网络架构提供的就是一个圈，那么常规学习权值就是找到一个最优点（或最优参数解）。但是对于不用学习权重的神经网络，它就相当于引入了一个非常强的归纳偏置，以至于，整个架构偏置到能直接解决某个问题。

但是对于不用学习权重的神经网络，它相当于不停地特化架构，或者说降低模型方差。这样，当架构越来越小而只包含最优解时，随机化的权值也就能解决实际问题了。如研究者那样从小架构到大架构搜索也是可行的，只要架构能正好将最优解包围住就行了。

D. 如何提高神经网络的外推能力

人工神经网络以其智能性见长，那么神经网络能真的学到一个映射的本质吗？也就是说，对一个映射给出一定的必要的训练样本训练后，网络能否对样本以外的样本给出较为准确的预测。泛化能力也就是神经网络用于对未知数据预测的能力。神经网络对训练样本区间范围内的样本有较好的泛化能力，而对于训练样本确定的范围外的样本不能认为有泛化能力。常规的几种增强泛化能力的方法，罗列如下：

1、较多的输入样本可以提高泛化能力；
但不是太多，过多的样本导致过度拟合，泛化能力不佳；样本包括至少一次的转折点数据。

2、隐含层神经元数量的选择，不影响性能的前提下，尽量选择小一点的神经元数量。隐含层节点太多，造成泛化能力下降，造火箭也只要几十个到几百个神经元，拟合几百几千个数据何必要那么多神经元？

3、误差小，则泛化能力好；误差太小，则会过度拟合，泛化能力反而不佳。

4、学习率的选择，特别是权值学习率，对网络性能有很大影响，太小则收敛速度很慢，且容易陷入局部极小化；太大则，收敛速度快，但易出现摆动，误差难以缩小；一般权值学习率比要求误差稍微稍大一点点；另外可以使用变动的学习率，在误差大的时候增大学习率，等误差小了再减小学习率，这样可以收敛更快，学习效果更好，不易陷入局部极小化。

5、训练时可以采用随时终止法，即是误差达到要求即终止训练，以免过度拟合；可以调整局部权值，使局部未收敛的加快收敛。

E. 数据挖掘中的神经网络和模糊逻辑的概念是啥

【神经网络】
人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
最常用的就是BP神经网络了，你做数据挖掘SVM也很常用。

【模糊】
模糊逻辑指模仿人脑的不确定性概念判断、推理思维方式，对于模型未知或不能确定的描述系统，以及强非线性、大滞后的控制对象，应用模糊集合和模糊规则进行推理，表达过渡性界限或定性知识经验，模拟人脑方式，实行模糊综合判断，推理解决常规方法难于对付的规则型模糊信息问题。模糊逻辑善于表达界限不清晰的定性知识与经验，它借助于隶属度函数概念，区分模糊集合，处理模糊关系，模拟人脑实施规则型推理，解决因“排中律”的逻辑破缺产生的种种不确定问题 。

粗糙集(Roughset,也称粗集)理论是波兰学者2.Pawlak于1982年提出的,它为处理不确切的!不完整的信息提供了一种新的数学工具。粗糙集理论建立在分类机制的基础之上,将分类理解为特定空间上的等价关系,而等价关系构成了对该空间的划分。该理论将知识理解为对数据的划分,每一划分的集合称为概念。粗糙集理论的主要思想是在保持信息系统分类能力不变的前提下,利用己知的知识库,将不精确或不确定的知识用知识库中己有的知识来近似刻画,通过知识的补充!约简,导出问题的决策或分类规则。

粗糙集理论与其它处理不确定和不精确问题理论最显著的区别是粗糙集理论无须提供问题所需处理的数据集合之外的任何先验信息,对问题的不确定性的描述或处理比较客观,又由于这个理论未包含处理不精确或不确定原始数据的机制,所以该理论与概率论!模糊数学!证据理论等其它处理不精确或不确定问题的理论有很强的互补性。粗糙集理论不仅为信息科学和认知科学提供了新的研究方法,而且为智能信息处理提供了有效的处理技术。目前粗糙集理论己经是人工智能领域方面的一个研究热点,成为数据挖掘应用的主要技术之一,受到各国学者的高度重视。

F. 神经网络如果学习样本很多，会不会出现很卡！学习慢！个例计算慢！情况！

4w到6w条数据是在合理范围内的，一般1000个epoch。
再大的话就对算力要求高了，样本很多就算最后收敛了，好几年过去了，除非是实验新的算法，不然没有意义了。

G. 什么是BP神经网络

误差反向传播（Error Back Propagation, BP）算法
1、BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。
1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）
2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层
其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。
注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。
2、BP算法实现步骤（软件）：
1）初始化
2）输入训练样本对，计算各层输出
3）计算网络输出误差
4）计算各层误差信号
5）调整各层权值
6）检查网络总误差是否达到精度要求
满足，则训练结束；不满足，则返回步骤2）
3、多层感知器（基于BP算法）的主要能力：
1）非线性映射：足够多样本－>学习训练
能学习和存储大量输入－输出模式映射关系。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。
2）泛化：输入新样本（训练时未有）－>完成正确的输入、输出映射
3）容错：个别样本误差不能左右对权矩阵的调整
4、标准BP算法的缺陷：
1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；
2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；
3）隐节点的选取缺乏理论支持；
4）训练时学习新样本有遗忘旧样本趋势。
注3：改进算法—增加动量项、自适应调整学习速率（这个似乎不错)及引入陡度因子

H. 如何给出常规PID与模糊PIDBP神经网络PID遗传算法PID程序的MATLAB仿真程序

我的毕设只用把PID和模糊PID相比较
常规PID，用Matlab里的Simulink模块仿真，建立你要做的动力学模型的传函或者状态空间。PID参数调节可用临界比度法。
模糊PID就麻烦了，打开Matlab中FIS模块，一般都用二阶模糊？输入E,EC的隶属函数，一般为高斯，和输出模糊Kp,Ki,Kd，一般为三角。还要整定模糊规则，再加载到Simulink里。调节模糊因子Gu，Ge，Gec，设置模糊PID的参数。
总之，你这个问题在白度知道里很难说清楚。

I. BP算法、BP神经网络、遗传算法、神经网络这四者之间的关系

这四个都属于人工智能算法的范畴。其中BP算法、BP神经网络和神经网络
属于神经网络这个大类。遗传算法为进化算法这个大类。
神经网络模拟人类大脑神经计算过程，可以实现高度非线性的预测和计算，主要用于非线性拟合，识别，特点是需要“训练”，给一些输入，告诉他正确的输出。若干次后，再给新的输入，神经网络就能正确的预测对于的输出。神经网络广泛的运用在模式识别，故障诊断中。BP算法和BP神经网络是神经网络的改进版，修正了一些神经网络的缺点。
遗传算法属于进化算法，模拟大自然生物进化的过程：优胜略汰。个体不断进化，只有高质量的个体（目标函数最小（大））才能进入下一代的繁殖。如此往复，最终找到全局最优值。遗传算法能够很好的解决常规优化算法无法解决的高度非线性优化问题，广泛应用在各行各业中。差分进化，蚁群算法，粒子群算法等都属于进化算法，只是模拟的生物群体对象不一样而已。