本文目录一览：
- 1、形象的解释神经网络激活函数的作用是什么?
- 2、一个三层的BP神经网络可以以任意精度逼近一个任意给定的连续函数...
- 3、为什么说人工神经网络是一个非线性映射系统
- 4、人工神经网络具有自学习、自组织、自适应以及很强的非线性函数逼近能力...
- 5、BP神经网络可以用于拟合函数吗
- 6、为什么神经网络能以任意精度拟合任意复杂度的函数?
形象的解释神经网络激活函数的作用是什么?
引入非线性：神经网络中的激活函数可以将输入映射到非线性空间，从而实现更复杂的函数逼近，提高神经网络的表达能力。
这里首先引出结论： 激活函数是来向神经网络中引入非线性因素的，通过激活函数，神经网络就可以拟合各种曲线。 这里举一个例子来说明：***如我的任务是：将下面的这幅图中的三角形和圆形分开，也就是一个典型的二分类问题。
激活函数是为了解决对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。单层感知机只能表示线性空间，不能线性划分。激活函数是连接感知机和神经网络的桥梁。
不同的激活函数是用来实现不同的信息处理能力，神经元的变换函数反映了神经元输出与其激活状态之间的关系。
增加网络的非线性能力，从而拟合更多的非线性过程。ReLU在一定程度上能够防止梯度消失，但防止梯度消失不是用它的主要原因，主要原因是求导数简单。
极端的说，一个多层神经网络也可以作为一个非线性函数，类似于Network In Network[2]中把它当做卷积操作的做法。但激活函数在神经网络前向的计算次数与神经元的个数成正比，因此简单的非线性函数自然更适合用作激活函数。
一个三层的BP神经网络可以以任意精度逼近一个任意给定的连续函数...
BP 神经网络 BP 网络是***用Widrow-Hoff 学习算法和非线性可微转移函数的多层网络。一个典型的BP 网络***用的是梯度下降算法，也就是Widrow-Hoff 算法所规定的。backpropagation 就是指的为非线性多层网络计算梯度的方法。
结构：BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，而卷积神经网络包含卷积计算且具有深度结构的前馈神经网络。
任意连续函数都可由一个两层的网络以任意精度逼近。这里的两层网络是指隐藏层使用sigmoid单元、输出层使用非阈值的线性单元；3）任意函数都可由一个三层的网络以任意精度逼近。
Universal ***roximation theorem （Hornik et al.， 1989；Cybenko， 1989） 定理表明：前馈神经网络，只需具备单层隐含层和有限个神经单元，就能以任意精度拟合任意复杂度的函数。这是个已经被证明的定理。
前馈神经网络：结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。BP神经网络：具有很强的非线性映射能力和柔性的网络结构。
特点 前馈神经网络结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数。而且可以精确实现任意有限训练样本集。从系统的观点看，前馈网络是一种静态非线性映射。
为什么说人工神经网络是一个非线性映射系统
1、事实上，神经网络之所以被称为非线性系统，是因为它们不像传统的线性回归或逻辑门等函数一样，只依赖于输入变量之间的线性关系。相反，它们的输出结果取决于输入变量之间的关系以及它们自身的内部结构。
2、人工神经网络是一种模拟人脑神经元连接方式的计算模型，它通过模拟神经元之间的连接和信号传递过程，实现了一种高度非线性的映射关系。
3、神经网络的本质是非线性映射，那么深度学习中讨论的线性和非线性是两个变量之间的关系是一次函数关系的图像是直线，这样的两个变量之间的关系就是“线性关系”；如果不是一次函数关系的图像不是直线，就是“非线性关系”。
人工神经网络具有自学习、自组织、自适应以及很强的非线性函数逼近能力...
人工神经网络（Artificial Neural Network，简称ANN ），以数学模型模拟神经元活动，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。
人工神经网络（ArtificialNeuralNetwork）：用数学模型模拟神经元活动的人工神经网络（ANN），是一种基于模拟大脑神经网络结构和功能的信息处理系统。
非常定性：人工神经网络具有自适应、自组织和自学习的能力。神经网络处理的信息不仅会发生变化，而且非线性动态系统本身也在发生变化。迭代过程通常用来描述动态系统的演化。
非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常***用迭代过程描写动力系统的演化过程。
联想记忆是非局限性的典型例子。非常定性人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常***用迭代过程描写动力系统的演化过程。
神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。
BP神经网络可以用于拟合函数吗
隐层数一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。
可以看到，里面使用了feedforwardnet（）函数，这是建立BP神经网络的新函数，用以替代newff（）函数。
Warning： PREMNMX is an obsolete function.Warning： NEWFF used in an obsolete way.PREMNMX和NEWFF在高版本中，这两个函数已经被取代或者调用格式发生了变化。另外，相同的设置，每次运行的结果也会不同。
相似归类。例如认定A是个好人，A其具有那些特点，B如果具有这些特点，B就是好人。
为什么神经网络能以任意精度拟合任意复杂度的函数?
Universal ***roximation theorem （Hornik et al.， 1989；Cybenko， 1989） 定理表明：前馈神经网络，只需具备单层隐含层和有限个神经单元，就能以任意精度拟合任意复杂度的函数。这是个已经被证明的定理。
Universal ***roximation theorem（Hornik et al.， 1989；Cybenko， 1989）定理表明：前馈神经网络，只需具备单层隐含层和有限个神经单元，就能以任意精度拟合任意复杂度的函数。这是个已经被证明的定理。
这是正确的。根据universal ***roximate theorem， 前馈神经网络，只需具备单层隐含层和有限个神经单元，就能以任意精度拟合任意复杂度的函数。单隐含层和输入输出层，一共也就是最典型的三层bp网络。
隐层数一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。
设计合理地神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任何复杂的非线性映射。神经网络的这一优点能使其可以作为多维非线性函数的通用数学模型。
