1.基本原理
神经网络里最简单的模型，就是感知器。感知器可以实现N维空间的线性划分。如二维空间，下图就是用一条直线将（0 0）分为一类，其余四点为一类。实现了与门。
如果要将以上四点划分为（0 1）（1 0）为一类，（1 1）（0 0）为一类，显然是无法用直线将其分开。如果是三维空间，就是平面划分。如果N维，即超平面。
下图为一个神经元模型，输入为pX1的向量，输出为a。感知器工作时，首要要学习，也就是对w和b进行调整。首先要有n个P向量，和一个你期望的该p向量得到的t值。w和b是不为0的随机值，训练的目的就是调整w和b的值，使e=t-a的值不断接近0。当所有样本输出的值都等于t时，学习结束。
这是，给定相关值，你就可以得到你期望的结果。其中wp+b累加输出的值n，要经过一个函数，这个函数根据需要选取，并不一定要取阶跃函数。
下图可以看出在二维空间了w和b分别是如何影响划分的直线的。
2.单层感知器
以下图为感知器基本模型，摘自matlab的帮助文档。
上图有以下几个要点：
2.1 R为输入个数，S为单层神经元的个数。感知器里可以有s个神经元，但神经元之间无信息传递，之间互不影响。
2.2 输出是sX1的a向量，实现了对RX1的p向量的s次在R维空间的线性二划分。
综合以上分析，可以看出神经网络设计的重点：
2.1 如何将神经元相互联系起来，即网络的设计；
2.2 选择什么样的方法调整每个神经元的w和b值，该算法必须收敛，即在有限步骤内，让误差e趋近0；
2.3 每个神经元选择什么样的函数得到a输出；
3. 算法实现（matlab）
其中P为RXN输入矩阵，T为SXN的目标矩阵;
R为输入个数，N为训练的样本数;
S为神经元个数;
repeat为最大迭代次数；W b e为经过训练得到的W b e;如果线性可分的话，并在repeat步类收敛，e就是0。
1: function [W b e] = perceptron(P, T, repeat)
2: switch nargin
3: case 0
4: case 1
5: error(\'Must enter P and T\');
6: case 2
7: repeat = 10000;
8: end
9: [r n]=size(P);
10: s =size(T,1);
11: W=ones(s,r);
12: b=ones(s,1);
13: e=ones(s,n);
14: for i=1:repeat
15: index=mod(i,n);
16: if(index == 0)
17: index = 4;
18: end
19: p=P(:,index);
20: t=T(:,index);
21: a= W*p + b;
22: for j=1:s
23: if a(j) >= 0
24: a(j) = 1;
25: else
26: a(j) = 0;
27: end
28: end
29: %e:s by n
30: e(:,index)=(t-a)*0.5;
31: W=W+e(:,index)*p\';
32: b=b+e(:,index);
33: if(e == 0)
34: break;
35: end
36: end
37: end
这里需要说明一下w和b是如何调整的，即31行。新的权重值为旧的加上误差值乘以输入，思想很简单。即用误差调整w和b，显然误差为0，就无调整。不为0，就朝着使误差减小的方向调整，即负反馈的思想。乘以输入，是对调整的修正，使调整更加迅速。可以设想，如果一个输入非常小，一个非常大，那输入小的增量也要小，大的增量也要大。如果都大，那就容易产生震荡。如果小，收敛就很慢，需要学习的时间就会变得很长。
