观测过程理论的基础思想

思考解决人类在信息处理上的问题,如图像识别和语音识别的问题,我的企图,就是想建立一个最基础的理论,任何信息上的处理,都依靠这个最基础的理论。

这一点,和牛顿建立起一个牛顿力学的基础理论这种想法是类似的。

在牛顿建立牛顿力学之前,人类仍然可以不自觉地根据实践产生的一些经验,来巧妙地搭建起力学上合理的建筑,如赵州桥,也可以从实践中总结一些机械的利用原理,例如杠杆。但是在牛顿力学出现之后,一切力学上的设计和考虑,就都建立在这个基础上了,一切的力学公式,也都建立在牛顿三定律加上万有引力定律的基本公式上演化而来。

而建立观测过程理论,也是基于这样一个想法,就是要给出一个最基础的公式,来描述出信息论的最基础的原理,这样,一切其它的算法,就都依托在这个信息论的基础原理之上了。

本来这个基础的信息论理论,是由山农创建信息论的时候就建立了的,它的最基础的公式,就是贝叶斯公式,及在此基础上研究信息的熵的变化。

但是,这个信息论的基础理论,却在后来没有往统计学方面有很大的发展,反而是在编码学上有大发展,导致现在的任何一本信息论基础的书,都在那里大谈编码。

之所以出现这种现象,是因为山农的基本公式,遇到了数学上的麻烦,主要是对于连续型的随机变量,缺少一个观测的起始点。而在数学的发展史上,统计学要早于信息论许多年,虽然也有了一些基础的公式,也具有一定的效果,因此统计学家们就基本上处于固步自封的状态,就总是那老一套,如点估计,区间估计,假设检验,多元判决那一套,在这些数学模型中,信息论的基本公式基本上不存在。

而我在构造观测过程理论的时候,沿用的是山农的基本想法,但是,主要的处理,却在连续型的随机变量方面。主要还是信息的接收地,我称之为观测主体,在信息传输过程中,状态的变化。这个变化如下图所示,是我的基本的想法。就是说,在观测主体有任何观测之前,就相当于一个桶是空的,就是下图的(a)表示的情况,而随着信息的不断被观测主体所接收,信息开始越来越多,相当于下图的(b)表示的情况,而接收信息到一定程度,有可能完全接收到了信息,就相当于下图中(c)表示的情况。

 

 

 

 

 


在观测过程理论中,我把信息的接收源,叫观测主体,而且指出,观测主体就是一个计算机。为什么这么说?观测主体不是人吗?当然有可能不是人,而是其它的某种动物,也有可能是机器人,因此,最抽象的说法,就是观测主体是一个计算机。那么,观测主体想要知道的事情,通常都可以编码成数字记录在计算机中,因此,这个想知道的事情,就叫观测客体,是一个观测主体想要知道一些信息的量。

因此在上图中,(a)表示观测主体对观测客体一无所知的状态,这个时候是观测的起点。(b)表示观测主体已经知道了一些观测客体的知识,这个时候是观测的中间。而(c)则表示这样一种状态,就是观测主体完全知道了所想要知道的内容,而且已经达到无限精确的地步。

那么,怎样来描述已经接收到的信息的多少呢?怎样度量呢?当然是用熵来度量。而熵却是反过来描述上图中的情况的,就是当空桶的时候,熵处于最大状态,而随着信息的不断被接收,熵不断地减少,直到最后获得最精确的信息时,熵处于最小状态。

《观测过程理论》的整本书都是这样考虑问题的,直到第五章推导出图像处理和语音处理的最关键的基础算法,卷积相乘算法,都是这样推导公式的。