观测过程理论在遗忘机制上的突破

还是来说前面讨论过的一张图,就是用一个桶中的水来代表观测主体对于观测客体的认识,将图复制在这儿:

 

 

 


空的桶代表观测主体尚未获得观测客体的任何信息,因此处于广义均匀分布的状态。而半满的桶代表已经获得了一些信息,但是尚不精确的状态,满的桶代表获得了完全精确的足够的信息,因此是单点分布。

而观测主体中已经存在的信息,是用知识分布(每次观测前的先验分布及观测后的后验分布)来表示的。知识分布是一个函数。一开始我们假设了观测主体这个计算机具有无限的存储和计算能力,因此是可以保存一个函数的。

但是,实际上,所有的观测主体的存储量,都是有限的。因此,简单的函数,依靠简单的程序和少量的参数,是可以被保存的。而当接收的信息有一些复杂,导致后验的分布也很复杂的时候,观测主体的存在代价就很大了,这个时候,有可能会遗忘掉一些信息,这个过程可以用下图表示:

 

(d)获得完全的信息

 
 

 

 

 


其中(a)代表了一开始的状态,就是对观测客体一无所知,完全没有信息的状态,而(b)代表了已经通过观测获得一些信息的情况,而(c)则和(b)相比,由于计算机存储量等原因,或者通信的原因,损失或者遗忘掉一部分信息。

遗忘信息看上去并不是好事,但是,有可能简化了后验分布函数,遗忘之后的后验分布,可能只需要有几个参数就可以保存在计算机的存储器中,有可能是以退为进的一种好办法,也为进一步的观测打下基础。

这种遗忘机制是在深圳大学学报(理工版)200017(4)首次在全人类提出,是信息论发展历史上的大事件。

例如,如果知识分布是一个方差和均值都存在的一个具有复杂形式的函数,则将其遗忘为同样方差和均值的正态分布,就只需要有两个值,就将函数全部记录下来了,这两个值可以打印在商品的包装盒上。甚至,将方差遗忘为国家标准,则包装盒上只需要打印均值即可。在这里可以看出,所谓抽象的存储器,可以是一个包装盒上的印刷版面。

这里也指出了,虽然观测过程理论强调的是获得函数而非什么估值,因为任何估值都有人为的成份且损失信息,也无法经过继续观测来积累信息而当人们担心计算机存储函数代价过大的时候,就提出了遗忘机制,指出即使一个包装盒,也能够存储函数。

在那篇论文中指出了三种常用的遗忘,就是遗忘为正态分布,遗忘为均匀分布,遗忘为准单点分布。