观测过程理论在概率论上的突破

山农在提出信息论观点之后，为什么没有将这个思想应用到一般的统计学上呢？原因是数学上的困难，是概率论基础理论上的困难。而观测过程理论想要发挥山农的思想，就必须对概率论的基础理论动手术。观测过程理论在概率论上的新观点有如下几点。

首先，主张一切随机变量都用概率密度函数来描述。而现在的概率论是统一用分布函数来描述随机变量的分布。《观测过程理论》一书指出，概率密度函数可以用来描述一切类型的随机变量的分布，包括离散的，连续的，和混合的随机变量的分布。但是必须采用一个技术，就是在电子学方面早已经被广泛应用的单位脉冲函数。

为什么要用概率密度函数而不用分布函数？因为分布函数不太有利于贝叶斯公式的描述，也不够直观。还是将观测过程理论对于信息目的地，观测主体的信息描述，比做下图：

就是说，在一切观测开始之前，观测主体是对观测客体一无所知的，也就相当于上图的(a)空的桶。在观测的过程中，随着信息的不断接收，相当于桶里的水不断增加，相当于上图的(b)半满的桶，最后，获得完全精确的知识，相当于上面的(c)满的桶。

而观测过程理论的观点认为，空的桶，对应于广义均匀分布。广义均匀分布的想法首次出现在《深圳大学学报》的1998年版。也就是说，观测主体在任何观测之前，对于观测客体一无所知，也就是说，观测客体如果是一个实数，则它取一切实数的机会都是一样的。

而满的桶，对于于单点分布，也就是说取某一个实数的概率为1，或者说观测主体已经获得有关观测客体的完全精确的知识，完全清楚观测客体的精确取值。而这个满桶的状态，却是一个离散型随机变量的分布。因此，当然就必须用一种数学上的描述办法来统一描述空的桶和满的桶。

当然，分布函数是可以描述满的桶的，但是，它却不方便描述广义均匀分布，不方便描述空的桶的状态。因此，这就构在了在概率论方面的第二。

第二，首次提出广义的均匀分布，这种分布如果用概率密度函数来描述，又必须有一些数学的有关实数方面的突破，就是必须假设整个实数轴有一个长度。而传统的数学认为实数轴的长度是无穷大，而观测过程理论则认为，必须是一个确定的，静态的数，因此定义实数轴的长度为一个特殊的超实数，用符号d来表示，这个数当然肯定不是通常的实数，因此才称为超实数。而它的倒数， 1/d, 用一个符号表示为e, 这个数当然小于任何正实数，因此是一个无穷小数，但决不是零，因此它是可以放在分母上的。因此，广义均匀分布当然、就是概率密度函数在整个实数轴上是一个常数，e, 表示取每一个标准实数的可能性都一样。

第三，首次提出准概率密度的概念。就是说，任何一个概率密度函数，都有一个性质，就是在整个实数轴上的积分，是1，既然如此，则任何一个概率密度函数，乘上任何一个正实数，得到的函数就称为准概率密度函数。而一旦知道一个随机变量的准概率密度函数，当然就轻而易举地能够获得这个随机变量的概率密度函数。因此用准概率密度函数来描述随机变量的分布也是一个很好的办法。

尤其是，在用准概率密度函数的描述下，贝叶斯公式有了更为简洁的形式，被称为广义贝叶斯公式。还是来看上图，当一个桶是半满的时候，如果继续加进一些水，则桶里的总水量，就是原有的水加上新增加的水。而广义贝叶斯公式，原有的水被称之为先验分布，新加上的水被称为观测函数，广义贝叶斯公式就是两个函数简单相乘的形式。其中一个函数代表原有的水，另一个函数代表新加入的水。

第四，首次提出一般的广义分布的概念。原有的概率论对随机变量的概率密度函数，有一个要求，就是它在整个实数轴上的广义积分存在。但是，一旦提出广义均匀分布的概念之后，可以认为任何一个取非负函数值的非负函数，都构成一个随机变量的分布。这就大大地扩展了分布的概念。