第441章香农的信息熵

作者:蔡泽禹 加入书签推荐本书

已经确定这个“二十个问题”游戏的准确规则,即:你要设计一种问问题的策略,当用这个策略跟俺玩很多次(更准确的说,无数次)这个游戏之后,平均每次用的问题个数要越少越好!换句话说,我们希望寻找一个最好的问问题策略,同时确定最少需要多少个问题(平均意义上)。

其实在一些特殊的情况下,确定最优的问问题策略和最少需要的问题个数并不困难。

考虑这样一个特例:俺心里的神秘数字 x 的取值范围是 s={1, 2,…, 8},而且 x 的概率分布函数是个均匀分布。那么最优的问问题方法就是所谓的“二分法”:每问一个问题要把这个神秘数字的可能范围缩减一半。比如这样的问法:

问题1:把集合{1, 2,…, 8}分成左右两份,左边的是{1, 2, 3, 4},右边的是{5, 6, 7, 8}。然后问:你想的数是不是在左边啊?

问题2:根据俺的答案,你可以确定这个神秘数字只剩下四种选择。你再类似地把四种选择分成左右两份,然后问:你想的数是不是在左边啊?

问题3:根据俺的答案,你现在可以确定这个神秘数字只有两种选择,再把它们一个放左边,一个放右边。你再问:你想的数是不是在左边啊?

如此问完三个问题,你一定知道了俺的神秘数字。相信你的直觉也应该告诉你,这就是最优问法!那么在这个例子里,所需的最少问题个数就是 3。从咱们用每个问题把猜测空间一切两半的问法,同学们应该也已经认识到,这里得出的最少问题数 3 正是因为 8=2^3,或者说,2= log 8.(本文中所有的对数操作均以2为底数)。

在这个例子中有个现象也值得注意一下:不管俺心里想的是个什么数字,使用二分法所需的问题数字都是3,一个完全确定,毫无随机性的数字。

这个特例显然可以推广:如果神秘数字 x 的概率分布函数是在 2^k 种可能性上的均匀分布,那么“二十个问题”游戏的最优策略可以通过二分法实现;在这种策略下,不论神秘数字是什么,问出它所需要的问题数都是 k,因此所需要的平均问题数也是 k。同学们请用红笔圈下这个结论(小心别把手机触摸屏划坏了),咱么晚点要用到这个结论。

当然,这个二分法只适合于这样的特例,当神秘数字的可能性总数不是2的多少次方的时候,或者当神秘数字的分布不均匀的时候,这种问法显然不是最优的。这个问题任意形式的最优解法曾让一个叫大卫·霍夫曼(david huffman)的年轻学生在1951年一夜成名。不过,那已经是在香农提出信息论三年之后了。

在香农独特的视角里,这个问题并不至关重要。在俺的想象中,当香农看到满屋子小朋友们叽叽喳喳地玩这个游戏的时候,他笑了笑,说:你们慢慢玩吧。然后他点起一支烟,凝视着窗外的远方。在落霞与

上一章 返回目录 下一章