第441章香农的信息熵

作者:蔡泽禹 加入书签推荐本书

心里想的神秘数字对你来说也是一个随机变量,它的概率分布是定义在s={1,2,...,m}上的函数。如果我选数字是“完全随机的”,那么,这个函数就是==...==1/m。这种分布通常被称为均匀分布。当然,取决于俺按什么偏好选数字,这个函数也可以取其他形式:如果俺就是喜欢2,也许俺会以更高的概率取2。

假设有个随机变量 x,它的取值范围 s={1, 2,…, m},它的概率分布函数是某个定义在s上的函数 。那么这个随机变量的均值(更文化点的说法叫数学期望值)就是这样一个东东:

1*+2*+3*+…+m*.

在上面老千掷硬币的例子中,随机变量 x 的均值就是 1*(1/3)+0*(2/3)=1/3。简单吧。

很多同学可能都有直觉的认识,能感觉到如果把产生这个随机变量 x 的随机实验做很多次,把得到的数字取平均,那么这个平均数差不多就是 x 的均值。这个概念,叫做大数定理,跟俺要讲的熵有着本质的联系,俺这里不敢唐突,稍后会带同学们仔细品味。

很多时候俺们关心的不止一个随机变量,而是很多随机变量。比如,俺们同时关心两个随机变量 x 和 y,x 的取值范围是{1, 2}, y 的取值范围是{1, 2, 3}。那么俺们可以把这两个随机变量看作一个随机变量对,写作(x, y),而把它的取值范围理解为所有可能的(x,y)取值的组合,也就是{(1, 1),(1, 2),(1, 3),(2, 1),(2, 2),(2, 3)}。把这个集合叫作s,那么这对随机变量就是通过一个定义在s上的概率分布函数 来描述的。当这个随机变量对的分布满足 =的时候,俺们就称这两个随机变量是相互独立的。

= =(2/3)(2/3)=4/9

= =(2/3)(1/3)=2/9

= =(1/3)(2/3)=2/9

= =(1/3)(1/3)=1/9

独立随机变量的概念当然可以推广到更多的随机变量上。如果有 n 个随机变量,它们的取值无非就对应了一个长度为 n 的序列。所有这样序列的集合就是这组随机变量的取值范围。如果这些随机变量是相互独立的,那么每个序列出现的概率无非就是把这个序列中每个数出现的概率乘在一起。比如,上面的老千连续掷了10次硬币,那么出现1101011110的概率就是:

(1/3)(1/3)(2/3)(1/3)(2/3)(1/3)(1/3)(1/3)(1/3)(2/3)=(1/3)^7 *(2/3)^3.

哎,累死俺了,这个也要讲,学霸们可能要打瞌睡了。不好意思,俺怕讲得太快,有的同学要去看韩剧了。哎,致敬也是体力活啊!

大数定理的英文

上一章 返回目录 下一章