一张高清电视分辨率的照片，如果没有经过压缩，要占用600万个字节的计算机内存(6mb，1个字节是8个比特)。
可是如果这张照片照的是一面单色的墙的话，它所含的信息量就很小，只要用三个字节就可以描写整张照片(3个字节描写红绿蓝三种颜色的深浅)。
所以单色墙的照片的文件大小，可以从600万个字节压缩到3个字节，大大减少了占用计算机内存的空间和传输照片所需的时间。
但一般一张照片的信息量要比三个字节大很多，那么如何量化照片所含的信息量？照片的压缩最多能有多少倍？
香农是量化信息的第一人。
有趣的是，他量化信息的公式早就出现在了玻尔兹曼的墓碑上。
当然玻尔兹曼得到这个公式，不是为了研究信息，而是为了研究热力学中的混乱度(所以玻尔兹曼的公式和香农的公式差了一个负号)。
热力学的一个中心概念——温度，就是混乱度随着能量的增加而增加的速率。我们的世界真是处处相通。
南加州大学（university of southern california)电子工程系教授巴特·磕死磕（bart kosko）说：“爱因斯坦相对论之革命性在于它颠覆了之前的牛顿力学，而香农信息论之革命性在于它前无古人。”
香农当年创建信息论的时候是为了探讨信息的本质和通信的理论极限问题，比如什么是信息，怎样从数学上定义衡量信息，数据压缩和数据传输可达到的极限在哪里，等等。
但信息论的应用远不止于通信领域。在香农之后，信息论被当作一套通用的数学工具，在很多信息科学领域都有应用。
比如信息论可以用来做统计分析，可以用来开发人工智能，可以用来优化投资策略等。
先从一个貌似不相干的西方曾经流行的游戏“二十个问题”说起。游戏是这样的：俺心里想一样东西，你可以问俺二十个问题，然后猜俺心里想的东西。你的问题必须是“是不是”这种形式的。比如，这个东西是不是可以放进冰箱里？这个东西是不是活的？这个东西是不是能吃？诸如此类。对于你问的每一个问题，俺必须如实地回答“是”或者“不是”。你在二十个问题之内猜到了我想的东西就算赢。
这个游戏的关键是在于如何有效地问你的问题。如果你问“明天是不是下雨”，那你肯定脑子进水了，可以不用往下看了。如果你第一个问题问的是“这东西是不是 iphone 6”，这样的问法显然也效率不高，因为俺一旦说“no”，你只从大量的可能性中排除了一种可能，还是要面对剩下巨大的猜测空间。
这个游戏可以大致等价于这样一个数字游戏。假设m是个大于1的正整数，俺俩在玩游戏之前就商议确定好。俺在1到m之间任意想一个整数，你的任务是用最少的“是不是”