我们说换位思考是成功者的必备品质之一，但是，换位一定要完整地换位，也就是不能在一个思考过程中，前面部分的主语是你，后面部分的主语又变成了他。用一句简单的话来总结——不能搞精神分裂，否则你得到的只是精神病似的混乱，离成功越来越远。
——坤鹏论
在坤鹏论看来，许多人对于信息熵的不理解，主要是因为：
第一，概率，概率是信息熵的核心，偏偏大多数人不懂、不理解概率。
第二，有数学公式，尽管只是中学时学的数学公式，但我们早把它们还给了老师。
第三，概率和信息熵是反比关系，概率越高，信息熵越低；概率越低，信息熵越高，理解它需要在脑子里面先转个弯。
第四，讨论信息熵的人多、文章更多，但是人们理解的层次不同，于是正错纠缠，让人难以分辨。
今天和明天，坤鹏论根据自身学习过程中的从疑惑到解惑，讲几个信息熵学习中最常见的迷惑。
今天先讲最经典的——到底是信息熵越大，信息量越多？还是信息熵越大，信息量越少？
很多人很难理解的是——信息熵越大，信息量越多。
坤鹏论发现，网上对此有相当多的错误说法。
今天就来细细掰饬一下它。
理解了它，对信息熵的科普级学习也基本算是圆满了。
第一，信息、信息熵、信息量都是针对接收者而言。
有个词叫：立场坚定。
坤鹏论觉得“立场”这个词很好，我们在分析问题，看待事物时，一定要分清立场，也就是你此时此刻是站立在谁的位置上的。
我们经常犯晕乎，或者是被别人说晕乎，其中关键之一就是其中掺杂了立场变化，我们却没有意识到。
这就是《官场现形记》中的那句名言：见人说人话，见鬼说鬼话，见了官场说官场上的话，见了生意人说生意场中的话。
这就是讲话者的立场不断随着他的谈话对象而改变，见风使舵，左右逢源，应变能力极强。
但是，要相信的是，人只要一开口，背后都带着利益诉求。
所以，看待事物以及听别人对它的评论，一定要先找到主语（立场）是谁。
这很重要，就像坤鹏论之前所说的，看评论听建议，一定多长个心眼，要思考判断如果实施下来，谁是最大受益者，这样才能透过语言的迷雾看透背后的利益纠葛，最大限度保你不会“被别人卖，还替人家数钱”。
另外，我们说换位思考是成功者的必备品质之一。
换位其实就是换立场，换到别人立场思考。
但是，换位一定要完整地换位，也就是不能在一个思考过程中，前面部分的主语是你，后面部分的主语又变成了他。
用一句简单的话来总结——不能搞精神分裂，否则你得到的只是精神病似的混乱，离成功越来越远。
香农说，“我考虑的是，从一个集合中作出选择时会有多少信息产生……”
谁作出选择？
正如前面文章所说，信息论的信息集合中的接收者与热力学容器中的麦克斯韦妖一样，都是通过信息做出选择。
因此，信息、信息熵、信息量，都是针对接收者而言的。
这个接收者是一个客观存在物——只计字数，不问内容，是物理意义的。
并且它也像麦克斯韦妖一样，作出选择后，旧的记忆会被清除。
因此，我们说一本书的信息熵或是信息量多少，都是针对这个接收者来说。
但接收者不是你，也不是我，不是任何实际的生命体。
和麦克斯韦妖一样，他是一个客观的存在物。
这是许多讲信息熵的文章中没有重点提到的，或是干脆就讲错了，所以也容易造成人们的理解混乱。
1950年3月22日至23日，香农在一次学术会的信息论演讲中直接开宗明义：
根本不要去管什么意义，即便他讲的主题是书面英语的冗余，他也对意义毫无兴趣。
他所谈论的信息，就是某种从一点被传递到另一点的东西，可能根本不含意义。
“比如，它可以是一个随机数字串，也可以是一枚导弹或一个电视信号里的信息。”
显然，香农的信息也是物理意义的——只计字数，不问内容。
或者也可以说，香农的信息是集中注意在“物理”层面，而没有“心理因素”。
我们要明白，香农解决的是通信系统的事。
再具体些，解决的是信息的传输问题。
直白些就是——“传输的信息到底有几个意思，这和我有毛线关系吗？！”
“我只要在信息熵公式的指导下压缩数据，对重要部分冗余处理，保证准确无误地每个字符送达，一点不出错，就足够了。”
而且，也只有这样，才能够建立信息熵的数学公式，从而使得信息可以度量。
可惜，人们在理解中，总会不自觉得掺杂进人为理解的因素，把事情给搞复杂了。
第二，说的都是“信息”，但“信息”却是不一样的。
信息论中的“信息”和我们常识中的“信息”不一样，关键区别就在于它们的时间属性。
我们常识的“信息”是过去时——“已经说了什么”；
而信息论的“信息”是将来时——“还能说什么”。
用公式总结信息论的信息和信息量则为：
信息≠已经说了什么；信息＝还能说什么；
信息量≠已经说了多少；信息量＝还能说多少。
所以，信息论中的信息、信息量指的是，未来将要发生的信息、信息量。
在说它们的时候，它们还没有发生。
但是，信息熵却是过去时的，我们讲它的时候，已经发生过了。
让我们再梳理一遍加上主语和时间烙印的定义：
信息熵——接收者对某件事物已经存在的不确定性的程度；
信息——接收者未来消除对某件事物已经存在的不确定性的东西；
信息量——接收者未来消除对某件事物已经存在的不确定性所需要的东西的总量。
要特别注意的是，以上这三个定义是在同一个静止的时间点作出的。
因为时间是流动的，信息也是流动的，所以，不确定性也是变化的，如果时间点不一致，就乱套了。
为什么？
因为信息论的确定性与不确定性的二元概率，也就是非此即彼。
算出信息熵（已经存在的不确定性程度），就意味着得到了信息量（将来消除这些已经存在的不确定性程度所需要的东西的总量）。
既然代表不确定性程度的信息熵是过去时，那么与其相反的确定性程度也已经发生了。
所以，有些资料说，信息熵越小，提供的信息量越大。
这里面的关键词是“提供的”，其含义就是过去时——已经提供的。
而且，这个“信息”显然也不是信息论“还能说什么”的“信息”，而是我们日常中所指的“已经说了什么”的“信息”。
搞清楚这个，理解这样的说法就轻而易举了。
信息熵越小，不确定性越低，说明已经存在的确定性越高，也就是已经获得的消除不确定性的信息量越大。
依此逻辑，“信息熵越大，信息量越小”这个说法也就顺道讲通了，其实指的就是，已经获得的消除不确定性的信息量越小。
但是，讲道理最怕的就是对同一件事却用两种标准来衡量，绝对的不科学！
结果只能是混乱。
最后：总结一下！
来，让我们根据前面的学习成果再捋一遍：
在自然语言处理中：
语言符号出现的概率较高，其信息熵较小，不确定程度低（要点：概率与信息熵的反比关系），从不确定性到确定性，还可以输入的信息少，接收者未来可以接收到的信息量较少（要点：未来可以说的信息少）。
语言符号出现的概率较低，其信息熵较大，不确定程度高（要点：概率与信息熵的反比关系），从不确定性到确定性，未来能说的信息多，信息接收者未来可以接收到的信息量较多（要点：未来可以说的信息多）。
仅此而已。
最后，坤鹏论建议你牢记以下两句话：
（语言符号的）概率与信息熵成反比关系；
信息熵与信息量成正比关系。
本文由“坤鹏论”原创，转载请保留本信息
注：坤鹏论由三位互联网和媒体老兵封立鹏、滕大鹏、江礼坤组合而成。坤鹏论又多了位新成员：廖炜。即日起，坤鹏论所有自媒体渠道对外开放，接受网友投稿！如果你的文章是写科技、互联网、社会化营销等，欢迎投稿给坤鹏论。优秀文章坤鹏论将在今日头条、微信公众号、搜狐自媒体、官网等多个渠道发布，注明作者，提高你的知名度。更多好处请关注微信公众号：“坤鹏论”微信公众号：kunpenglun，回复“投稿”查看，自媒体人可加QQ群交流，群号：6946827
最新评论