1949年9月 香农信息论《The Mathematical Theory of Communication通讯的数学原理》
单行本初版
克劳德·艾尔伍德·香农
美国数学家、信息论的创始人
克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916年4月30日—2001年2月24日）是美国数学家、信息论的创始人。1936年获得密歇根大学学士学位 [1] 。1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。
香农提出了信息熵的概念，为信息论和数字通信奠定了基础。主要论文有1938年的硕士论文《继电器与开关电路的符号分析》、1948年的《通讯的数学原理》和1949年的《噪声下的通信》。
为纪念克劳德·艾尔伍德·香农而设置的香农奖是通信理论领域最高奖，也被称为“信息领域的诺贝尔奖”。
人物资料：
克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916-2001）1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生（Thomas Alva Edison，1847-1931）还有远亲关系。香农的大部分时间是在贝尔实验室和MIT（麻省理工学院）度过的。在“功成名就”后，香农与玛丽（Mary Elizabeth Moore）1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子罗伯特（Robert）、詹姆斯（James）、安德鲁莫瑞（Andrew Moore）和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。
2001年2月24日，香农在马萨诸塞州Medford辞世，享年84岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基人。
人物生平：
香农于1916年4月30日出生于美国密歇根州的Petoskey，并且是爱迪生的远亲戚。1936年毕业于密歇根大学并获得数学和电子工程学士学位。1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。香农博士于2001年2月24日去世，享年84岁。
香农于1940年在普林斯顿高级研究所（The Institute for Advanced Study at Princeton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在1948年6月和10月在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了具有深远影响的论文《通讯的数学原理》。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。
1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。
1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》（继电器与开关电路的符号分析）。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”
1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Genetics》（理论遗传学的代数学）。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。
在读学位的同时，他还用部分时间跟温尼法·布什（Vannevar Bush）教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》（微分分析器的数学理论），他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值（不能产生精确值）、求调整率的近似值以及自动控制速率的方法。”
1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。”
香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪（Percy A. MacMahon，1854-1929）1892年在Electrician上发表的论文理论。
1948年，划时代的“通信的一个数学理论”分成两部分，在7月和10月的Bell System Technical Journal发表。文章系统论述了信息的定义，怎样数量化信息，怎样更好地对信息进行编码。在这些研究中，概率理论是香农使用的重要工具。香农同时提出了信息熵的概念，用于衡量消息的不确定性。
在漫长的岁月，他思考过许多问题。除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者（这使人联想到比他大4岁的图灵博士）。他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》（保密系统的通信理论），正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。
1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》（通讯的数学原理）。论文由香农和威沃共同署名。前辈威沃（Warren Weaver，1894-1978）当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。
成就:
熵（entropy）的概念
香农理论的重要特征是熵（entropy）的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。香农将统计物理中熵的概念，引申到信道通信的过程中，从而开创了“信息论”这门学科。香农定义的“熵”又被称为“香农熵” 或 “信息熵”, 即其中i标记概率空间中所有可能的样本，表示该样本的出现几率，K是和单位选取相关的任意常数。可以明显看出“信息熵”的定义和“热力学熵”（玻尔兹曼公式）的定义只相差某个比例常数。
熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵由鲁道夫·克劳修斯（Rudolf Clausius）提出，并应用在热力学中。克劳德·艾尔伍德·香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来。
众所周知，质量、能量和信息量是三个非常重要的量。
人们很早就知道用秤或者天平计量物质的质量，而热量和功的关系则是到了19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。
然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。
1928年哈特利（R.V. H. Harley）考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到D^N个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用N log D这个量表示信息量，即I=N log D。这里的log表示以10为底的对数。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。
但是就信息传输给出基本数学模型的核心人物还是香农。1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式：
如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特（bit）为单位。在计算机和通信中广泛使用的字节（Byte）、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。香农的信息论为明确什么是信息量概念作出决定性的贡献。
香农在进行信息的定量计算的时候，明确地把信息量定义为随机不定性程度的减少。这就表明了他对信息的理解：信息是用来减少随机不定性的东西。或香农逆定义：信息是确定性的增加。
虽然香农的信息概念比以往的认识有了巨大的进步，但仍存在局限性，这一概念同样没有包含信息的内容和价值，只考虑了随机型的不定性，没有从根本上回答”信息是什么”的问题。
事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，截止2013又用在无线通信上。我们能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。
克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行即时通信的少数科学家和思想家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他接受的荣誉学位不胜枚举，不再赘述。
我们怀念香农，要熟悉他的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。我们更应该学习他好奇心强、重视实践、永不满足的科学精神，这是他获得成功的重要经验。
荣誉:
- 美国Alfred Noble协会美国工程师奖 1940年
- Morris Liebmann 无线电工程师协会Memorial奖章 1949年
- 耶鲁大学 （首席科学家） 1954年
- Stuart Ballantine弗兰克林协会奖章 1955年
- 研究合作奖 1956年
- 密歇根大学，荣誉博士 1961年
- 莱斯大学 荣誉奖章 1962年
- 普林斯顿大学 荣誉博士 1962年
- Marvin J. Kelly Award 1962年
- 爱丁堡大学 荣誉博士 1964年
- 匹兹堡大学 荣誉博士 1964年
- 电子电气工程师协会 荣誉奖章 1966年
- 美国国家科学奖章 1966年 由前总统Lyndon B. 约翰逊颁发
- Golden Plate Award 1967年
- 美国西北大学 荣誉博士 1970年
- Harvey Prize，the Technion of Haifa 以色列 1972年
- 牛津大学 荣誉博士 1978年
- Joseph Jacquard奖 1978年
- Harold Pender奖 1978年
- 东英格伦大学 荣誉博士 1982年
- 卡内基梅隆大学 荣誉博士 1984年
- 美国声频技术协会 金奖 1985年
- Kyoto Prize 1985年
- 塔夫斯大学 荣誉博士 1987年
- 宾西法尼亚大学 荣誉博士 1991年
- Eduard Rhein Prize 1991年
香农奖:
香农奖是为纪念美国的信息论创始人克劳德·艾尔伍德·香农而设置的奖项，是通信理论领域最高奖，也被称为“信息领域的诺贝尔奖”
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息系统就是广义的通信系统，泛指某种信息从一处传送到另一处所需的全部设备所构成的系统。信息论是关于信息的理论，应有自己明确的研究对象和适用范围。但从信息论诞生的那时起人们就对它有不同的理解。 信息论被广泛应用在各个领域 ：编码学、密码与密码分析学 、数据传输 、数据压缩 、估计理论和编辑词条等。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义.
信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的一般规律的科学。
- 切略（E.C.Cherry）曾写过一篇早期信息理论史，他从石刻象形文字起，经过中世纪启蒙语言学，直到16世纪吉尔伯特（E.N.Gilbert）等人在电报学方面的工作。
- 20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）最早研究了通信系统传输信息的能力，并试图度量系统的信道容量。现代信息论开始出现。
- 1948年克劳德·香农（Claude Shannon）发表的论文“通信的数学理论”是世界上首次将通讯过程建立了数学模型的论文，这篇论文和1949年发表的另一篇论文一起奠定了现代信息论的基础。
