第2版前言

信息论基础即香农（C.E.Shannon）信息论，是用概率论与随机过程的方法研究通信系统传输有效性和可靠性极限性能的理论，是现代通信与信息处理技术的理论基础，也是通信与电子信息类专业的重要基础课。信息论基础课程以信息熵为基本概念，以香农三个编码定理——无失真信源编码定理、有噪信道编码定理和限失真信源编码定理——为核心内容，研究通信系统中信息的度量、信源的压缩及信息通过信道有效和可靠传输等问题。

学习本课程的主要目的是，理解香农信息论的基本原理，掌握信息与熵的基本计算方法，培养利用信息论的基本原理分析和解决实际问题的能力，为今后进行更深入的研究奠定良好的理论基础。信息论课程是一门理论性较强的课程，通常采用以理论教学为主，以实验教学为辅的教学方式，但是在主要以工科学生为主的理论教学中，还要结合工科学生的特点，合理地选择教学内容和知识的传授方式。

《信息论基础》（第1版）作为普通高等教育“十一五”国家级规划教材，于2008年由人民邮电出版社出版。第1版教材强调基础理论中物理概念和结论的理解和掌握，简化而不陷入烦琐的数学推导，注重使用明确或直观的数学或物理模型，尽量通过实例巩固所学的理论知识，力求让讲述的内容更适合工科专业学生的学习；第1版教材遵循与时俱进的原则，在内容的选择上既考虑基础性又考虑先进性和时代性，同时也注重信息理论与技术的应用，从而受到高等院校电子与信息类专业学生的欢迎，已经多次印刷出版。当前，为了更好地满足广大读者学习信息与通信理论知识的需要，作者结合近几年的教学和科研实践，在保留原书特色的基础上，对教材内容进行了整合、修改、补充和完善，形成了现在的第2版。

第2版教材沿用原版的基本框架，分为11章。修改、充实或增加的内容主要如下。第2章：离散熵的性质、熵的可加性和有根概率树；第3章：变长扩展信源、马尔可夫信源有限状态 FSM 模型；第 4 章：高斯马尔可夫过程的熵率、最大熵率定理和熵功率不等式；第 5章：算术编码和LZ编码；第7章：序列最大似然译码和卷积码基本知识；第8章：高斯信道编码定理的解释；第9章：率失真函数的计算和香农下界；第10章：中继信道和分布信源编码。

本次修订的另一项重要工作就是重新核对了各章的思考题，并增加了相当数量的习题。这些题主要是从我们最近几年的本科教学和国内外经典名著中提炼和精选而来。本修订版不但习题总数显著增加，而且也扩大了知识覆盖面。通过完成这些习题可使学生不仅能更好地理解和掌握所学的知识，而且在解题技能方面也会得到一定的提高。

第2版与第1版相比虽然篇幅有所增加，但经过教材内容的科学取舍，可以适合不同学时和不同专业方向本科教学的需要。北京邮电大学的教学实践证明，本教材可适用于电子信息类本科工科和理科两类不同专业，也适用于总学时不同的专业要求。同时，本教材也可作为信息与通信及相关专业研究生的参考书。顺便指出，为配合信息论课程教学和信息论知识的普及，作者所在的课程组为读者提供了一个学习信息论和相互交流的平台——信息论课程网站（http://sice.bupt.edu.cn/xxl/），通过上网可查询关于信息论课程的教学课件及其他与信息论学习有关的信息。

第2版由田宝玉担任主编，杨洁、贺志强、许文俊参与编写。本教材在写作过程中，作者得到北京邮电大学信息与通信工程学院的领导及广大教师的支持与帮助，很多教师和同学也为本教材的修订做出了贡献，作者在此一并表示感谢。

因作者水平所限，书中错误与疏漏之处在所难免，敬请诸位读者批评指正。

编者

2014年12月于北京邮电大学