基本信息
- 作者： 陈海燕、曹明华、贾科军
- 丛书名： 全国普通高等院校电子信息规划教材
- 出版社：清华大学出版社
- ISBN：9787302374992
- 上架时间：2015-2-13
- 出版日期：2015 年2月
- 开本：16开
- 页码：198
- 版次：1-1
- 所属分类：计算机 > 信息系统 > 综合
教材 > 计算机教材 > 本科/研究生 > 信息管理与信息系统专业
内容简介
书籍
计算机书籍
本书全面地介绍了Shannon信息论的基本理论：信息的统计度量、Shannon三大编码定理以及对应的三类编码，无失真信源编码、限失真信源编码及信道编码。全书共分7章，主要内容包括绪论,信源和信源熵,无失真信源编码、限失真信源编码，信道及信道容量以及信道编码，信息率失真函数，信息论方法的应用等。
本书深入浅出，概念清晰，系统性强，力求以通俗易懂的语言及大量典型的应用实例使读者快速、高效地学习和掌握信息论与编码的基本理论和技术。
本书适合作为高等院校通信工程、电子与信息技术等相关专业本科生的教材，也可作为低年级研究生的教学参考书，也可供从事信息领域的科技工作者、工程技术人员参考。
计算机书籍
本书全面地介绍了Shannon信息论的基本理论：信息的统计度量、Shannon三大编码定理以及对应的三类编码，无失真信源编码、限失真信源编码及信道编码。全书共分7章，主要内容包括绪论,信源和信源熵,无失真信源编码、限失真信源编码，信道及信道容量以及信道编码，信息率失真函数，信息论方法的应用等。
本书深入浅出，概念清晰，系统性强，力求以通俗易懂的语言及大量典型的应用实例使读者快速、高效地学习和掌握信息论与编码的基本理论和技术。
本书适合作为高等院校通信工程、电子与信息技术等相关专业本科生的教材，也可作为低年级研究生的教学参考书，也可供从事信息领域的科技工作者、工程技术人员参考。
目录
第1章绪论1
1.1信息的概念1
1.2信息论的形成和发展3
1.3信息论的研究范畴4
1.4通信系统模型5
1.5习题7第2章信源和信息熵8
2.1信源的特性和分类8
2.2离散信源的信息度量11
2.2.1信息量的定义11
2.2.2自信息量12
2.2.3联合信息量与条件自信息量15
2.3互信息量16
2.3.1互信息量的定义16
2.3.2互信息的性质17
2.3.3条件互信息和联合互信息18
2.4信源熵20
2.5条件熵和联合熵21
2.6熵函数的数学特性23
2.7加权熵27
2.8平均互信息量31
1.1信息的概念1
1.2信息论的形成和发展3
1.3信息论的研究范畴4
1.4通信系统模型5
1.5习题7第2章信源和信息熵8
2.1信源的特性和分类8
2.2离散信源的信息度量11
2.2.1信息量的定义11
2.2.2自信息量12
2.2.3联合信息量与条件自信息量15
2.3互信息量16
2.3.1互信息量的定义16
2.3.2互信息的性质17
2.3.3条件互信息和联合互信息18
2.4信源熵20
2.5条件熵和联合熵21
2.6熵函数的数学特性23
2.7加权熵27
2.8平均互信息量31
前言
信息技术是当今通信、计算机和自动控制界的热门技术。特别是信息技术与微电子、光电子以及计算机技术的不断结合，使现代信息技术的发展充满了生机与活力，人类也逐步迈进高度发展的信息科学时代。而信息论为计算机技术和通信技术的发展奠定了坚实的理论基础。它不仅在方法论的层面上解决了通信的有效性、可靠性和安全性问题，而且在认识论层面上帮助人们认识事物的本质。
信息论是应用近代数理统计的方法研究信息传输、存储和处理的科学，是在长期通信工程实践中发展起来的一门新兴科学，亦称为通信的数学理论。美国科学家香农(C．E．Shannon)1948年在《贝尔电话杂志》上发表的著名论文《通信的数学理论》为信息论的诞生和发展奠定了理论基础。近年来，随着信息理论与编码技术的长足发展，它已发展成为一门综合性的新兴学科。不仅直接应用于通信、计算机、电子信息和自动控制领域，而且还广泛渗透到生物学、医学、语言学、社会学和经济学等领域。因此，越来越多的技术人员渴望学到有关信息论的相关知识，越来越多的高等学校纷纷开设信息论课程。“信息论与编码”已成为我国高等学校的通信工程、计算机、自动化、电子与信息等专业的主干基础课程。选择一本适合本校校情且具有课程特色的教材就显得尤为重要。
本教材在长期的教学实践中，吸取同教材的优点，将“通信原理”、“信息论基础”等课程的教学内容进行重新调整，删除部分重复、陈旧内容，并增加了信息论应用方面的内容；从最基本的信息度量开始，到信息论方法在信号处理中的应用，层层深入，全面介绍信息论与编码的基本理论和技术。考虑到本科生的实际水平，在一些较难理解的地方详细论述，力求用简介、通俗易懂的语言描述物理概念、注重物理概念的理解、弱化公式推导与证明。以便读者在短时间内掌握信息论与编码的精髓。
全书共分7章：第1章为绪论部分，着重介绍信息的基本概念、信息论的形成和发展、信息论的研究范畴以及通信系统的基本模型；第2章为信源和信源熵，着重介绍信源的特性和分类，信息的统计度量、平稳离散信源和连续信源的特性以及信息度量；第3章为信道和信道容量，主要介绍信道的数学模型和分类以及单符号离散信道的信道容量、组合信道，连续信道的信道容量；第4章为信源编码，主要介绍编码的定义和分类、离散无失真信源编码定理以及一些常用的信源编码方法；第5章为信道编码， 主要介绍信道编码的[1][2]概念以及一些信道编码方法；第6章为信息率失真函数。主要介绍信息率失真函数的概念以及离散信源和连续信源的信息率失真函数；第7章为信息论方法的应用，主要介绍信息论方法在信号处理中的应用，信息论方法在其他学科领域中的应用以及最大熵谱估计和最小误差熵估计。
本书由兰州理工大学计算机与通信学院陈海燕主编，其中，陈海燕编写了第1章、第2章、第4章和第7章；第3章、第6章由曹明华编写；第5章由贾科军编写；全书由陈海燕统稿。
本教材的出版由兰州理工大学校级规划教材编写资金资助；在编写的过程中得到了清华大学出版社的大力支持，白立军编辑做了大量的工作，在此表示衷心的感谢！
本教材的编写，是在同行专家所做的大量工作的基础上，汲取各家之长而成。所借鉴内容已在参考文献中列出，因篇幅限制，不尽周全。在此，向这些作者一并表示感谢！
由于编者水平有限，错误和不当之处在所难免，殷切希望广大读者批评指正。
编者
2014年12月
信息论是应用近代数理统计的方法研究信息传输、存储和处理的科学，是在长期通信工程实践中发展起来的一门新兴科学，亦称为通信的数学理论。美国科学家香农(C．E．Shannon)1948年在《贝尔电话杂志》上发表的著名论文《通信的数学理论》为信息论的诞生和发展奠定了理论基础。近年来，随着信息理论与编码技术的长足发展，它已发展成为一门综合性的新兴学科。不仅直接应用于通信、计算机、电子信息和自动控制领域，而且还广泛渗透到生物学、医学、语言学、社会学和经济学等领域。因此，越来越多的技术人员渴望学到有关信息论的相关知识，越来越多的高等学校纷纷开设信息论课程。“信息论与编码”已成为我国高等学校的通信工程、计算机、自动化、电子与信息等专业的主干基础课程。选择一本适合本校校情且具有课程特色的教材就显得尤为重要。
本教材在长期的教学实践中，吸取同教材的优点，将“通信原理”、“信息论基础”等课程的教学内容进行重新调整，删除部分重复、陈旧内容，并增加了信息论应用方面的内容；从最基本的信息度量开始，到信息论方法在信号处理中的应用，层层深入，全面介绍信息论与编码的基本理论和技术。考虑到本科生的实际水平，在一些较难理解的地方详细论述，力求用简介、通俗易懂的语言描述物理概念、注重物理概念的理解、弱化公式推导与证明。以便读者在短时间内掌握信息论与编码的精髓。
全书共分7章：第1章为绪论部分，着重介绍信息的基本概念、信息论的形成和发展、信息论的研究范畴以及通信系统的基本模型；第2章为信源和信源熵，着重介绍信源的特性和分类，信息的统计度量、平稳离散信源和连续信源的特性以及信息度量；第3章为信道和信道容量，主要介绍信道的数学模型和分类以及单符号离散信道的信道容量、组合信道，连续信道的信道容量；第4章为信源编码，主要介绍编码的定义和分类、离散无失真信源编码定理以及一些常用的信源编码方法；第5章为信道编码， 主要介绍信道编码的[1][2]概念以及一些信道编码方法；第6章为信息率失真函数。主要介绍信息率失真函数的概念以及离散信源和连续信源的信息率失真函数；第7章为信息论方法的应用，主要介绍信息论方法在信号处理中的应用，信息论方法在其他学科领域中的应用以及最大熵谱估计和最小误差熵估计。
本书由兰州理工大学计算机与通信学院陈海燕主编，其中，陈海燕编写了第1章、第2章、第4章和第7章；第3章、第6章由曹明华编写；第5章由贾科军编写；全书由陈海燕统稿。
本教材的出版由兰州理工大学校级规划教材编写资金资助；在编写的过程中得到了清华大学出版社的大力支持，白立军编辑做了大量的工作，在此表示衷心的感谢！
本教材的编写，是在同行专家所做的大量工作的基础上，汲取各家之长而成。所借鉴内容已在参考文献中列出，因篇幅限制，不尽周全。在此，向这些作者一并表示感谢！
由于编者水平有限，错误和不当之处在所难免，殷切希望广大读者批评指正。
编者
2014年12月
