基本信息
- 作者： 曲炜 朱诗兵
- 丛书名： 高等学校教材·电子信息
- 出版社：清华大学出版社
- ISBN：7302101787
- 上架时间：2005-2-3
- 出版日期：2005 年1月
- 开本：185×260
- 页码：307
- 版次：1-1
- 所属分类：计算机 > 信息系统 > 综合
教材 > 研究生/本科/专科教材 > 工学 > 计算机
教材 > 计算机教材 > 本科/研究生 > 计算机本科其他类教材
内容简介
目录
第1章绪论
1.1信息的概念
1.1.1信息、消息及信号的区别与联系
1.1.2香农信息的定义与度量
1.2信息论研究的对象、目的和内容
1.2.1信息论研究的对象
1.2.2信息论研究的目的
1.2.3信息论研究的内容
1.3信息论的形成及发展
第2章离散信源及信息的度量
2.1信源的数学模型及分类
2.1.1信源输出的消息由随机变量描述
2.1.2信源输出的消息由随机矢量描述
2.1.3信源输出的消息由随机过程描述
2.2离散信源的信息量
2.2.1非平均不确定性
2.2.2非平均信息量
2.2.3平均信息量
2.3熵的基本性质
2.4消息序列的熵
1.1信息的概念
1.1.1信息、消息及信号的区别与联系
1.1.2香农信息的定义与度量
1.2信息论研究的对象、目的和内容
1.2.1信息论研究的对象
1.2.2信息论研究的目的
1.2.3信息论研究的内容
1.3信息论的形成及发展
第2章离散信源及信息的度量
2.1信源的数学模型及分类
2.1.1信源输出的消息由随机变量描述
2.1.2信源输出的消息由随机矢量描述
2.1.3信源输出的消息由随机过程描述
2.2离散信源的信息量
2.2.1非平均不确定性
2.2.2非平均信息量
2.2.3平均信息量
2.3熵的基本性质
2.4消息序列的熵
前言
信息论是整个信息科学发展的起源和基石，它是一门利用概率论、随机过程和数理统计等数学方法来研究信息在存储、度量、编码、传输、处理中一般规律的重要学科。自从香农1948年发表奠定信息论理论基础的《通信的数学理论》一文以来，信息科学有了很大的发展并已经延伸到众多领域中。人们已经认识到，在现代科学技术高度发展的过程中，学习和掌握信息理论已日益成为人们的一种需要。
本书系统地介绍了香农信息论的基本内容及其应用，即信息的度量、信道容量以及信源和信道编码理论等问题。全书共分九章，其中第1章主要介绍了信息的概念，信息论研究的对象、目的和内容，信息论的形成及发展。第2章详细地介绍了各类离散信源的信息度量、信源熵及其性质。第3章主要介绍了离散信源输出信息的有效表示问题，即离散信源的无失真编码问题，主要包括离散无记忆信源的等长和变长编码定理，离散平稳信源和马尔可夫信源的编码定理以及典型的变长码的编码方法。第4章主要介绍了信道的数学模型和分类、信道传输的平均互信息、信道容量的概念及其各种计算方法。第5章主要介绍了有噪信道的编码问题，包括译码规则、编码方法等对信息在信道传输的影响以及在有噪信道中实现信息可靠传输的有噪信道编码定理。第6章主要介绍了信息率失真理论的基本内容，侧重讨论离散无记忆信源，包括信源的失真测度，信息率失真函数及其计算、限失真信源编码定理。第7章主要介绍了连续信源和波形信源的统计特性及其信息度量、连续信源的信息率失真函数。第8章主要介绍了连续信道和波形信道的信息传输率、信道容量，连续信道编码定理。第9章主要介绍了网络信息理论的一些基本结论，包括网络信道的分类、相关信源编码和多源接入信道等，但是这些内容只适合以电路交换为基础的网络通信系统，不适合以分组交换为基础的网络通信系统。通过这九章内容的介绍，希望能为读者提供比较全面、系统的信息论知识。
全书注重基本概念、基本理论和基本分析方法的阐述，力求物理概念清晰，数学结构简明、完整，结合实例给出详尽的数学推导过程和证明。在内容编排上力求由浅入深、循序渐进，以最易接受的方式介绍信息论的基本内容及其应用。本书可作为有关专业本科生和研究生的教材，书中标有“，”号的章节，属于加宽加深的内容，针对不同的授课对象，可适当取舍，有选择地讲授基本内容或复杂的数学证明。为了提高分析和解决问题的能力，除第1章和第9章外，其余各章均配有适量的难易程度不等的习题，可根据实际需要选用。
本书主要由曲炜教授、朱诗兵副教授、庞茂来副教授编写。在本书的编写过程中，得到了李迎春副教授、何忠龙副教授及其他多位老师的指导帮助，蒋太杰、陈刚、李颖、李睿、庞海生、赵东杰、徐珍妮、王明娟等多名博士、硕士研究生参与了文字校对、程序编写与调试等工作，在此一并表示诚挚的感谢。
感谢我国信息科学界知名学者汪漱玉、傅祖芸、朱雪龙、周荫清老师，编者之所以能编写此书，得益于聆听他们的课堂讲授和对他们著作的学习。
由于编者水平有限，书中难免还存在一些缺点和错误，殷切希望广大读者批评指正。
编 者
本书系统地介绍了香农信息论的基本内容及其应用，即信息的度量、信道容量以及信源和信道编码理论等问题。全书共分九章，其中第1章主要介绍了信息的概念，信息论研究的对象、目的和内容，信息论的形成及发展。第2章详细地介绍了各类离散信源的信息度量、信源熵及其性质。第3章主要介绍了离散信源输出信息的有效表示问题，即离散信源的无失真编码问题，主要包括离散无记忆信源的等长和变长编码定理，离散平稳信源和马尔可夫信源的编码定理以及典型的变长码的编码方法。第4章主要介绍了信道的数学模型和分类、信道传输的平均互信息、信道容量的概念及其各种计算方法。第5章主要介绍了有噪信道的编码问题，包括译码规则、编码方法等对信息在信道传输的影响以及在有噪信道中实现信息可靠传输的有噪信道编码定理。第6章主要介绍了信息率失真理论的基本内容，侧重讨论离散无记忆信源，包括信源的失真测度，信息率失真函数及其计算、限失真信源编码定理。第7章主要介绍了连续信源和波形信源的统计特性及其信息度量、连续信源的信息率失真函数。第8章主要介绍了连续信道和波形信道的信息传输率、信道容量，连续信道编码定理。第9章主要介绍了网络信息理论的一些基本结论，包括网络信道的分类、相关信源编码和多源接入信道等，但是这些内容只适合以电路交换为基础的网络通信系统，不适合以分组交换为基础的网络通信系统。通过这九章内容的介绍，希望能为读者提供比较全面、系统的信息论知识。
全书注重基本概念、基本理论和基本分析方法的阐述，力求物理概念清晰，数学结构简明、完整，结合实例给出详尽的数学推导过程和证明。在内容编排上力求由浅入深、循序渐进，以最易接受的方式介绍信息论的基本内容及其应用。本书可作为有关专业本科生和研究生的教材，书中标有“，”号的章节，属于加宽加深的内容，针对不同的授课对象，可适当取舍，有选择地讲授基本内容或复杂的数学证明。为了提高分析和解决问题的能力，除第1章和第9章外，其余各章均配有适量的难易程度不等的习题，可根据实际需要选用。
本书主要由曲炜教授、朱诗兵副教授、庞茂来副教授编写。在本书的编写过程中，得到了李迎春副教授、何忠龙副教授及其他多位老师的指导帮助，蒋太杰、陈刚、李颖、李睿、庞海生、赵东杰、徐珍妮、王明娟等多名博士、硕士研究生参与了文字校对、程序编写与调试等工作，在此一并表示诚挚的感谢。
感谢我国信息科学界知名学者汪漱玉、傅祖芸、朱雪龙、周荫清老师，编者之所以能编写此书，得益于聆听他们的课堂讲授和对他们著作的学习。
由于编者水平有限，书中难免还存在一些缺点和错误，殷切希望广大读者批评指正。
编 者
序言
1948年，美国Bell实验室的科学家Claude E．Shannon在《贝尔系统技术杂志》发表了一篇题为《通信的数学理论》的长篇论文。它以新颖的科学观念和统计的数学方法系统地 阐明了通信系统中信息的基本概念、信息度量的统计方法和编码变换的重要规律，建立了统计的通信理论。Shannon(香农)理论的建立，不仅使通信问题的研究从经验升华为科学，更为重要的是开辟了信息理论发展的新纪元，并对当代其他科学技术的发展产生了难以估量的巨大影响。
信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。我国早期研究信息论的知名学者有蔡长年、周炯磐、陈太一等，正是他们的辛勤努力，使得我国信息理论的研究得以蓬勃发展，在信息论的基础理论、编码理论、密码理论、信息安全理论、信息理论发展新方向等重要方面取得了显著的成果。
自香农提出信息理论以来，信息论就成为国内外大学电子工程、通信工程、信息工程、计算机和数学等专业为研究生和高年级本科生开设的一门基础理论课。现在，我们很高兴看到，许多年轻的学者正在信息理论领域辛勤耕耘，他们结合自己的理解、自己的研究方向和研究成果，用自己辛勤的劳动推出了一系列的研究成果，为期盼进入信息理论殿堂探胜寻宝的人们提供了途径。《信息论基础及应用》一书的出版发行，就是这方面一个比较突出、比较典型的成果。
《信息论基础及应用》一书比较全面、系统地介绍了香农信息论的基本内容及其应用，即信息的度量、信道容量以及信源和信道编码理论等问题。其主要优点有：
(1)概念清晰。信息论涉及概率论、随机过程、数理统计等数学问题，许多概念湮没在数学推导中，而该书注重基本概念、基本理论的阐述，深入浅出，使读者能很快掌握其要领。
(2)全书注重基本方法的分析，数学结构简明、完整，结合实例给出详尽的数学推导过程和证明方法。
(3)内容编排上由浅入深、循序渐进，使读者带着问题学，具有启发性，以最易接受的方式介绍了信息论的基本内容及其应用。
(4)全书阐述严谨，符号统一，各章配有适量的难易程度不等的习题，可根据实际需要选用。
(5)书后的附录为读者提供了求解信息度量、信道容量、信息率失真函数的Matlab源程序，可使读者进一步加深对这些基本概念及其计算方法的理解。
参与本书编写工作的同志都曾经是我的学生，从他们上学学习信息论开始，就孜孜以求，刻苦努力。工作后，一直从事信息理论这一领域的教学、科研工作。通过他们自己的辛勤努力，编写了《信息论基础及应用》一书，相信将对高等院校的信息理论教学有所裨益。
时代在不断前进，信息科学技术在飞速发展，更富有挑战性和创造性的研究还在前头。这里，我热切地希望，我国学者，特别是我国的年轻学者在信息理论研究中不断辛勤耕耘，创造更辉煌的成就，为信息理论的进一步发展做出无愧于时代的新贡献。
2004年5月2日
信息论已经成为现代信息科学的一个重要组成部分，它是现代通信和信息技术的理论基础。我国早期研究信息论的知名学者有蔡长年、周炯磐、陈太一等，正是他们的辛勤努力，使得我国信息理论的研究得以蓬勃发展，在信息论的基础理论、编码理论、密码理论、信息安全理论、信息理论发展新方向等重要方面取得了显著的成果。
自香农提出信息理论以来，信息论就成为国内外大学电子工程、通信工程、信息工程、计算机和数学等专业为研究生和高年级本科生开设的一门基础理论课。现在，我们很高兴看到，许多年轻的学者正在信息理论领域辛勤耕耘，他们结合自己的理解、自己的研究方向和研究成果，用自己辛勤的劳动推出了一系列的研究成果，为期盼进入信息理论殿堂探胜寻宝的人们提供了途径。《信息论基础及应用》一书的出版发行，就是这方面一个比较突出、比较典型的成果。
《信息论基础及应用》一书比较全面、系统地介绍了香农信息论的基本内容及其应用，即信息的度量、信道容量以及信源和信道编码理论等问题。其主要优点有：
(1)概念清晰。信息论涉及概率论、随机过程、数理统计等数学问题，许多概念湮没在数学推导中，而该书注重基本概念、基本理论的阐述，深入浅出，使读者能很快掌握其要领。
(2)全书注重基本方法的分析，数学结构简明、完整，结合实例给出详尽的数学推导过程和证明方法。
(3)内容编排上由浅入深、循序渐进，使读者带着问题学，具有启发性，以最易接受的方式介绍了信息论的基本内容及其应用。
(4)全书阐述严谨，符号统一，各章配有适量的难易程度不等的习题，可根据实际需要选用。
(5)书后的附录为读者提供了求解信息度量、信道容量、信息率失真函数的Matlab源程序，可使读者进一步加深对这些基本概念及其计算方法的理解。
参与本书编写工作的同志都曾经是我的学生，从他们上学学习信息论开始，就孜孜以求，刻苦努力。工作后，一直从事信息理论这一领域的教学、科研工作。通过他们自己的辛勤努力，编写了《信息论基础及应用》一书，相信将对高等院校的信息理论教学有所裨益。
时代在不断前进，信息科学技术在飞速发展，更富有挑战性和创造性的研究还在前头。这里，我热切地希望，我国学者，特别是我国的年轻学者在信息理论研究中不断辛勤耕耘，创造更辉煌的成就，为信息理论的进一步发展做出无愧于时代的新贡献。
2004年5月2日
