信息论、推理与学习算法（翻译版）

书籍
计算机书籍
　　本书是英国剑桥大学卡文迪许实验室的著名学者David J．C．MacKay博士总结多年教学经验和科研成果，于2003年推出的一部力作。本书作者不仅透彻地论述了传统信息论的内容和最新编码算法，而且以高度的学科驾驭能力，匠心独具地在一个统一框架下讨论了贝叶斯数据建模、蒙特卡罗方法、聚类算法、神经网络等属于机器学习和推理领域的主题，从而很好地将诸多学科的技术内涵融会贯通。本书注重理论与实际的结合，内容组织科学严谨，反映了多门学科的内在联系和发展趋势。同时，本书还包含了丰富的例题和近400道习题(其中许多习题还配有详细的解答)，便于教学或自学，适合作为信息科学与技术相关专业高年级本科生和研究生教材，对相关专业技术人员也不失为一本有益的参考书。...
　　

第1章 信息论导论.
第2章 概率、熵与推理
第3章 有关推理的更多内容
第一部分 数据压缩
第4章 信源编码定理
第5章 符号码
第6章 符号流码
第7章 整数的码
第二部分 噪声信道编码
第8章 相关随机变量
第9章 噪声信道上的通信
第10章 噪声信道编码定理
第11章 纠错码与实际信道
第三部分 信息论中的更多专题
第12章 散列码：用于有效信息检索的码
第13章 二进制码
第14章 存在很好的线性码
第15章 有关信息论的更多习题
第16章 消息传递
第17章 受限无噪信道上的通信

　　1948年，香农发表了他的划时代论文The Mathematical Theory of Communication，宣告了信息论这一崭新学科的诞生。信息论不仅给出有效通信的极限，而且明确地指出了实现有效而可靠通信的必由之路。通过50多年的努力，人们不仅在理论上发展了香农信息论，而且实际通信系统也在逐步逼近香农极限。信息论是通信理论的重要基石，同时也正迅速渗透到其他相关的自然科学和社会科学领域；显示出强大的生命力和不可估量的应用前景。所有这一切在本书中都得到了绝佳体现，我们很高兴能将它翻译出来推荐给大家。.
　　本书是英国著名的卡文迪许实验室的著名学者David J．C．MacKay博士总结多年教学经验和科研成果，于2003年推出的一部力作。它不仅包含传统信息论的内容(如香农定理和通信系统理论基础)，还对LDPC等最新的编码算法进行了论述。此外，本书作者以高度的学科驾驭能力，匠心独具地在一个统一框架下讨论了贝叶斯数据建模、蒙特卡罗方法、聚类算法、神经网络等属于机器学习和推理领域的主题。从而很好地将通信、信号处理、数据挖掘、机器学习、模式识别、计算神经学、生物信息学和密码学等诸多学科的技术内涵融会贯通。本书注重理论与实际的结合，内容组织科学严谨，反映了多门学科的内在联系和发展趋势。同时，本书还包含了丰富的例题和近400道习题(其中许多习题还配有详细的解答)，便于教学或自学，适合作为信息科学与技术相关专业高年级本科生和研究生教材，对相关专业技术人员也不失为一本有益的参考书。虽然信息论相关技术的发展日新月异，我们相信本书的内容不会很快过时；虽然国内外关于信息论的专著和教材已经出版很多，但本书有其显著特色和优势，有望成为一本素质教育教材。
　　本书主体部分包含六大部分，共50章。第一部分至第三部分为传统信息论的内容，讨论了信源编码定理和数据压缩；噪声信道编码定理和纠错码以及散列码等专题。第四部分涉及概率与推理，着重论述贝叶斯推理、聚类算法、蒙特卡罗方法以及决策论等内容，并指出了基于抽样理论的传统推理方法所存在的不足。第五部分神经网络，讨论了单神经元分类器、神经网络学习推理和Hopfield网络，还着重推导了神经网络的信息容量。第六部分稀疏图码，介绍LDPC码、Turbo码、重复累加码和数字喷泉码等性能优越的“后现代”信道编码算法。..
　　本书由肖明波、席斌、许芳和王建新等人翻译。具体分工为：肖明波负责前言、第1章至第3章、第27章至第30章和附录部分；王建新负责第4章至第7章、第12章至第19章和第31章至第33章；许芳负责第8章至第11章、第34章至第37章和第47章至第50章；席斌负责第20章至第26章和第38章至第46章。肖明波教授对全书进行了审校。参加本书初稿翻译、校对、讨论、文字整理和公式录入等工作的还有杨光松、张静、卢菲恬、喻继森、林碧娇、苏杰、林小兰等人，在此对他们认真出色的工作和无私奉献的精神表示衷心感谢。
　　由于本书涉及领域广泛，而译者水平有限，加上时间紧迫，译文中难免存在不妥乃至错误之处，敬请读者和同行专家指正。...
　　译者
　　2006年2月
　　

　　20世纪末，以计算机和通信技术为代表的信息科学和技术对世界经济、科技、军事、教育和文化等产生了深刻影响。信息科学技术的迅速普及和应用，带动了世界范围信息产业的蓬勃发展，为许多国家带来了丰厚的回报。.
　　进入21世纪，尤其随着我国加入WTO，信息产业的国际竞争将更加激烈。我国信息产业虽然在20世纪末取得了迅猛发展，但与发达国家相比，甚至与印度、爱尔兰等国家相比，还有很大差距。国家信息化的发展速度和信息产业的国际竞争能力，最终都将取决于信息科学技术人才的质量和数量。引进国外信息科学和技术优秀教材，在有条件的学校推动开展英语授课或双语教学，是教育部为加快培养大批高质量的信息技术人才采取的一项重要举措。
　　为此，教育部要求由高等教育出版社首先开展信息科学和技术教材的引进试点工作。同时提出了两点要求，一是要高水平，二是要低价格。在高等教育出版社和信息科学技术引进教材专家组的努力下，经过比较短的时间，第一批引进的20多种教材已经陆续出版。这套教材出版后受到了广泛的好评，其中有不少是世界信息科学技术领域著名专家、教授的经典之作和反映信息科学技术最新进展的优秀作品，代表了目前世界信息科学技术教育的一流水平，而且价格也是最优惠的，与国内同类自编教材相当。
　　这项教材引进工作是在教育部高等教育司和高教社的共同组织下，由国内信息科学技术领域的专家、教授广泛参与，在对大量国外教材进行多次遴选的基础上，参考了国内和国外著名大学相关专业的课程设置进行系统引进的。其中，John Wiley公司出版的贝尔实验室信息科学研究中心副总裁Silberschatz教授的经典著作《操作系统概念》，是我们经过反复谈判，做了很多努力才得以引进的。William Stallings先生曾编写了在美国深受欢迎的信息科学技术系列教材，其中有多种教材获得过美国教材和学术著作者协会颁发的计算机科学与工程教材奖，这批引进教材中就有他的两本著作。留美中国学者Jiawei Han先生的《数据挖掘》是该领域中具有里程碑意义的著作。由达特茅斯学院的Thomas Cormen和麻省理工学院、哥伦比亚大学几位学者共同编著的经典著作《算法导论》，在经历了11年的锤炼之后于2001年出版了第二版。目前任教于美国Massachusetts大学的James Kurose教授，曾在美国三所高校先后10次获得杰出教师或杰出教学奖，由他主编的《计算机网络》出版后，以其体系新颖、内容先进而备受欢迎。在努力降低引进教材售价方面，高等教育出版社做了大量和细致的工作。这套引进的教材体现了权威性、系统性、先进性和经济性等特点。..
　　教育部也希望国内和国外的出版商积极参与此项工作，共同促进中国信息技术教育和信息产业的发展。我们在与外商的谈判工作中，不仅要坚定不移地引进国外最优秀的教材，而且还要千方百计地将版权转让费降下来，要让引进教材的价格与国内自编教材相当，让广大教师和学生负担得起。中国的教育市场巨大，外国出版公司和国内出版社要通过扩大发行数量取得效益。
　　在引进教材的同时，我们还应做好消化吸收，注意学习国外先进的教学思想和教学方法，提高自编教材的水平，使我们的教学和教材在内容体系上，在理论与实践的结合上，在培养学生的动手能力上能有较大的突破和创新。
　　目前，教育部正在全国35所高校推动示范性软件学院的建设和实施，这也是加快培养信息科学技术人才的重要举措之一。示范性软件学院要立足于培养具有国际竞争力的实用性软件人才，与国外知名高校或著名企业合作办学，以国内外著名IT企业为实践教学基地，聘请国内外知名教授和软件专家授课，还要率先使用引进教材开展教学。
　　我们希望通过这些举措，能在较短的时间，为我国培养一大批高质量的信息技术人才，提高我国软件人才的国际竞争力，促进我国信息产业的快速发展，加快推动国家信息化进程，进而带动整个国民经济的跨越式发展。...
　　教育部高等教育司
　　二OO二年三月