集体智慧编程

.监督学习和无监督学习
单词向量
分级聚类
绘制树状图
列聚类
k-均值聚类
针对偏好的聚类
以二维形式展现数据
有关聚类的其他事宜
练习
第4章 搜索与排名
搜索引擎的组成
一个简单的爬虫程序
建立索引
查询
基于内容的排名
利用外部回指链接
从点击行为中学习
练习
第5章 优化
组团旅游
描述题解
成本函数
随机搜索
爬山法
模拟退火算法
遗传算法
真实的航班搜索
涉及偏好的优化
网络可视化
其他可能的应用场合
练习
第6章 文档过滤
过滤垃圾信息
文档和单词
对分类器进行训练
计算概率
朴素分类器
费舍尔方法
将经过训练的分类器持久化
过滤博客订阅源
对特征检测的改进
使用akismet
替代方法
练习
第7章 决策树建模
预测注册用户
引入决策树
对树进行训练
选择最合适的拆分方案
以递归方式构造树
决策树的显示
对新的观测数据进行分类
决策树的剪枝
处理缺失数据
处理数值型结果
对住房价格进行建模
对“热度”评价进行建模
什么时候使用决策树
练习
第8章 构建价格模型
构造一个样本数据集
k-最近邻算法
为近邻分配权重
交叉验证
不同类型的变量
对缩放结果进行优化
不对称分布
使用真实数据——ebay api
何时使用k-最近邻算法
练习
第9章 高阶分类：核方法与svm
婚介数据集
数据中的难点
基本的线性分类
分类特征
对数据进行缩放处理
理解核方法
支持向量机
使用libsvm
基于facebook的匹配
练习
第10章 寻找独立特征
搜集一组新闻
先前的方法
非负矩阵因式分解
结果呈现
利用股票市场的数据
练习
第11章 智能进化
什么是遗传编程
将程序以树形方式表示
构造初始种群
测试题解
对程序进行变异
交叉
构筑环境
一个简单的游戏
更多可能性
练习
第12章 算法总结
贝叶斯分类器
决策树分类器
神经网络
支持向量机
k-最近邻
聚类
多维缩放
非负矩阵因式分解
优化
附录a：第三方函数库
附录b：数学公式
索引

.　　多范式
　　Python支持面向对象、过程式和函数式编程风格。机器学习算法千差万别，最为清晰的做法是针对不同算法采用不同的范式。有时将函数作为参数传入很有用处，而有时我们则须要在对象中捕获状态。对于这两种方式，Python均予以支持。
　　多平台和免费
　　Python有一个针对所有主流平台的单一参考实现，并且它对所有平台都是免费的。本书中所列代码可以运行于Windows、Linux和Macintosh环境。
　　Python技巧
　　Python Tips
　　对于有兴趣学习Python编程的初学者而言，笔者推荐大家阅读由Mark Lutz与David Ascher合著的《Learning Python》（O’Reilly），该书有对Python的全面论述。为了更为直观地表达算法或基础性概念，笔者在整本书中使用了一些Python特有的语法，但是其他语言的程序员应该会发现，Python的代码相对而言还是较为容易掌握的。下面是为非Python程序员提供的一份快速概览。
　　列表和字典的构造函数
　　Python有一组不错的基本类型，其中有两种类型在本书中被大量使用，它们分别是列表和字典。列表是由一组任意类型的值构成的有序列表，它由方括号构造而成：
　　number_list=[1,2,3,4]
　　string_list=['a', 'b', 'c', 'd']
　　mixed_list=['a', 3, 'c', 8]
　　字典是由一组名值对构成的无序集合，类似于其他语言中的hash map。它由大括号构造而成：
　　ages={'John':24,'Sarah':28,'Mike':31}
　　可以通过序列名后跟方括号的形式来访问列表和字典中的元素：
　　string_list[2] # returns 'b'
　　ages['Sarah'] # returns 28
　　有意义的空白字符
　　与大多数语言有所不同，Python实际上是利用代码的缩进来定义代码块的。请看下列代码片段：
　　if x==1:
　　 print 'x is 1'
　　 print 'Still in if block'
　　print 'outside if block'
　　因为代码是被缩进的，所以语法解释器知道前两个打印语句会在x为1的时候被执行。缩进可以是任意数量的空格，只要它是常量即可。本书使用的缩进是两个空格。在输入代码的时候，我们须要注意正确拷贝缩进。
　　列表推导式
　　列表推导式（list comprehension）是一种方便简洁的语法形式，我们可以利用它将一个列表经过滤后转换成另一个列表，也可以利用它将函数应用于列表中的元素。列表推导式以如下形式书写：
　　 [表达式 for 变量 in 列表]
　　或者：
　　[表达式 for 变量 in 列表 if 条件]
　　例如，下列代码：
　　l1=[1,2,3,4,5,6,7,8,9]
　　print [v*10 for v in l1 if v1]4]
　　将打印输出如下列表：
　　[50,60,70,80,90]
　　本书中频繁地使用了列表推导式，因为要将一个函数应用于整个列表，或是删除不需要的列表项时，这种表达方法非常简练。列表推导式的另一种常见用法是与dict构造函数结合在一起使用：..
　　l1=[1,2,3,4,5,6,7,8,9]
　　timesten=dict([(v,v*10) for v in l1])
　　上述代码将会建立一个字典，以原先的列表作为键，以每个列表项乘以10作为值：
　　{1:10,2:20,3:30,4:40,5:50,6:60,7:70,8:80,9:90}
　　开放的API
　　Open APIs
　　用于将聚集型智慧合成起来的算法需要来自许多用户的数据。除机器学习的算法外，本书还论及了许多开放的Web APIs（应用编程接口）。这些API允许我们通过特殊的协议对来自相应Web站点的数据进行访问；我们可以编写程序将数据下载下来并加以处理。这些数据通常是由站点的使用者来提供的，我们可以从中挖掘出新的内涵来。有的时候，我们可以用现成的Python库来访问这些API；而有时，如果没有现成的库，那么最为直接的做法莫过于创建自己的接口来访问数据，为此我们须要利用Python提供的内建库将数据下载下来，并对XML加以解析。
　　此处列出了一系列提供开放API的Web站点，我们将在本书中陆续接触到这些站点。
　　del.icio.us
　　一个社会型书签应用系统（social bookmarking application），其开放的API允许你根据标签（tag）或特定的用户来下载链接。
　　Kayak
　　一个提供API的旅游网站，你可以利用API在自己的程序中集成针对航班和旅馆的搜索。
　　eBay
　　一个提供API的在线交易站点，允许你查询当前正在出售的货品。
　　Hot or Not
　　一个评分与交友的网站，提供API对人员进行搜索，并获取其评分及个人资料。
　　Akismet
　　一种用于对协作型垃圾信息进行过滤的API。
　　通过对来自单一源的数据进行处理，对来自多个源的数据进行组合，甚至通过将外部信息与自有系统的用户输入信息加以组合，我们可以构造出大量的潜在应用。对人们在不同网站以各种不同方式产生的数据加以充分利用的能力，便是构建聚集型智慧的一个基本要素。如果你想寻找更多的提供开放API的Web站点，不妨从访问ProgrammableWeb开始（http://www.programmableweb.com）。
　　各章概览
　　Overview of the Chapters
　　本书的每个算法都来源于某一现实的问题，希望这些问题能够很容易地被广大读者所理解。笔者将尝试尽量避开那些要求大量领域知识的问题，而将焦点集中在那些虽不失复杂性，但对大多数涉足者而言却又是简单易懂的问题上。
　　第1章，聚集型智慧导言
　　本章解释了蕴藏于机器学习背后的概念，并解释了如何将其应用于诸多不同的领域，以及如何利用它对搜集自许多不同人群的数据进行分析，并从中得出新的结论。
　　第2章，提供推荐
　　本章介绍协作型过滤（collaborative filtering）技术，这项技术被许多在线零售商用来向顾客推荐商品或媒体。本章中有一节介绍了如何向一个社会型书签服务网站的用户提供推荐链接，还介绍了如何根据MovieLens所提供的数据集构筑一个影片推荐系统。
　　第3章，发现群组
　　本章基于第2章中给出的某些观点，介绍了两种不同的聚类方法，利用这些方法，我们可以在一个大数据集中自动找出具有相似特征的群组。本章还演示了如何利用聚类算法从一组颇受欢迎的博客之中寻找群组，以及利用聚类算法根据某个社会型网站的用户意愿去寻找群组。
　　第4章，搜索与排名
　　本章描述了构成一个搜索引擎的各个不同组成部分，它们包括：爬虫程序（crawler）、索引程序（indexer），以及查询引擎（query engine）。本章介绍了以来自外部网站的链接信息为依据给网页打分的PageRank算法，还向你展示了如何构建神经网络，借此获知与不同结果相关联的关键词。
　　第5章，优化
　　本章介绍了优化算法，设计这些算法的目的，是为了对问题的数百万个可能的题解进行搜索，并从中选出最优解来。书中利用示例演示了这些算法的各种不同用法，包括：为一群去往相同地点的旅客寻找最佳航班，寻求为学生安排宿舍的最佳方案，以及给出交叉线数量最小的网络布局。
　　第6章，文档过滤
　　本章向读者演示了贝叶斯过滤，这一方法被广泛应用于许多免费的和商业的垃圾信息过滤系统中，用于根据单词类型及出现在文档中的其他特征对文档进行自动分类。我们将其应用于一组RSS搜索结果，以此来说明对内容项的自动分类过程。
　　第7章，决策树建模
　　本章介绍了决策树，我们不仅将它作为一种预测方法，而且还用它来为决策过程进行建模。本章中出现的第一棵决策树是根据假想的服务器日志数据构建而成的，我们利用它来预测用户是否有可能成为付费订户（premium subscriber）。本章的另一个例子则使用了来自真实Web站点的数据，用以对住房价格和来自Hot or Not网站的“热度（hotness）”评价进行建模。
　　第8章，构建价格模型
　　本章解决的是数值预测问题而非分类问题，期间用到了k-最近邻技术，并且还用到了第5章中的优化算法。我们将这些方法与eBay API结合在一起构造出一个系统，能够根据拍卖品的一组属性，预测出最终的拍卖价格。
　　第9章，高阶分类：核方法与SVM
　　本章向读者介绍了如何利用支持向量机（support-vector machines）对在线约会网站的用户进行匹配，以及如何将其用于针对专业交友网站的好友信息搜索。支持向量机是一项非常高阶的技术，本章将之与其他方法进行了对比。
　　第10章，寻找独立特征
　　本章介绍了一种相对较新的技术，称为非负矩阵因式分解（non-negative matrix factorization），我们利用这项技术在数据集中寻找独立的特征。对许多数据集而言，其中所包含的内容都是可以借助一组独立特征的组合被重新构造出来的，而这些特征是我们事先不知道的；非负矩阵因式分解的思路便是要寻找这些特征。在本章中，我们利用一组新闻报道说明了该项技术的使用；期间，通过新闻故事来寻找其中的主题，一篇给定的新闻故事中会包含一个或多个这样的主题。
　　第11章，智能进化
　　本章介绍了遗传编程（genetic programming）的概念，这是一组非常复杂的技术，它超出了优化的范畴。并且，这项技术实际上借鉴了进化的思想，它是通过自动构造算法的方式来解决特定问题的。我们通过一个简单的游戏来说明这项技术的应用。在游戏中，计算机最初只是一个学艺不精的初级选手，但是随着游戏的不断进行，它会通过逐步改进其所拥有的代码来提升自己的技能。
　　第12章，算法总结
　　本章回顾了书中所讲述的所有机器学习算法及统计算法，并将它们与一组人为设计的问题做了对比。这将有助于我们理解算法的工作原理，并形象地说明每种算法划分数据的方法。
　　附录A，第三方函数库
　　给出了有关本书所用的第三方库的信息，例如在哪里可以找到这些第三方库，以及如何进行安装。
　　附录B，数学公式
　　包含了一部分数学公式及其说明，以及本书通篇引入的、以代码形式描述的诸多数学概念。
　　位于每章末尾处的练习，为读者提供了许多相关信息，借此我们可以对算法进行扩展并使其变得更加强大。
　　排版约定
　　Conventions
　　本书使用了下列排版约定。
　　普通字体
　　用于指示菜单标题、菜单选项、菜单按钮，以及键盘快捷键（诸如Alt和Ctrl）。
　　斜体
　　用于指示新的术语、URL、E-mail地址、文件名、文件扩展名、路径名、目录，以及Unix工具。
　　等宽字体
　　用于指示命令（commands）、命令选项（options），、命令开关（switches）、变量（variables）、属性（attributes）、键值（keys）、函数（functions）、类型（types）、类（classes）、名字空间（namespaces）、方法（methods）、模块（modules）、成员属性（properties）、参数（parameters）、值（values）、对象（objects）、事件（events）、事件处理器（event handlers）、XML标签、HTML标签、宏、文件内容或命令的输出结果。
　　等宽粗体
　　用于显示命令或其他应该由用户手工逐字输入的文本。
　　定宽斜体
　　用于显示可替换文本，这些文本应该被替换成用户提供的内容。
　　该图标代表了提示、建议，或者一般性注释。
　　使用示例代码
　　Using Code Examples
　　本书旨在帮助你完成手头的工作。一般而言，你可以在自己的程序和文档中随意使用书中代码。除非原样引用大量的代码，否则你无须征得我们的许可。例如，在编写程序时引用了本书的若干代码片段是无须许可的。而销售或发行O’Reilly图书的示例光盘则是须要许可的。通过引用书中内容及示例代码的方式来答疑解难是无须许可的。而将书中的大量示例代码加入到你的产品文档中则是须要许可的。
　　如果你在引用时注明出处，我们将不胜感激，但是这并非必需。引用通常包含了标题、作者、出版商，以及ISBN号。例如：“Programming Collective Intelligence by Toby Segaran. Copyright 2007 Toby Segaran, 978-0-596-52932-1”。
　　如果你发现自己对示例代码的使用有失公允或违反了上述条款，敬请通过permissions@ oreilly.com与我们取得联系。
　　如何联系我们
　　How to Contact Us
　　如果你想就本书发表评论或有任何疑问，敬请联系出版社：
　　O’Reilly Media, Inc.
　　1005 Gravenstein Highway North
　　Sebastopol, CA 95472
　　800-998-9938 (in the United States or Canada)
　　707-829-0515 (international or local)
　　707-829-0104 (fax)
　　奥莱理软件（北京）有限公司
　　北京市 西城区 西直门南大街2号 成铭大厦C座807室
　　邮政编码：100055
　　网页：http://www.oreilly.com.cn
　　E-mail：info@mail.oreilly.com.cn
　　与本书有关的在线信息如下所示:
　　http://www.oreilly.com/catalog/9780596529321（原书）
　　http://www.oreilly.com.cn/book.php?bn=（中文版）
　　如果你想就本书发表评论或提问技术问题，请发送E-mail至：
　　bookquestions@oreilly.com
　　北京博文视点资讯有限公司（武汉分部）
　　湖北省 武汉市 洪山区 吴家湾 邮科院路特1号 湖北信息产业科技大厦1402室
　　邮政编码：430074
　　电话：（027）87690813 传真：（027）87690595
　　网页：http://bv.csdn.net
　　读者服务信箱：
　　reader@broadview.com.cn（读者信箱）
　　bvtougao@gmail.com （投稿信箱）
　　致谢
　　Acknowledgments
　　我想对每一位曾经参与本书编写与出版的O’Reilly工作人员表达我的感谢之情。首先，我要感谢Nat Torkington，是他告诉我写书这个想法值得一试，我还要感谢Mike Hendrickson和Brian Jepson，是他们听了我的絮叨并令我兴致勃勃地撰写本书，我尤其要感谢Mary O’Brien，他接手Brian的编辑工作，并且总是能够缓解我对工程浩大的担扰。
　　在出版团队中，我要感谢Marlowe Shaeffer、Rob Romano、Jessamyn Read、Amy Thomson和Sarah Schneider，是他们将我的插图与书稿编辑成您实际想要看到的形式。
　　感谢每一位参与本书校审工作的人，尤其是Paul Tyma、Matthew Russell、Jeff Hammerbacher、Terry Camerlengo、Andreas Weigend、Daniel Russell和Tim Wolters。
　　感谢我的父母。
　　最后，万分感谢我的几位朋友，他们帮助我利用头脑风暴形成了有关本书的一些想法，并且总能对我无暇陪伴他们表示理解：Andrea Matthews、Jeff Beene、Laura Miyakawa、Neil Stroup和Brooke Blumenstein。要是没有你们的支持，写作本书会更为艰难，我必会漏掉一些更为有趣的示例。...