机器学习系统设计

2.2 　构建更复杂的分类器 28
2.3 　更复杂的数据集和更复杂的分类器 29
2.3.1 　从Seeds数据集中学习 29
2.3.2 　特征和特征工程 30
2.3.3 　最邻近分类 30
2.4 　二分类和多分类 33
2.5 　小结 34
第3章　聚类：寻找相关的帖子 35
3.1 　评估帖子的关联性 35
3.1.1 　不应该怎样 36
3.1.2 　应该怎样 36
3.2 　预处理：用相近的公共词语个数来衡量相似性 37
3.2.1 　将原始文本转化为词袋 37
3.2.2 　统计词语 38
3.2.3 　词语频次向量的归一化 40
3.2.4 　删除不重要的词语 41
3.2.5 　词干处理 42
3.2.6 　停用词兴奋剂 44
3.2.7 　我们的成果和目标 45
3.3 　聚类 46
3.3.1 　K均值 46
3.3.2 　让测试数据评估我们的想法 49
3.3.3 　对帖子聚类 50
3.4 　解决我们最初的难题 51
3.5 　调整参数 54
3.6 　小结 54
第4章　主题模型 55
4.1 　潜在狄利克雷分配（LDA） 55
4.2 　在主题空间比较相似度 59
4.3 　选择主题个数 64
4.4 　小结 65
第5章　分类：检测劣质答案 67
5.1 　路线图概述 67
5.2 　学习如何区分出优秀的答案 68
5.2.1 　调整样本 68
5.2.2 　调整分类器 68
5.3 　获取数据 68
5.3.1 　将数据消减到可处理的程度 69
5.3.2 　对属性进行预选择和处理 70
5.3.3 　定义什么是优质答案 71
5.4 　创建第一个分类器 71
5.4.1 　从k邻近（kNN）算法开始 71
5.4.2 　特征工程 72
5.4.3 　训练分类器 73
5.4.4 　评估分类器的性能 74
5.4.5 　设计更多的特征 74
5.5 　决定怎样提升效果 77
5.5.1 　偏差?方差及其折中 77
5.5.2 　解决高偏差 78
5.5.3 　解决高方差 78
5.5.4 　高偏差或低偏差 78
5.6 　采用逻辑回归 81
5.6.1 　一点数学和一个小例子 81
5.6.2 　在帖子分类问题上应用逻辑回归 83
5.7 　观察正确率的背后：准确率和召回率 84
5.8 　为分类器瘦身 87
5.9 　出货 88
5.10 　小结 88
第6章　分类II：情感分析 89
6.1 　路线图概述 89
6.2 　获取推特（Twitter）数据 89
6.3 　朴素贝叶斯分类器介绍 90
6.3.1 　了解贝叶斯定理 90
6.3.2 　朴素 91
6.3.3 　使用朴素贝叶斯进行分类 92
6.3.4 　考虑未出现的词语和其他古怪情况 94
6.3.5 　考虑算术下溢 95
6.4 　创建第一个分类器并调优 97
6.4.1 　先解决一个简单问题 97
6.4.2 　使用所有的类 99
6.4.3 　对分类器的参数进行调优 101
6.5 　清洗推文 104
6.6 　将词语类型考虑进去 106
6.6.1 　确定词语的类型 106
6.6.2 　用SentiWordNet成功地作弊 108
6.6.3 　我们第一个估算器 110
6.6.4 　把所有东西融合在一起 111
6.7 　小结 112
第7章　回归：推荐 113
7.1 　用回归预测房价 113
7.1.1 　多维回归 116
7.1.2 　回归里的交叉验证 116
7.2 　惩罚式回归 117
7.2.1 　L1和L2惩罚 117
7.2.2 　在Scikit-learn中使用Lasso或弹性网 118
7.3 　P大于N的情形 119
7.3.1 　基于文本的例子 120
7.3.2 　巧妙地设置超参数（hyperparameter） 121
7.3.3 　评分预测和推荐 122
7.4 　小结 126
第8章　回归：改进的推荐 127
8.1 　改进的推荐 127
8.1.1 　使用二值推荐矩阵 127
8.1.2 　审视电影的近邻 129
8.1.3 　组合多种方法 130
8.2 　购物篮分析 132
8.2.1 　获取有用的预测 133
8.2.2 　分析超市购物篮 134
8.2.3 　关联规则挖掘 136
8.2.4 　更多购物篮分析的高级话题 137
8.3 　小结 138
第9章　分类III：音乐体裁分类 139
9.1 　路线图概述 139
9.2 　获取音乐数据 139
9.3 　观察音乐 140
9.4 　用FFT构建第一个分类器 143
9.4.1 　增加实验敏捷性 143
9.4.2 　训练分类器 144
9.4.3 　在多分类问题中用混淆矩阵评估正确率 144
9.4.4 　另一种方式评估分类器效果：受试者工作特征曲线（ROC） 146
9.5 　用梅尔倒频谱系数（MFCC）提升分类效果 148
9.6 　小结 152
第10章　计算机视觉：模式识别 154
10.1 　图像处理简介 154
10.2 　读取和显示图像 155
10.2.1 　图像处理基础 156
10.2.2 　加入椒盐噪声 161
10.2.3 　模式识别 163
10.2.4 　计算图像特征 163
10.2.5 　设计你自己的特征 164
10.3 　在更难的数据集上分类 166
10.4 　局部特征表示 167
10.5 　小结 170
第11章　降维 171
11.1 　路线图 171
11.2 　选择特征 172
11.2.1 　用筛选器检测冗余特征 172
11.2.2 　用封装器让模型选择特征 178
11.3 　其他特征选择方法 180
11.4 　特征抽取 181
11.4.1 　主成分分析（PCA） 181
11.4.2 　PCA的局限性以及LDA会有什么帮助 183
11.5 　多维标度法（MDS） 184
11.6 　小结 187
第12章　大数据 188
12.1 　了解大数据 188
12.2 　用Jug程序包把你的处理流程分解成几个任务 189
12.2.1 　关于任务 189
12.2.2 　复用部分结果 191
12.2.3 　幕后的工作原理 192
12.2.4 　用Jug分析数据 192
12.3 　使用亚马逊Web服务（AWS） 194
12.3.1 　构建你的第一台机器 195
12.3.2 　用starcluster自动创建集群 199
12.4 　小结 202
附录A 　更多机器学习知识 203
A.1 　在线资源 203
A.2 　参考书 203
A.2.1 　问答网站 203
A.2.2 　博客 204
A.2.3 　数据资源 205
A.2.4 　竞争日益加剧 205
A.3 　还剩下什么 205
A.4 　小结 206
索引 207

.　　总体而言，本书将使用以下版本的软件，不过如果你使用任何新近版本，也没有问题。
　　Python 2.7
　　NumPy 1.6.2
　　SciPy 0.11
　　Scikit-learn 0.13
　　读者对象
　　本书适合想通过开源库来学习机器学习的Python程序员阅读参考。我们会通过示例概述机器学习的基本模式。
　　本书也适用于想用Python构建机器学习系统的初学者。Python是一个能够快速构建原型系统的灵活语言，它背后的算法都是由优化过的C或C++编写而成。因此，它的代码运行快捷，并且十分稳健，完全可以用在实际产品中。
　　排版约定
　　当你阅读本书时，会发现书中有各式各样的文本，它们用来区分不同类型的信息。下面是这些样式文本的示例以及相应说明。
　　正文中的代码是这样的：“我们可以通过使用include命令将其他内容包含进来。”
　　代码段采用如下形式：
　　def nn_movie(movie_likeness, reviews, uid, mid):
　　likes = movie_likeness[mid].argsort()
　　# 逆序排列，使最受喜爱的电影排在前面
　　likes = likes[::-1]
　　# 返回最相似电影的打分
　　for ell in likes:
　　if reviews[u,ell] > 0:
　　return reviews[u,ell]
　　如果我们想让你注意代码段的特定部分，就会用粗体表示相应代码行或条目：
　　def nn_movie(movie_likeness, reviews, uid, mid):
　　likes = movie_likeness[mid].argsort()
　　# 逆序排列，使最受喜爱的电影排在前面
　　likes = likes[::-1]
　　# 返回最相似电影的打分
　　for ell in likes:
　　if reviews[u,ell] > 0:
　　return reviews[u,ell]
　　新的术语以及重要文字采用楷体字。你在屏幕（如菜单或者对话框）中见到的文字这样出现在正文中：“点击Next按钮以进入下一界面。”
　　这里给出重要的注意事项。
　　提示和技巧则会在这里出现。
　　读者反馈
　　我们一贯欢迎读者的反馈意见。请告诉我们你对本书的看法，喜欢哪些部分，不喜欢哪些部分。这些反馈对于协助我们创作出真正对读者有所裨益的内容至关重要。
　　如果给我们反馈一般性信息，你可以发送电子邮件到feedback@packtpub.com，并在邮件标题中注明书名。如果你是某一方面的专家并愿意参与撰稿，请访问www.packtpub.com/authors参阅我们的作者指南。
　　客户支持
　　现在你已经拥有了某本由Packt出版的书，为了让你的付出得到最大的回报，我们还为你提供了其他许多方面的服务，请注意以下信息。
　　下载代码
　　如果你是通过http://www.packtpub.com的注册账户购买的图书，可以从该账户中下载相应Packt图书的示例代码 。如果你是从其他地方购买的本书，可以访问http://www.packtpub.com/
　　support并进行注册，我们将会为你发送一封附有示例代码文件的电子邮件。
　　勘误
　　虽然我们会全力确保本书内容的准确性，但错误仍在所难免。如果你发现了本书中的错误（包括文字和代码错误），而且愿意向我们提交这些错误，我们感激不尽。这样一来，不仅可以减少其他读者的疑虑，也有助于改进本书后续版本。要提交你发现的错误，请访问http://www.packtpub. com/submit-errata，选择相应图书，点击errata submission form（提交勘误表 ），登记你的勘误详情。勘误通过验证之后将上传到Packt网站，或添加到已有的勘误列表中。任何图书当前的勘误都可以通过http://www.packtpub.com/support来查看。
　　举报盗版
　　对所有媒体来说，互联网盗版都是一个棘手的问题。Packt很重视版权保护。如果你在互联网上发现我们公司出版物的任何非法复制品，请及时告知我们相关网址或网站名称，以便我们采取补救措施。
　　如果发现可疑盗版材料，请通过copyright@packtpub.com联系我们。
　　对你帮助我们保护作者权益、确保我们持续提供高品质图书的行为表示敬意。
　　疑难解答
　　如果你就本书存有疑问，请发送电子邮件到questions@packtpub.com，我们会尽力解决。