Julia数据科学应用

2.3.2 在.jl文件中组织代码 19
2.3.3 引用代码 20
2.3.4 工作目录 20
2.4 要使用的数据集 21
2.4.1 数据集描述 21
2.4.2 下载数据集 23
2.4.3 加载数据集 24
2.5 在Julia中实现一个简单的机器学习算法 25
2.5.1 算法描述 26
2.5.2 算法实现 27
2.5.3 算法测试 30
2.6 将工作区保存到数据文件 32
2.6.1 将数据保存为分隔值文件 32
2.6.2 将数据保存为Julia数据文件 33
2.6.3 将数据保存为文本文件 35
2.7 帮助 36
2.8 小结 36
2.9 思考题 37
第3章 Julia入门 39
3.1 数据类型 39
3.2 数组 42
3.2.1 数组基础 42
3.2.2 在数组中引用多个元素 43
3.2.3 多维数组 44
3.3 字典 44
3.4 基本命令与函数 45
3.4.1 print()和println() 46
3.4.2 typemax()和typemin() 46
3.4.3 collect() 47
3.4.4 show() 47
3.4.5 linspace() 48
3.5 数学函数 48
3.5.1 round() 48
3.5.2 rand()和randn() 49
3.5.3 sum() 52
3.5.4 mean() 53
3.6 数组与字典函数 53
3.6.1 in 53
3.6.2 append!() 54
3.6.3 pop!() 54
3.6.4 push!() 55
3.6.5 splice!() 55
3.6.6 insert!() 56
3.6.7 sort()和sort!() 57
3.6.8 get() 57
3.6.9 keys()和values() 58
3.6.10 length()和size() 58
3.7 其他函数 59
3.7.1 time() 59
3.7.2 条件语句 59
3.7.3 string() 61
3.7.4 map() 62
3.7.5 versioin() 62
3.8 运算符、循环语句与条件语句 62
3.8.1 运算符 63
3.8.2 循环语句 64
3.8.3 break命令 66
3.9 小结 66
3.10 思考题 67
第4章 Julia进阶 68
4.1 字符串处理 68
4.1.1 split() 69
4.1.2 join() 70
4.1.3 正则表达式函数 70
4.2 定制函数 74
4.2.1 函数结构 74
4.2.2 匿名函数 75
4.2.3 多分派 75
4.2.4 函数示例 76
4.3 实现简单算法 77
4.4 创建完整解决方案 79
4.5 小结 83
4.6 思考题 84
第5章 Julia数据科学应用概述 85
5.1 数据科学工作流程 85
5.2 数据工程 88
5.2.1 数据准备 88
5.2.2 数据探索 90
5.2.3 数据表示 92
5.3 数据建模 93
5.3.1 数据发现 93
5.3.2 数据学习 94
5.4 信息萃取 96
5.4.1 数据产品创建 96
5.4.2 知识、交付物与可视化产品 97
5.5 保持开放型思维 99
5.6 在实际问题中应用数据科学流程 99
5.6.1 数据准备 99
5.6.2 数据探索 100
5.6.3 数据表示 101
5.6.4 数据发现 101
5.6.5 数据学习 102
5.6.6 数据产品创建 102
5.6.7 知识、交付物和可视化产品 103
5.7 小结 103
5.8 思考题 105
第6章 Julia数据工程 106
6.1 数据框 106
6.1.1 创建并填充数据框 107
6.1.2 数据框基础 108
6.1.3 引用数据框中的特定变量 109
6.1.4 探索数据框 109
6.1.5 筛选数据框 110
6.1.6 在数据框变量上应用函数 111
6.1.7 使用数据框进行工作 111
6.1.8 修改数据框 113
6.1.9 对数据框的内容进行排序 113
6.1.10 数据框的一些补充建议 114
6.2 导入与导出数据 115
6.2.1 使用.json数据文件 115
6.2.2 保存数据到.json文件 115
6.2.3 将数据文件加载到数据框 116
6.2.4 保存数据框到数据文件 116
6.3 数据清洗 117
6.3.1 数值型数据的清洗 117
6.3.2 文本型数据的清洗 118
6.4 数据格式化与转换 119
6.4.1 数值型数据的格式化 119
6.4.2 文本数据的格式化 119
6.4.3 数据类型的重要性 120
6.5 对数值型数据进行转换 120
6.5.1 标准化 121
6.5.2 离散化（分箱）与二值化 122
6.5.3 二值变量转换为连续型变量（仅对于二值分类问题） 123
6.5.4 文本数据转换 124
6.5.5 大小写标准化 124
6.5.6 向量化 124
6.6 初步的特征评价 126
6.6.1 回归 126
6.6.2 分类 126
6.6.3 特征评价补充说明 127
6.7 小结 128
6.8 思考题 129
第7章 探索数据集 130
7.1 倾听数据 130
本章要使用的扩展包 131
7.2 计算基本统计量和相关性 131
7.2.1 变量概要 133
7.2.2 变量之间的相关性 134
7.2.3 两个变量之间的可比性 136
7.3 绘制统计图 136
7.3.1 图形语法 137
7.3.2 为可视化准备数据 137
7.3.3 箱线图 138
7.3.4 条形图 138
7.3.5 折线图 139
7.3.6 散点图 140
7.3.7 直方图 143
7.3.8 导出统计图到文件 144
7.4 假设检验 145
7.4.1 检验的基础知识 145
7.4.2 错误类型 146
7.4.3 灵敏度与特异度 146
7.4.4 显著性水平与检验力 146
7.4.5 KRUSKAL-WALLIS检验 147
7.4.6 T-检验 147
7.4.7 卡方检验 149
7.5 其他检验 151
7.6 统计检验附加说明 151
7.7 案例研究：探索OnlineNewsPopularity数据集 151
7.7.1 变量统计 152
7.7.2 可视化 153
7.7.3 假设 154
7.7.4 奇妙的T-SNE方法 155
7.7.5 结论 156
7.8 小结 156
7.9 思考题 159
第8章 构建数据空间 160
8.1 主成分分析 161
8.1.1 在Julia中使用PCA 162
8.1.2 独立成分分析：主成分分析的常用替代方法 164
8.2 特征评价与选择 165
8.2.1 方法论概述 165
8.2.2 在Julia中使用余弦相似度进行特征评价与选择 166
8.2.3 在Julia中使用DID进行特征评价与选择 168
8.2.4 特征评价与选择方法的优缺点 170
8.3 其他数据降维技术 170
8.3.1 其他降维方法概述 171
8.3.2 何时使用高 级降维方法 172
8.4 小结 172
8.5 思考题 173
第9章 数据抽样与结果评价 175
9.1 抽样技术 175
9.1.1 基本抽样 176
9.1.2 分层抽样 176
9.2 分类问题的性能指标 177
9.2.1 混淆矩阵 177
9.2.2 准确度 178
9.2.3 精 确度与召回度 180
9.2.4 F1指标 181
9.2.5 误判成本 181
9.2.6 受试者工作特征（ROC）曲线及相关指标 182
9.3 回归问题的性能指标 185
9.3.1 MSE及其变种RMSE 186
9.3.2 SSE 187
9.3.3 其他指标 187
9.4 K折交叉验证（KFCV） 188
9.4.1 在Julia中应用KFCV 189
9.4.2 KFCV小提示 189
9.5 小结 190
9.6 思考题 192
第 10章 无监督式机器学习 193
10.1 无监督式学习基础知识 193
10.1.1 聚类的类型 194
10.1.2 距离的度量 195
10.2 使用K-均值算法分组数据 196
10.2.1 使用Julia实现K-均值聚类 197
10.2.2 对K-均值算法的使用建议 198
10.3 密度和DBSCAN算法 199
10.3.1 DBSCAN算法 199
10.3.2 在Julia中应用DBSCAN 200
10.4 层次聚类 201
10.4.1 在Julia中使用层次聚类 201
10.4.2 何时使用层次聚类 203
10.5 聚类的验证方式 203
10.5.1 Silhouettes 203
10.5.2 关于聚类验证的一些建议 204
10.6 关于有效进行聚类的一些建议 204
10.6.1 处理高维数据 205
10.6.2 标准化 205
10.6.3 可视化建议 205
10.7 小结 206
10.8 思考题 207
第 11章 监督式机器学习 209
11.1 决策树 210
11.1.1 在Julia中使用决策树 211
11.1.2 关于决策树的一些建议 214
11.2 回归树 214
11.2.1 在Julia中实现回归树 215
11.2.2 关于回归树的一些建议 216
11.3 随机森林 216
11.3.1 在Julia中使用随机森林进行分类 216
11.3.2 在Julia中使用随机森林进行回归 218
11.3.3 关于随机森林的一些建议 219
11.4 基本神经网络 220
11.4.1 在Julia中使用神经网络 221
11.4.2 关于神经网络的一些建议 223
11.5 极限学习机 224
11.5.1 在Julia中使用ELM 224
11.5.2 关于ELM的一些建议 226
11.6 用于回归分析的统计模型 227
11.6.1 在Julia中使用统计回归 227
11.6.2 关于统计回归的一些建议 230
11.7 其他监督式学习系统 230
11.7.1 提升树 230
11.7.2 支持向量机 230
11.7.3 直推式系统 231
11.7.4 深度学习系统 232
11.7.5 贝叶斯网络 232
11.8 小结 233
11.9 本章思考题 235
第 12章 图分析 236
12.1 图的重要性 237
12.2 定制数据集 239
12.3 图的统计量 240
12.4 环的检测 242
用Julia检测环 243
12.5 连通子图 244
12.6 团 245
12.7 图的路径 246
12.8 生成树 248
12.8.1 在Julia中实现MST 249
12.8.2 用文件保存和加载图 250
12.9 Julia在图分析中的作用 251
12.10 小结 252
12.11 思考题 254
第 13章 更上一层楼 255
13.1 Julia社区 255
13.1.1 与其他Julia用户进行交流 255
13.1.2 代码库 256
13.1.3 视频文件 256
13.1.4 新闻 257
13.2 学以致用 257
13.2.1 从这些特征开始 258
13.2.2 关于这个项目的一些思考 259
13.3 在数据科学中使用Julia的思考 260
13.3.1 不断提高Julia编程水平 260
13.3.2 贡献Julia项目 261
13.3.3 Julia在数据科学中的未来 262
附录A 下载安装Julia与IJulia 264
附录B 与Julia相关的一些常用站点 266
附录C 本书所用的扩展包 268
附录D Julia与其他平台的集成 269
D.1 Julia与R的集成 269
D.1.1 在R中运行Julia脚本 269
D.1.2 在Julia中运行R脚本 270
D.2 Julia与Python的集成 270
D.2.1 在Python中运行Julia脚本 270
D.2.2 在Julia中运行Python脚本 271
附录E Julia中的并行处理 272
附录F 各章思考题答案 275