[套装书]计算机视觉增强现实应用（3册）[POD]

小结 36
2.3 图像处理基本原理 37
2.3.1 数字图像的色彩模型 37
2.3.2 图像的截取与缩放 40
2.3.3 线性滤波器的运用 42
小结 46
2.4 图像局部特征的提取与匹配 46
2.4.1 SIFT特征描述子 47
2.4.2 ORB特征描述子 56
2.4.3 模板匹配 64
小结 66
2.5 图像的边缘检测 67
2.5.1 一阶导数边缘检测 67
2.5.2 二阶导数边缘检测 69
2.5.3 Canny算子边缘检测 73
2.5.4 基于二值图像的模板匹配 74
小结 80
2.6 位姿估计 80
2.7 用于运动状态预测的滤波器 83
2.7.1 贝叶斯滤波器 83
2.7.2 粒子滤波器 85
2.7.3 卡尔曼滤波器 90
小结 95
2.8 即时定位与地图构建系统 95
2.8.1 单目LSD-SLAM 97
2.8.2 单目ORB-SLAM 104
小结 107
第3章 增强现实系统简介 108
3.1 增强现实软件系统 108
3.1.1 增强现实软件系统概述 108
3.1.2 基于平面图像识别的增强现实系统 110
3.1.3 基于实物识别的增强现实系统 113
3.1.4 基于SLAM的增强现实系统 116
小结 117
3.2 增强现实硬件系统 117
3.2.1 基于高清摄像机的舞台增强现实系统 117
3.2.2 基于普通智能手机的增强现实系统 119
3.2.3 基于包含深度摄像模块的手持设备增强现实系统 119
3.2.4 基于单目智能眼镜的增强现实系统 122
3.2.5 基于双目可穿透式智能眼镜的增强现实系统 124
3.2.6 基于投影的增强现实系统 125
小结 127
3.3 国际主流增强现实引擎简介 127
第4章 增强现实相关的人机交互系统简介 129
4.1 手势识别交互系统 129
4.1.1 2D静态手势识别 129
4.1.2 2D动态手势识别 130
4.1.3 3D手势识别 130
4.2 语音识别交互系统 132
4.3 眼动追踪交互系统 134
小结 135
第5章 增强现实行业应用 136
5.1 增强现实在教育和技能培训领域的应用 136
5.1.1 早教类增强现实应用 137
5.1.2 学科教学类增强现实应用 138
5.1.3 工业培训类增强现实应用 140
5.2 增强现实在游戏娱乐领域的应用 141
5.3 市场营销类增强现实应用 143
5.4 文化旅游类增强现实应用 146
5.5 工业和医疗类增强现实应用 147
5.6 军事类增强现实应用 149
小结 150
第6章 增强现实系统发展趋势 151
6.1 增强现实软件发展趋势 151
6.1.1 深度学习与增强现实的结合 151
6.1.2 云计算技术与增强现实的结合 155
6.1.3 大范围三维重建技术 156
小结 160
6.2 增强现实硬件发展趋势 160
6.2.1 基于光场成像技术的增强现实系统 160
6.2.2 基于半导体光学的增强现实系统 169
小结 172
6.3 增强现实人机交互技术发展趋势 172
6.3.1 新形态用户界面 172
6.3.2 新形态交互技术 181
小结 182
第7章 结语 183
《计算机视觉增强现实应用程序开发》
前言
第1章Unity 3D AR应用开发基础 1
1.1 Unity 3D引擎简介 1
1.1.1Unity 3D的下载与安装 1
1.1.2Unity 3D操作界面简介 6
1.1.3Unity 3D的基础组件与操作 7
1.1.4Unity 3D的资源商店 14
1.2Unity 3D编程基础 14
1.2.1C#编程基础 14
1.2.2C#面向对象编程基础 24
1.2.3C#面向对象编程进阶 26
1.2.4Unity 3D中的C#脚本 30
1.3Unity 3D编程进阶 32
1.3.1Unity 3D的设计模式 32
1.3.2MonoBehavior的生命周期 33
1.3.3控制GameObject的位置 37
1.3.4控制GameObject的生成和销毁 40
1.3.5处理Unity 3D中的物体碰撞 43
1.3.6UI组件的使用 45
1.4AR中常用的Unity 3D插件 49
1.4.1视频播放插件：Easy Movie Texture 50
1.4.2动画控制插件：iTween 53
1.4.3手势控制插件：Easy Touch 57
第2章使用Vuforia开发AR应用 60
2.1Vuforia SDK简介 60
2.1.1Vuforia SDK的下载与安装 60
2.1.2创建App License Key 62
2.1.3在SDK中输入App License Key 63
2.2使用Vuforia SDK进行物体识别 64
2.2.1图片识别 64
2.2.2长方体识别 70
2.2.3圆柱体识别 73
2.2.4物体识别 76
2.3使用Vuforia SDK制作AR视频 80
2.3.1上传识别图 80
2.3.2创建识别视频播放GameObject 80
2.3.3创建识别图目标 83
2.3.4编译运行程序 85
2.4制作AR对战游戏 87
2.4.1制作识别图 87
2.4.2创建子弹 87
2.4.3 创建玩家角色 90
2.4.4创建敌人 102
2.4.5将玩家和角色设定为Image Target 104
第3章AR应用中的拓展功能实现 110
3.1在Unity 3D中实现网络通信 110
3.1.1计算机网络简介 110
3.1.2搭建一个HTTP服务器 111
3.1.3使用WWW从HTTP服务器获取图片 112
3.2在Unity 3D中获取天气信息 115
3.2.1通过网络API获取天气数据 115
3.2.2使用GZipStream解压缩字符数组 116
3.2.3在Unity中反序列化JSON数据 117
3.3在Unity 3D中获取GPS信息 119
3.3.1LocationService类 119
3.3.2构建场景和UI处理逻辑 119
3.3.3获取GPS数据 120
3.3.4通过地理位置获取城市 123
3.4在Unity中实现二维码的生成与识别 126
3.4.1QR CodeBarcode Scanner and Generator简介 126
3.4.2搭建工程场景 127
3.4.2扫描二维码 128
3.4.3生成二维码 130
3.5在Unity 3D中实现动态资源加载 132
3.5.1AssetBundle简介 132
3.5.2如何创建AssetBundle 132
3.5.3如何加载AssetBundle 134
3.5.4AssetBundle之间的依赖关系 135
3.6在Unity 3D中实现热更新 141
3.6.1热更新方案比较 141
3.6.2XLua简介 142
3.6.3如何使用XLua更新 142
第4章使用OpenCV开发图像识别应用 145
4.1OpenCV图像识别简介 145
4.1.1OpenCV图像识别技术应用领域 145
4.1.2OpenCV技术模块简介 145
4.1.3OpenCV For Unity插件介绍 147
4.2配置基础开发环境 148
4.2.1开发环境要求 148
4.2.2导入OpenCV For Unity插件包 148
4.2.3配置OpenCV For Unity插件 149
4.2.4运行OpenCV For Unity示例工程 149
4.3面部识别 152
4.3.1FaceTrackerSample扩展插件简介 152
4.3.2场景搭建 152
4.3.3编写面部识别脚本 155
第5章使用ARToolkit进行AR开发 160
5.1ARToolKit简介 160
5.1.1ARToolKit是什么 160
5.1.2ARToolKit特性简介 161
5.1.3ARToolKit插件包导入 161
5.1.4ARToolKit中的目录简介 163
5.2搭建一个简单的AR场景 163
5.2.1创建并设置AR Controller 163
5.2.2创建并设置ARMarker 165
5.2.3创建并设置AR Origin和AR Tracked Object 165
5.2.4创建并设置ARCamera 166
5.2.5运行场景 168
5.3ARToolKit中的识别图简介 168
5.3.1传统模板正方形识别图 168
5.3.22D-Barcode识别图 173
5.3.3多重识别图 175
5.3.4特征点识别图 177
5.4ARToolKit的进阶内容 178
5.4.1AR Controller的运行机制 178
5.4.2ARToolKit中性能问题的调查 178
5.4.3ARToolKit的使用限制 179
5.5跨平台开发的注意事项 180
5.5.1插件已知问题 180
5.5.2Android 180
5.5.3iOS 182
第6章Kinect应用开发 183
6.1Kinect简介 183
6.1.1Kinect是什么 183
6.1.2Kinect功能特性简介 183
6.2搭建Kinect的Unity 3D开发环境 184
6.2.1硬件需求 184
6.2.2安装DirectX 185
6.2.3安装Kinect SDK 186
6.2.4安装Kinect Unity插件 188
6.3使用Kinect制作体感游戏 190
6.3.1创建Kinect Manager 190
6.3.2导入人物3D模型并创建Avatar 190
6.3.3创建人物 192
6.3.4创建敌人 194
6.3.5为人物添加攻击处理 197
6.3.6添加UI显示 199
第７章HoloLens 202
7.1HoloLens简介 202
7.1.1Hologram简介 204
7.1.2HoloLens硬件细节 205
7.1.3HoloLens shell 207
7.1.4使用MRC 209
7.1.5HoloLens配件使用 210
7.2HoloLens使用与开发环境配置 210
7.2.1使用Windows Device Portal 210
7.2.2安装HoloLens开发工具 213
7.2.3HoloLens模拟器的使用 213
7.3使用Unity开发HoloLens全息应用 215
7.3.1配置适用于HoloLens开发的Unity工程 215
7.3.2摄像机(Camera)设置 219
7.3.3凝视（Gaze）功能实现 220
7.3.4手势（Gesture）功能实现 222
7.3.5语音输入（Voice input）功能实现 225
7.3.6世界锚（World Anchor）与场景保持（Persistence）功能实现 229
7.3.7空间音效（Spatial Sound）功能实现 234
7.3.8空间映射（Spatial Mapping）功能实现 235
《计算机视觉增强现实应用平台开发 》
序
前言
第1章 AR云端制作平台简介 1
1.1什么是AR云端制作平台 1
1.1.1云端平台的组成结构 1
1.1.2云端平台与离线模式 3
1.2术语解释 4
1.2.1识别信息 4
1.2.2场景 4
1.2.3项目 4
1.2.4项目默认场景 5
1.2.5本地识别 6
1.2.6AR资源包 6
1.3功能原理 7
1.3.1制作 7
1.3.2管理 8
1.3.3内容平台 8
1.3.4统计分析 9
1.3.5AR场景查看 9
1.3.6识别与追踪 10
1.4章后小结 10
第2章 开始体验 11
2.1新建项目 11
2.2新建场景 12
2.2.1模板新建 12
2.2.2编辑器新建 13
2.3推荐到Cloudar云识别 15
2.3.1推荐到公共项目 15
2.3.2查看公共项目 17
2.4使用AR云端制作平台APP查看 17
2.4.1查看步骤 17
2.4.2界面说明 18
2.5AR模式功能设置 19
2.5.1AR场景模式 19
2.5.2陀螺仪模式 20
2.5.3屏幕中心模式 20
2.5.4设置方法 21
2.6章后小结 22
第3章 AR场景制作 23
3.1模板说明 23
3.1.1图片基础模板 24
3.1.2视频基础模板 26
3.1.3透明视频基础模板 28
3.1.4模型基础模板 31
3.2编辑器使用说明 34
3.2.1创建编辑器场景 34
3.2.2素材添加与调整 35
3.2.3交互功能定义 36
3.2.4保存和再编辑 37
3.3音乐/全景/在线视频/图文信息的增加使用 37
3.4动态加载功能 41
3.5AR视频控制功能 41
3.6模型动画控制功能 43
3.7显示/隐藏功能 45
3.8自定义动画功能 45
3.9手势功能 47
3.10图文信息控制功能 51
3.11打开网页功能 53
3.12音乐控制功能 55
3.13全景图控制功能 56
3.14在线视频控制功能 58
3.15章后小结 60
第4章 素材规范 61
4.1识别图规范 61
4.1.1识别图规范小贴士 61
4.1.2识别效果不稳定的原因说明 61
4.1.3识别图效果不佳的改进方法 62
4.2素材格式规范 66
4.2.1图片 66
4.2.2模型 67
4.2.3AR视频 67
4.2.4音频 67
4.2.5在线视频 67
4.2.6透明视频 67
4.2.7图文消息 67
4.2.8全景图片 67
4.3模型处理规范 68
4.3.1建模软件 68
4.3.2白模制作 68
4.3.3材质贴图制作 73
4.3.4烘焙贴图 77
4.3.5动画制作 78
4.3.6动画拆分 78
4.3.7模型导出 81
4.3.8定制特性 82
4.4AR视频处理 83
4.4.1视频规格规范 83
4.4.2视频转换须知 83
4.4.3AR视频与透明视频 85
4.4.4透明视频素材制作规范 87
4.4.5真人透明视频制作方法 92
4.4.6其他视频处理问题 98
4.5章后小结 99
第5章 AR云端制作平台教程制作实训 100
5.1AR云端制作平台编辑器案例制作 100
5.1.1电影海报案例 101
5.1.2婚礼卡片案例 106
5.1.3时尚购物案例 111
5.1.4早教卡片案例 114
5.1.5博物馆导览案例 116
5.1.6智慧旅游案例 119
5.1.7儿童娱乐早教案例（陀螺仪模式+默认场景识别） 131
5.1.8眼镜试戴案例 135
5.2高级功能应用说明 138
5.2.1Unity模板 138
5.2.2Unity模板案例：AR小恶魔 139
5.2.3AR 智能眼镜云平台 148
5.2.4AR 智能眼镜云平台案例制作 151
5.3行业应用案例概述 155
5.3.1提高销售业绩 155
5.3.2提升品牌知名度 157
5.3.3增强艺术表现力 160
5.3.4变革教育认知方式 163
5.4 章后小结 165
第6章 AR接口扩展 166
6.1在线XunAPI的接口标准 166
6.1.1什么是在线XunAPI 166
6.1.2XunAPI提供的接口 166
6.1.3XunAPI的使用方法 167
6.2AR云端制作平台的接口标准 168
6.2.1授权验证 168
6.2.2一些请求头说明 169
6.2.3统一的分页｜排序｜过滤搜索功能处理 169
6.2.4接口返回值规范 170
6.3项目增删改查接口说明 170
6.3.1上传项目封面图 170
6.3.2增加一个项目 171
6.3.3修改一个项目 172
6.3.4删除项目 173
6.3.5查询项目信息 173
6.3.6获取自己所有的项目列表 174
6.4场景增删改查接口说明 175
6.4.1增加场景 175
6.4.2修改场景 175
6.4.3删除场景 176
6.4.4查询场景 176
6.5素材信息增删接口说明 176
6.5.1增加素材 176
6.5.2删除素材 178
第7章 平台未来特性 179
7.1开放的编辑器API接口 179
7.2实