VR/AR/MR开发实战——基于Unity与UE4引擎

1.5.13　VR+艺术创作　 17
1.5.14　VR+主题乐园　 18
1.6　增强现实　 20
1.6.1　增强现实的定义　 20
1.6.2　虚拟现实与增强现实的关系　 22
1.7　混合现实和介导现实　 23
1.7.1　混合现实　 23
1.7.2　介导现实　 24
1.8　VR内容构成类型　 25
1.9　虚拟现实开发工具与技术　 25
1.9.1　3D引擎　 25
1.9.2　图形库　 28
1.9.3　虚拟现实编程语言　 29
1.9.4　资源生成工具　 29
1.10　本书约定　 32
第2章 虚拟现实硬件交互设备　 34
2.1　VR头戴显示设备　 34
2.1.1　PC主机端头显　 34
2.1.2　移动端头显　 35
2.1.3　VR一体机　 37
2.2　AR头戴显示设备　 37
2.2.1　Microsoft HoloLens　 38
2.2.2　Magic Leap　 38
2.2.3　Meta Glass　 39
2.3　交互设备　 40
2.3.1　VR手柄　 40
2.3.2　手势识别——Leap Motion　 40
2.3.3　VR数据手套　 41
2.3.4　动作捕捉衣　 42
2.3.5　触觉及力学反馈设备　 43
2.3.6　Virtuix-Omni跑步机　 44
第3章 美术基础——资源的诞生　 46
3.1　3D资源篇综述　 46
3.1.1　模型制作的原则及规范　 46
3.1.2　模型布线的重要性　 53
3.1.3　UV坐标　 60
3.1.4　材质规范　 62
3.2　网游规格模型制作流程　 64
3.2.1　制作模型——古代建筑　 64
3.2.2　UV坐标编辑　 80
3.2.3　贴图纹理——古代建筑　 88
3.3　基于PBR框架相对于传统次世代3D资源的优势　 99
3.3.1　PBR材质的关键技术　 102
3.3.2　PBR材质和传统次世代材质的区别　 106
3.3.3　基于PBR框架的贴图与传统次世代贴图的对比　 108
3.3.4　高精度模型制作的必要性　 109
3.3.5　基于PBR框架的模型以及贴图工作流程　 112
3.4　基于PBR渲染流程的枪械制作　 114
3.4.1　基础模型、计算模型和高精度模型（中、低、高）的制作　 114
3.4.2　UV编辑　 132
3.4.3　导出模型　 150
3.4.4　xNormal烘焙法线贴图及AO贴图的流程　 157
3.4.5　用Quixel_SUITE软件生成符合PBR标准的纹理贴图　 168
第4章 基于手机移动端VR头盔的全景漫游制作　 228
4.1　VR全景拍摄器材准备　 228
4.1.1　GoPro Hero5（7目）全景拍摄设备的硬件周边配置准备　 228
4.1.2　GoPro Hero5（7目）全景拍摄设备的平台搭建组装前的准备　 231
4.2　VR全景素材拍摄流程　 233
4.3　VR全景素材Kolor Autopano Giga后期缝合　 234
4.3.1　资源文件整理　 234
4.3.2　Kolor Autopano Giga全景照片后期缝合制作　 235
4.4　VR全景素材后期漫游制作　 256
4.4.1　关于Kolor Panotour Pro漫游制作软件　 256
4.4.2　Kolor Panotour Pro全景漫游制作　 256
4.4.3　基于三星Gear VR全景漫游制作　 273
第5章 开发平台——游戏引擎　 278
5.1　VR开发常用游戏引擎　 278
5.2　Unity和Unreal两大游戏引擎的特点　 279
5.3　引擎编辑器界面对比　 283
5.4　部分术语对比　 284
第6章 Unity游戏引擎　 285
6.1　软件安装　 285
6.2　Unity常见术语　 292
6.3　界面功能　 293
6.3.1　导航窗口　 294
6.3.2　界面布局　 296
6.3.3　菜单栏　 297
6.3.4　工具栏　 303
6.3.5　Project（项目）视图　 308
6.3.6　Scene（场景）视图　 310
6.3.7　Game（游戏）视图　 315
6.3.8　Hierarchy（层级）视图　 318
6.3.9　Inspector（检视）视图　 320
6.3.10　Console（控制台）视图　 321
6.3.11　其他工作视图　 321
6.4　资源导入导出流程　 330
6.4.1　外部资源创建工具介绍　 330
6.4.2　模型、材质贴图及动画资源导出前的工作　 332
6.4.3　三维软件中导出模型、材质贴图及动画的流程　 335
6.4.4　导入模型、材质贴图及动画的流程　 341
6.4.5　导入外部资源的方法　 349
6.4.6　图片、音频及视频资源类型的设定　 351
6.4.7　导入、导出unitypackage（资源包）　 364
6.4.8　Asset Store资源商店的应用方法　 367
第7章 Unity程序　 373
7.1　设置脚本编辑器　 373
7.2　Unity之C#基础　 374
7.2.1　Unity创建C#脚本　 374
7.2.2　变量和常量　 374
7.2.3　基础数据类型和类型转换　 376
7.2.4　运算符和表达式　 378
7.2.5　语句和函数　 379
7.2.6　访问修饰符　 383
7.2.7　数组、链表和字典　 384
7.2.8　注释和代码折叠　 389
7.2.9　Unity脚本生命周期　 390
7.2.10　访问游戏对象和组件　 393
7.2.11　实例化游戏对象　 396
7.3　Unity常用的类和API　 397
7.3.1　Transform类　 397
7.3.2　Vector类　 399
7.3.3　Input类　 401
7.3.4　Time类　 407
7.3.5　Mathf类　 408
7.3.6　Random类　 409
7.3.7　Coroutine协同程序　 410
7.3.8　WWW类　 411
7.4　Unity之C#进阶　 413
7.4.1　C#中的结构体和枚举　 413
7.4.2　C#类和继承　 415
7.4.3　C#多态　 417
7.4.4　C#重写与重载　 422
7.4.5　C#委托和事件　 423
7.4.6　单例模式　 428
7.5　文件读写　 429
7.5.1　TXT的写入和读取　 429
7.5.2　XML的写入和读取　 431
7.6　脚本调试与优化　 435
7.6.1　脚本调试　 435
7.6.2　优化建议　 438
第8章 Unreal Engine 4（UE4）游戏引擎　 441
8.1　软件安装　 441
8.2　Unreal常见术语　 446
8.3　UE4硬件及系统环境需求　 447
8.4　关卡编辑器界面　 448
8.4.1　虚幻项目浏览器　 448
8.4.2　关卡编辑器——界面综述　 451
8.4.3　关卡编辑器——菜单栏　 453
8.4.4　关卡编辑器——工具栏　 457
8.4.5　关卡编辑器——视口操作　 458
8.4.6　关卡编辑器——视口　 459
8.4.7　关卡编辑器——内容浏览器　 477
8.4.8　关卡编辑器——世界大纲视图　 484
8.4.9　关卡编辑器——图层　 485
8.4.10　关卡编辑器——细节　 486
8.4.11　关卡编辑器——模式　 487
8.4.12　关卡编辑器——运行&模拟　 492
8.5　外部资源导出、导入流程　 495
8.5.1　模型、材质贴图以及动画资源导出前的工作　 497
8.5.2　导入外部资源的通用方法　 501
8.5.3　导入网格体　 501
8.5.4　纹理贴图　 509
8.5.5　音频文件　 515
8.5.6　视频文件　 516
8.5.7　APEX可破坏资源　 522
8.5.8　IES光域网文件　 524
第9章 Unity汽车定制体验系统　 527
9.1　基于HTC VIVE的VR产品开发　 527
9.1.1　SteamVR安装与设置　 527
9.1.2　HTC VIVE的Unity开发工具　 528
9.2　资源导入　 529
9.2.1　汽车模型资源导入　 529
9.2.2　SteamVR插件包导入　 529
9.2.3　其他资源导入　 531
9.3　场景构建　 532
9.3.1　模板选择　 532
9.3.2　搭建场景　 533
9.4　制作UI界面系统　 536
9.4.1　打包UI图集　 536
9.4.2　创建Canvas和欢迎界面　 538
9.4.3　创建车辆选择界面　 540
9.4.4　创建主功能界面　 542
9.5　脚本功能开发　 547
9.5.1　窗口基类和UI单例类　 547
9.5.2　欢迎界面功能开发　 550
9.5.3　车辆选择功能开发　 553
9.5.4　主界面功能开发　 560
9.5.5　UI界面优化　 577
9.6　发布输出　 582
第10章 Unity之Leap Motion开发　 584
10.1　Leap Motion概述　 584
10.2　驱动安装　 585
10.3　资源导入　 587
10.3.1　模型资源和UI导入　 587
10.3.2　Leap Motion开发工具包下载并导入　 588
10.4　场景搭建　 590
10.5　UI界面　 593
10.5.1　界面搭建　 593
10.5.2　创建界面动画　 596
10.6　程序开发　 604
10.6.1　抓起物体模块　 604
10.6.2　创建小球模块　 610
10.6.3　游戏管理模块　 611
10.6.4　开始界面模块　 614
10.6.5　状态统计模块　 615
10.6.6　游戏结束模块　 617
10.7　发布输出　 620
第11章 Unity之AR开发　 621
11.1　AR概述　 621
11.2　资源下载及导入　 622
11.2.1　SDK下载和识别图制作　 622
11.2.2　 模型资源和UI导入　 625
11.3　场景搭建　 628
11.3.1　开始场景　 628
11.3.2　AR场景　 631
11.4　程序开发　 637
11.4.1　开始界面模块　 637
11.4.2　UI管理模块　 639
11.4.3　动物模块　 640
11.5　发布输出　 647
第12章 Unity之HoloLens开发　 649
12.1　HoloLens概述　 649
12.2　HoloLens特性　 649
12.3　开发环境搭建　 650
12.4　资源导入　 651
12.5　场景搭建　 653
12.6　程序开发　 654
12.6.1　凝视提示　 654
12.6.2　响应　 655
12.7　实战演练　 657
12.8　发布输出　 665
第13章 VR硬件——基于惯性传感手势交互　 668
13.1　动捕设备简介　 668
13.2　应用场景　 669
13.3　开发概要　 669
13.3.1　API的使用　 669
13.3.2　手臂模型的替换　 673
13.3.3　增加对HTC头盔的定位支持　 675
第14章 Unreal Engine 4打造室内案例　 676
14.1　将模型资源以合并网格的方式导入　 676
14.2　场景搭建　 682
14.3　材质调节　 683
14.3.1　创建透明的玻璃窗材质　 683
14.3.2　创建简单的带有折射效果的玻璃材质　 689
14.3.3　创建简单的大理石桌面材质　 693
14.3.4　创建简单的金属材质　 695
14.3.5　创建简单木地板材质　 701
14.3.6　创建简单织物材质　 706
14.4　创建光源　 709
14.4.1　室内光照　 709
14.4.2　局部光照　 713
14.5　Steam VR开发　 714
14.5.1　使用Steam VR　 714
14.5.2　运动控制器组件设置　 720
14.6　制作UI界面　 723
14.7　切换材质的功能开发　 731
14.8　构建场景光照效果　 735
14.8.1　将模型资源以独立网格的方式导入　 735
14.8.2　快速搭建独立网格场景　 737
14.8.3　场景光照的构建　 737
14.9　发布输出　 746
第15章 虚拟现实MR视频制作教程　 749
15.1　基于HTC Vive虚拟演播MR视频　 749
15.2　HTC Vive虚拟演播MR视频关键步骤　 750
15.3　MR视频制作硬件和软件　 750
15.4　MR视频制作步骤　 751
15.4.1　开启MR模式　 751
15.4.2　组装第三个手柄（定位手柄）及摄像机　 752
15.4.3　调整视频合成直播软件　 753

.　　Unity大中华区高级运营总监
　　AR是当下的一项热门技术，幼教领域则是其比较好的一个着力点，小熊尼奥把握住了机会，成为行业的先驱者。本书首次详细介绍了虚拟现实、增强现实及混合现实开发技术，可以为进入这个领域的开发者提供一定的指导和帮助，值得推荐。
　　刘钢
　　小熊尼奥CTO
　　虚拟现实带来了创业的新热潮，未来的虚拟现实技术将和传统行业深度结合，从而产生颠覆式创新，如VR+房产，目前很多房产楼盘都已经采用AR/VR技术来替代传统的楼盘动画展示，虚拟现实正在逐步影响人们的生活。本书详细介绍了虚拟现实相关技术，是本难得的行业专著。
　　潘正祥
　　国家千人计划特聘专家、福建工程学院信息科学与工程学院院长
　　本书的目的不仅仅是对虚拟现实技术本身进行介绍，而在于突出理论研究与实际应用的结合，将虚拟现实技术开发应用系统中的经验、方法和成果整理出来，抛砖引玉，以供读者借鉴和参考。让读者能够学到开发虚拟现实应用系统的思路、方法和手段，并领悟虚拟现实应用的必要性。
　　何炳蔚
　　福州大学机械及自动化学院副院长
　　虚拟现实作为交互终端的颠覆，是产业发展的一次新机遇。高新技术的推进带来了无限可能，要想抓住时代机遇，就要先理解这个时代发生的种种变革，找到你与变革的结合点。本书是一座快速通向虚拟现实实战开发的桥梁，可以帮助读者更好地理解虚拟现实技术，本书作者是十几年虚拟现实技术的开发者，呕心沥血奋斗于一线，让我们好好品鉴虚拟照进现实的神奇！
　　李建新
　　幸福家园投资CEO
　　VR元年已至，AR/VR技术作为下一代计算平台，已开始与众多传统行业融合、创新，孕育出更多新的市场机遇。与此同时，AR/VR专业人才的需求大幅增加，本书深入浅出、结合实战全面地介绍了VR/AR/MR开发技术，对AR/VR从业者具有很好的指导意义，值得推荐。超越现实空间，感知无限可能。
　　柳秀喆
　　超感智能科技CEO
　　虚拟现实将颠覆人类的娱乐，并引领娱乐成为人类最大的产业。与电影、电视、手机一样，VR会发明让观众和用户身在其中、心临其境的娱乐形式，重新定义看、听、玩，彻底改变我们的生活。这是一本帮助大家快速进入VR专业开发领域的书籍。
　　段有桥
　　爱奇艺高级副总裁
　　很幸运，我们活在变革加速的年代；见证了“功能机”至“智能机”的转型，见证了苹果兴起，见证了BAT，见证了改变世界，无数的梦点燃。然而，入口红利被先行者占据，后来者机会渐减。但不要紧，虚拟现实“多入口红利”带来机会远胜于当年“单入口”变革。VR、AR、MR占据着视觉——这一人体最重要的交互入口。本书作者团队包括从事10多年VR的老兵、VR引擎鼻祖Unity官方教材编写者等“VR+”超豪华阵容。内容有高度接地气，从技术到市场、从过去到未来均有涉猎。“潘多拉魔盒”的“钥匙”在此，悄悄打开它吧。
　　郑智民
　　中国移动通信集团研究院、千人计划创新基地
　　在经历了一轮AR/VR的爆发狂潮后，各种幻象一般的场景视频卷集着各种名词和概念扑面而来，但阅过繁华的我们反而开始思考虚拟现实、增强现实以及混合现实技术的未来。正如同所有的创新技术最终都不能缥缈地存在，“虚拟”技术也在寻找自己在“现实”中的落脚点。无论是营造无与伦比的游戏和娱乐体验，还是利用AR/VR技术来革新甚至重新定义制造、教育、医疗、金融等传统行业，各家都使出了独门绝技，不遗余力。本书将带领各位博览VR/AR/MR技术要点，更为重要的是引发读者的思考——连接虚拟与现实，将梦想照进现实。
　　李亮
　　微软开发者体验及合作事业部
　　最新VR/AR浪潮成了资本大鳄、科技公司和互联网公司又一次概念炒作的盛宴。本书以专业和严谨的精神对虚拟现实技术进行了全面的梳理，结合实战对虚拟现实的应用进行深入讲解，为人们拥抱即将到来的虚拟现实世界，提供了最佳的技术资料。
　　王克平
　　中国人民大学公共政策实验室主任
　　AR/VR作为未来新的通用计算平台和互联网的入口，即将在信息技术领域掀起一场风暴，必将对人们的生活和生产方式产生革命性的影响。对AR/VR技术的认知以及大量专业人才的培养，则是这场技术革命的引线。此书在这场风暴前夜推出，可增添催化和普及之力，值得推荐！
　　胡春民
　　虚拟现实产业联盟（IVRA）副秘书长