深入理解OpenCV：实用计算机视觉项目解析[图书]

第2章　iPhone或iPad上基于标记的增强现实 32
2.1　使用OpenCV创建iOS项目 33
2.1.1　添加OpenCV框架 34
2.1.2　包含OpenCV头文件 35
2.2　应用程序的结构 36
2.3　标记检测 43
2.3.1　标记识别 44
2.3.2　标记编码识别 50
2.4　在三维空间放置标记 53
2.4.1　摄像机标定 53
2.4.2　标记姿态估计 54
2.5　渲染3D虚拟物体 56
2.5.1　创建OpenGL渲染层 56
2.5.2　渲染AR场景 59
2.6　总结 64
2.7　参考文献 64
第3章　无标记的增加现实 65
3.1　基于标记的AR与无标记的AR 65
3.2　使用特征描述符检测视频中的任意图像 66
3.2.1　特征提取 67
3.2.2　模式对象定义 69
3.2.3　特征点匹配 69
3.2.4　删除离群值 70
3.2.5　将示例项目各部分放在一起 76
3.3　模式姿态估计 77
3.3.1　PatternDetector.cpp 77
3.3.2　获取摄像机内矩阵 78
3.4　应用的基础架构 81
3.4.1　ARPipeline.hpp 82
3.4.2　ARPipeline.cpp 82
3.4.3　在OpenCV中启用三维可视化支持 83
3.4.4　使用OpenCV来创建OpenGL窗口 84
3.4.5　使用OpenCV捕获视频 85
3.4.6　渲染增强现实 85
3.4.7　演示应用程序 88
3.5　总结 91
3.6　参考文献 91
第4章　使用OpenCV研究从运动中恢复结构 92
4.1　从运动中恢复结构的概念 93
4.2　从两幅图像估计摄像机运动 94
4.2.1　通过丰富的特征描述符进行点匹配 94
4.2.2　通过光流进行点匹配 96
4.2.3　搜索摄像机矩阵 99
4.3　重构场景 102
4.4　从多视图中重构 105
4.5　重构的细化 108
4.6　用PCL来可视化3D点云 111
4.7　使用示例代码 113
4.8　总结 114
4.9　参考文献 115
第5章　基于SVM和神经网络的车牌识别 116
5.1　ANPR简介 116
5.2　ANPR算法 118
5.3　车牌检测 119
5.3.1　图像分割 120
5.3.2　分类 125
5.4　车牌号识别 127
5.4.1　OCR分割 127
5.4.2　特征提取 129
5.4.3　OCR分类 130
5.4.4　评价 133
5.5　总结 136
第6章　非刚性人脸跟踪 137
6.1　概述 138
6.2　实用工具 139
6.2.1　面向对象设计 139
6.2.2　数据收集：图像和视频标注 140
6.3　几何约束 145
6.3.1　Procrustes分析 146
6.3.2　线性形状模型 148
6.3.3　局部–全局相结合的表示 150
6.3.4　训练与可视化 152
6.4　面部特征检测器 154
6.4.1　相关性块模型 155
6.4.2　解释全局几何变换 159
6.4.3　训练与可视化 161
6.5　人脸检测与初始化 163
6.6　人脸跟踪 166
6.6.1　人脸跟踪实现 166
6.6.2　训练与可视化 168
6.6.3　通用与专用人脸模型 168
6.7　总结 169
6.8　参考文献 169
第7章　基于AAM和POSIT的
三维头部姿态估计 170
7.1　主动外观模型概述 171
7.2　主动形状模型概述 172
7.2.1　感受PCA 174
7.2.2　三角剖分 177
7.2.3　扭曲三角化结构 179
7.3　模型实例化——试试主动外观模型 180
7.4　主动外观模型搜索和拟合 181
7.5　POSIT算法 182
7.5.1　深入理解POSIT算法 183
7.5.2　POSIT与头部模型 185
7.5.3　对摄像机或视频文件进行跟踪 185
7.6　总结 187
7.7　参考文献 187
第8章　基于特征脸或Fisher脸的人脸识别 189
8.1　人脸识别与人脸检测介绍 189
8.1.1　第一步：人脸检测 191
8.1.2　检测人脸 194
8.1.3　第2步：人脸预处理 196
8.1.4　第3步：收集并训练人脸 204
8.1.5　第4步：人脸识别 212
8.1.6　收尾工作：保存和加载文件 215
8.1.7　收尾工作：制作一个漂亮的交互式GUI 215
8.2　总结 225
8.3　参考文献 225

.　　本书对想用基本的OpenCV知识来创建实际的计算机视觉项目的开发者来说是一本绝佳指南，此外，对于经验丰富并想获得更多计算机视觉主题的OpenCV专家而言也是非常好的一本书。本书向计算机科学相关专业的高年级本科生和研究生，以及研究人员和想用OpenCV C/C++ 接口来解决实际问题的计算机视频专家提供循序渐进的实用教程。
　　

.　　将下面的代码放到main_desktop.cpp的main()函数中：
　　在摄像机被初始化后，可通过cv::Mat对象（它是OpenCV的图像容器）来获取摄像机的图像。可通过使用C++流运算符将cv::VideoCapture 对象转换成cv::Mat对象，由此可获取摄像机的每帧，这就像从控制台获取输入一样。
　　注意：使用OpenCV加载视频文件（例如：AVI或MPG文件）非常容易，这样可代替摄像机。加载视频文件与直接从摄像机获得视频的不同之处在于创建cv::VideoCapture对象时，应将视频文件名（例如：camera.open（“my_video.avi”））而不是摄像机编号（例如：camera.open(0)）作为参数。这两种方法创建的cv::VideoCapture对象，使用方式都一样。
　　1.2桌面应用处理摄像机视频的主循环
　　如果用OpenCV在屏幕上显示一个GUI窗口，可调用cv::imshow()方法，但每显示一帧图像后必须调用cv::waitKey(0)方法，否则GUI窗口的图像根本不会更新！cv::waitKey(0)会使程序暂停除非用户按下任意一个键，若将该函数的参数设为一个正数，例如：waitKey(20)或更大的值，则程序将会暂停一段时间，这段时间长度为该正数值个毫秒单位。
　　将这个主循环放到main_desktop.cpp中作为实时摄像机应用程序的基础：
　　1.3生成黑白素描
　　为了获得视频帧的一幅素描（黑白图画）效果，可用边缘检测滤波器；若要获得一幅彩色图画，可使用边缘保持滤波器（双边滤波器）来进一步平滑平坦区域，同时保持边缘完好。将素描叠加到彩色图画上，便可得到一种卡通效果，该效果与前面最终应用程序的屏幕截图相同。
　　有许多边缘检测滤波器，例如：Sobel、Scharr、Laplacian滤波器或Canny边缘检测。本章将使用Laplacian边缘滤波器，因为同Sobel或Scharr滤波器相比，它所提取的边缘最接近手工素描，并且它与Canny边缘检测一样，可得到清晰的素描效果，但Canny边缘检测更容易受视频帧中随机噪声影响，从而使得素描边缘在不同帧之间经常有剧烈变化。
　　尽管如此，在使用Laplacian边缘滤波器之前仍需对图像去噪。可使用中值滤波器来去噪，因为它有很好的去噪效果，同时还可让边缘锐化；而且比双边滤波器的效率高。由于Laplacian边缘滤波器只能处理灰度图像，因此必须将OpenCV默认的BGR格式转换成灰度格式。将下面的代码放在空文件cartoon.h的上方，这样使得在访问OpenCV和标准C++模板时不需要处处都加前缀cv:和std::。
　　将下面的代码以及所有剩下的代码都放到cartoonifyImage()函数中，该cartoonifyImage()函数保存在cartoon.cpp文件中。
　　Laplacian边缘滤波器能生成不同亮度的边缘，为了使边缘看上去更像素描，可采用二值化阈值来使边缘只有白色或黑色。
　　下面这幅图的左边是原图，而右边那幅图是生成的边缘掩码（edge mask），它与素描很像。在生成彩色图画后（稍后介绍），将边缘掩码放到彩色图像上。
　　1.4生成彩色图像和卡通
　　强大的双边滤波器可平滑平坦区域，同时保持边缘锐化，因此，它作为一个自动的卡通化或图画滤波器很不错，其缺点是效率低（即该滤波器运行的时间要按秒，甚至要按分钟而不是毫秒来计算）。因此，本书采用一些技巧使用户在获得一幅漂亮的卡通化图像时，也可接受其运行时间。最重要的技巧就是在低分辨率下使用双边滤波器，这会得到与高分辨率下相似的效果，但运行速度更快。可将分辨率减少为原图像的四分之一（例如：将图像的宽和高各减少二分之一）。
　　可通过多个小型双边滤波器来代替一个大型双边滤波器，从而在较短时间内得到很好的卡通效果。本书通过截断滤波器（见下图）来代替整个滤波器（例如：若钟形曲线有21个像素宽，则整个滤波器大小为21×21），截断滤波器是指能达到满意效果的最小滤波器（例如：即便钟形曲线的大小为21×21，但仅使用9×9滤波器就可以达到满意效果）。截断滤波器会使用滤波器的主要部分（下图曲线的灰色区域），而不会浪费时间在小部分（下图曲线的白色区域）上，这样会使滤波器的效率提高几倍。
　　控制双边滤波器可使用的4个参数分别是：色彩强度、位置强度、大小、重复计数。bilateralFilter()函数不能覆盖它的输入值（这称为“就地处理”），因此需要一个临时的Mat变量，该变量在一个滤波器中作为输出变量而在另一个滤波器中作为输入变量。
　　注意，该处理过程使用的是缩小后的图像，因此，在处理后需将图像恢复到原来的大小。然后叠加前面得到的边缘掩码。为了将边缘掩码（即素描）叠加到由双边滤波器所产生的图画上（下页第一幅图左边那幅图像），需将目标变量dst的所有元素全置为0（即目标变量对应的图像全置为黑色），然后将源图像（变量bigImg）的像素复制到变量dst中，与“素描”掩码对应的源图像边缘的像素不会被复制。
　　这会得到原图的卡通版，如下右图所示，这就像将素描掩码叠加到彩色图画上。
　　1.5用边缘滤波器来生成“怪物”模式
　　卡通和漫画总有好人物和坏人物，通过对边缘滤波器的恰当组合，可将和蔼的人物画像变成凶恶的人物画像，其技巧是通过使用小的边缘滤波器，这些滤波器能找到图像的各处边缘，然后通过中值滤波器来合并这些边缘。
　　在去噪后的灰度图像上执行以上操作，之前将原图像转换成灰度图像的代码和7×7的中值滤波器都可以用上（下面的第一张图是对灰度图像进行中值平滑滤波后得到的）。接下来不用Laplacian滤波器与二值化阈值这种组合方式，而是沿着x和y方向采用3×3的 Scharr梯度滤波器（见下面的第二张图），然后再采用截断值很低的二值化阈值方法（见下面的第三张图），最后用3×3的中值平滑滤波就可得到“怪物”掩码（见下面的第四张图）。
　　将现在得到的“怪物”掩码叠加到彩色卡通图像上，该图像就像是用素描掩码叠加到彩色卡通图像上一样。最终效果如下右图所示。
　　1.6用皮肤检测来生成“外星人”造型
　　前面已经生成了素描模式、卡通模式（彩色图画+素描掩码）、“怪物”模式（彩色图画+怪物掩码），为了更有趣，再来学习一个更复杂的模式：外星人模式。可通过获取人脸的皮肤区域，并将此区域的颜色变为绿色得到该模式。
　　1.6.1皮肤检测算法
　　有很多检测皮肤区域的方法，从简单的基于RGB（Red-Green-Blue）颜色阈值法、HSV（Hue-Saturation-Brightness）值或颜色直方图计算和重投影，到基于混合模型的复杂机器学习算法等，这些复杂的算法需要在CIELab颜色空间对摄像机标定并且需要用人脸样本数据进行离线训练。即便是复杂的算法，对不同的摄像机、光照条件和皮肤类型也不一定有好的鲁棒性。由于本章所需的皮肤检测要运行在移动设备上且不需要进行标定或训练，而且这里用皮肤检测只是为了做一个“好玩”的图像滤波器，因此在这里会使用简单的皮肤检测算法。但需注意，移动设备上的微型摄像机传感器对颜色的反应往往差异很大，而且要在没有标定的情况下对不同肤色的人进行皮肤检测，这需要算法至少比简单颜色阈值法更具有鲁棒性。
　　例如：一个简单的HSV皮肤检测器就会在图像色调相当红时，饱和度较高（但不是很高），其亮度不太黑或太亮时，会将这些区域的所有像素当成皮肤。除此以外，通常移动设备的摄像机白平衡较差，这使得人的皮肤看上去要偏蓝而不偏红，这也是使用简单HSV阈值法的主要问题。
　　对于这些情况，可采用基于Haar或LBP级联分类器的人脸识别算法（第8章会介绍这些算法），它们具有更好的鲁棒性。在人脸识别的过程中，可检查像素颜色的变化范围，因为人的皮肤像素事先知道，然后对有相似颜色的像素进行全图或邻域扫描，以确定人脸中心。这样做的好处是：不管人的肤色如何，甚至他们的皮肤在图像中偏蓝或偏红，都很有可能找到一些真实皮肤区域。
　　但是，基于Haar或LBP级联分类器的人脸识别算法在移动设备上运行缓慢，因此这类算法可能在实时移动应用中效果不太理想。但对于移动应用来讲，可假定用户能拿着摄像机从近距离直接对准一个人的脸，因为移动设备的摄像机都可拿在用户手上，很方便移动，让用户将人脸放在指定位置并与相机保持一定距离是完全合理的，这样就不需要去检测位置和人脸的大小。这也是一些手机应用会要求用户将脸放在某个位置或用手移动屏幕上的点来确定人脸在图像中的位置的根本原因。因此，可在屏幕中间先画一个人脸轮廓，然后要求用户移动他们的脸到所示位置并通过调节远近来得到恰当的人脸大小。
　　1.6.2确定用户放置脸的位置
　　开始外星人模式的第一步是在相机屏幕上方画出人脸轮廓，以便用户知道将人脸放置在这个位置。以固定的宽高比0.72来画一个大椭圆，它占整个图像高度的70%，这个比率不会使人脸看上去太瘦或太胖。
　　为了让人脸看上去更加明显，可再画两个眼睛的轮廓。为了让所画的眼睛看上去更加真实，不要直接用椭圆作为眼睛轮廓，而是用上椭圆作为眼睛的上半部分，用下椭圆作为眼睛的下半部分，可通过指定起始位置和角度来实现:
　　可用同样方法来画下嘴唇。
　　为了提示用户将脸放在指定位置上，可在屏幕上显示一条提示信息。
　　现在可将已画好的人脸轮廓叠加到要显示的图像上，叠加过程采用alpha融合来将卡通化图像与该轮廓结合在一起。
　　最终得到的人脸轮廓如右图所示。这里并没有去检测人脸位置，因为用户可将人脸放置到这个轮廓中。
　　1.6.3皮肤变色器的实现
　　无须去检测皮肤颜色然后看此区域是否有这样的颜色来确定皮肤区域，而是直接使用OpenCV的floodFill()函数。该函数类似于一些图像处理软件中的颜料桶工具。屏幕中间区域就是皮肤像素（因为在拍摄时会将人脸放在人脸轮廓里，而人脸轮廓在整幅图像中间）。为了将整个人脸变成绿色皮肤，只需对图像中心位置的像素进行绿色漫水填充。这样做至少会让人脸的某些部分变成绿色。但现实中的颜色，其饱和度和亮度可能会由于人脸不同部位而有所不同，这会使漫水填充不能覆盖面部的所有像素，除非将其阈值设为很低，但这样做又会覆盖人脸以外的像素。为了解决这个问题，可在图像中心区域不采用简单的漫水填充，而是对人脸区域中6个不同的皮肤像素点进行漫水填充。
　　OpenCV的floodFill ()函数有一个很好的性质：它会将漫水填充的效果存储到外部图像中而不修改输入图像。这一特性可得到一幅掩码图像，该图像可用来调整皮肤像素的颜色而不需要改变亮度和饱和度，也能在所有皮肤像素都为绿色（这会导致很多人脸细节丢失）的情况下得到更真实的图像。
　　在RGB颜色空间改变皮肤颜色效果并不好。因为改变皮肤颜色需要脸部图像的亮度变化，但皮肤颜色不允许变化太大，而RGB无法从色彩中获取亮度。解决该问题的方法之一是采用HSV颜色空间，因为它能从色彩（色度）和多彩（饱和度）中获取亮度。但HSV的色度取值以红色开始并以红色结束，若皮肤接近红色，就需要处理小于10%和大于90%的色度值，因为在这两个范围内都是红色。可使用Y’CrCb颜色空间（在OpenCV中，它是YUV的变种）来解决此问题。Y’CrCb颜色空间不仅能从颜色中获取亮度，而且对于通常的皮肤颜色其取值唯一。实际上对于大多数摄像机，图像和视频在转换成RGB前都使用某种YUV颜色空间，所以在很多情形下不需要转换就可得到YUV格式的图像。
　　可对图像进行卡通化之后再用外星人滤波器获得像卡通画一样的外星人模式；也就是说，可获取缩小彩色图像和全尺寸的边缘掩码，其中彩色图像由双边滤波器产生。皮肤检测通常在低分辨率下工作较好，因为它与分析高分辨率像素的近邻的平均值等价（也可看作是用低频信号代替高频噪声信号）。接下来的工作是在对图像进行缩放后进行的，其缩放大小与用双边滤波器处理图像时一样（即只取图像一半的宽度和高度）。下面先将彩色图像转换为YUV格式：
　　另外还需收缩边缘掩码，使其与彩色图像有相同的尺寸。当存储一幅单独的掩码图像时，若用OpenCV的floodFill()函数会有困难，即掩码图像应在整个图像周围用1个像素作边界，若输入图像大小为W×H个像素，则单独的掩码图像大小为（W+2）×（H+2）个像素。但floodFill函数也允许初始化边缘掩码来确保漫水填充算法不会越界，这一特性可阻止漫水填充的区域扩展到人脸外面。因此，需要两幅掩码图像：大小为W×H的边缘掩码图像和大小为（W+2）×（H+2）的边缘掩码图像，该掩码图像包含了图像的边界。可让多个cv::Mat对象（或头部）引用同一数据，甚至可让一个cv::Mat对象引用另一个cv::Mat图像的某一区域。因此不必分配两个单独的图像，然后复制边缘掩码像素给它们，只需分配一个包含边界的掩码图像并创建一个大小为W×H的cv:Mat头（仅用它来引用没有边界的掩码图像）。也就是说，仅有一个（W+2）×（H+2）大小的像素数组，但有两个cv:Mat对象，一个用来指向大小为（W+2）×（H+2）的图像，另一个用来指向图像中间大小为
　　W ×H的区域：
　　整个边缘掩码（如下左图所示）既有强边缘也有弱边缘；可用二值化阈值法来得到所需的强边缘（效果见下中图）。为了在边缘间加入一些间隙，可采用形态学算子dilate()和erode()来删除一些间隙（也会涉及“close”算子），效果见下右图：
　　如前所述，需要对人脸的许多像素点使用漫水填充算法，从而保证人脸图像的各种颜色和整个阴影都能被处理。可在鼻子、脸颊和前额选择6个点，如下左图所示。注意，这些点的位置依赖于早期所确定的面部轮廓：
　　现在仅需为漫水填充算法找到一些好的下界和上界。漫水填充算法基于Y’CrCb颜色空间，因此基本上可决定亮度、红色分量和蓝色分量有多大变化。这里需要包括阴影和高亮显示以及反射在内的亮度变化较大，而颜色不需要变化。
　　调用floodFill()时，为了存储外部掩码而必须为flags参数指定FLOODFILL_MASK_ONLY选项，该参数的其他选项均用默认值。
　　在下图中，左边这幅图有6个漫水填充位置，右边这幅图为生成的外部掩码，其中皮肤为灰色，边缘为白色。注意，为了让皮肤像素（其值为1）清晰可见，本书修改了右边这幅图像（本来皮肤像素为黑色，修改后显示为灰色）。
　　而图像变量mask（它对应的图像显示在上右图）包含如下值：
　　值为255的边缘像素
　　值为1的皮肤像素
　　剩下是值为0的像素
　　而变量edgeMask仅包含边缘像素（其值为255）。为了仅得到皮肤像素，可从变量mask中去掉边缘：
　　图像变量mask仅包含值为1的皮肤像素和值为0的非皮肤像素。为了改变原图像的皮肤颜色和亮度，可用cv:add来增加原图绿色分量，其区域由皮肤掩码（变量mask）决定。
　　注意，上右图不仅让皮肤变绿，还使皮肤变亮（看起来像在黑暗中发光的外星人）。如果仅改变皮肤颜色而不使其变得更亮，可使用其他颜色变化方法，例如：将绿色分量加70，而将红色和蓝色分量减70；或使用cvtColor（src, dst, “CV_BGR2HSV_FULL”）将图像转换成HSV颜色空间，然后调整色度和饱和度。
　　就这样吧！准备将应用移植到移动设备上，使其运行在不同模式下。
　　1.7把桌面应用移植到Android系统
　　到目前为止，这个程序能在台式机上正常运行，下面要将该程序制作成Andriod或iOS应用。本章重点介绍如何生成Andriod应用，在将该程序移植到基于iOS的苹果iPhone和iPad以及其他类似设备上时，此方法仍有效。在开发Android应用时，可直接使用Java实现的OpenCV，但程序的效率不如C/C++代码高，而且由于是为移动设备编写的程序，同样的代码不能运行在台式机上。因此建议读者用C/C++来开发大多数OpenCV+Android。（如果读者想用纯Java来开发OpenCV应用，可使用Samuel Audet提供的JavaCV库，该库可在http://code.google.com/p/javacv/下载，在这个库上用Java开发的应用，既可运行在台式机上，也可在Android系统中运行。）
　　注意：该Android项目会将摄像机视频作为实时输入，因此它不能工作在Android模拟器上。本项目需要一台有摄像机，安装有Android系统2.2 （Froyo） 及以后版本的真实设备。
　　本Android应用的用户界面使用Java来编写，但图像处理部分，采用C++文件cartoon.cpp，该文件也能用于桌面应用。为了在Android应用中可使用C/C++，必须使用NDK（（Native Development Kit），它基于JNI （Java Native Interface）。可对cartoonifyImage()函数创建一个JNI封装，这样该函数能在基于Java的Android应用使用。
　　1.7.1安装使用OpenCV的Android项目
　　基于OpenCV的Android接口每年都有很大的变化，比如：访问摄像机的方法，因此，本书并不会详细介绍Android应用安装。读者可访问http://opencv. org/platforms/android.html查找安装和使用OpenCV生成本地（NDK） Android应用的最新指南。OpenCV自带了一个称为Sample3Native的Android示例项目，该项目可通过OpenCV来访问摄像机，还可在屏幕上显示被处理过的图像。此项目很有用，因为它是开发本章Android应用的基础，读者应自己熟悉此项目（项目的安装步骤可访问 http://docs.opencv.org/doc/tutorials/introduction/android_binary_package/android_binary_package_using_with_NDK.html）。接下来将修改这个Android OpenCV项目，使该项目能卡通化摄像机的视频帧并将其显示在屏幕上。
　　如果开发Android应用时遇到困难，比如碰到编译错误或摄像机总是显示空白帧，可尝试访问如下网站来解决：
　　1） 前面提到的那个基于OpenCV的Android Binary Package NDK教程。
　　2） 官方的Android-OpenCV谷歌组（https://groups.google.com/forum/?fromgroups#!forum/android-opencv）。
　　3） OpenCV’s Q & A网站（http://stackoverflow.com/questions/tagged/opencv+android）。
　　4） StackOverflow Q & A网站（http://stackoverflow.com/questions/tagged/opencv+android）。
　　5） 其他的网站（例如：http://www.google.com）。
　　6） 若在访问这些网站后仍无法解决遇到的问题，可向 Android-OpenCV谷歌组等提问题，所提问题需要有详细的错误信息。
　　1．Android系统上图像处理的颜色格式
　　开发桌面应用时，仅需处理基于BGR的像素格式，因为输入（如：摄像机、图像或视频文件）是BGR格式，输出（如：HighGUI窗口、图像或视频文件）也是BGR格式。但开发移动设备上的应用时，通常必须自己转换本地颜色格式。
　　2．从摄像机输入的颜色格式
　　查看jni目录下的示例代码jni_part.cpp，其变量myuv指向彩色图像数据，该图像的颜色格式为Android系统默认的摄像机格式“NV21” YUV420sp。该图像数组的第一部分为灰度像素数组，接着的像素数组大小只有前面那个数据的一半，该数组交替排列U、V彩色通道（按UVUV交替排列）。若只想访问灰度图像，直接获取具有YUV420sp 格式的图像的第一部分即可。但若想得到彩色图像（例如：BGR或BGRA颜色格式的图像），必须要用cvtColor()函数来转换颜色格式。
　　3．用于显示的颜色格式
　　若查看OpenCV的Sample3Native项目代码，会发现变量mbgra指向一幅彩色图像，该图像可在Android设备上以BGRA格式显示。OpenCV默认格式为BGR（它与RGB的字节顺序相反），而BGRA格式仅在每个像素后面增加一个未被使用的字节，即每个像素按Blue-Green-Red-Unused进行保存。可以按BGR完成所有处理，在屏幕上显示之前，将其转换为最终输出的BGRA格式，或者确保图像处理程序不仅能处理BGR格式，还可处理BGRA格式。OpenCV的很多函数都支持BGRA格式，从而使这种方式变得简单。必须要确保创建的图像的通道数与通过Mat::channels()函数查看到的图像通道数一样。若在代码中直接访问像素，需要分别处理3通道的BGR图像和4通道的BGRA图像。
　　注意：一些CV操作在BGRA格式下运行得较快（因为按32位对齐），而另一些操作在BGR格式下运行得较快（因为读和写需要较少的内存），因此，最好的做法是让应用同时支持BGRA格式和BGR格式，然后找出在哪种颜色格式下运行最快。
　　下面从一个简单的工作开始:通过OpenCV来获取摄像机的帧，但只是显示而不处理这些帧。这很容易用Java代码做到，但重要的是如何用OpenCV来实现此功能。如前所述，摄像机图像以YUV420sp色彩格式交给C++代码处理后并以BGRA色彩格式输出。因此，需要准备两个cv::Mat变量，一个保存输入的图像数据，另一个用于保存输出的图像数据，仅需要用cvtColor函数来完成这两种图像数据的颜色格式转换。为了使用C/C++编写基于Java的Android应用程序的代码，我们需要使用特殊的JNI函数名，该函数名要与Java类名和包名匹配，具体的格式如下：
　　下面创建一个C/C++函数ShowPreview()，它会用在Java包Cartoonifier的CartoonifierView类中，将此函数添加到jni\jin_part.cpp文件中：
　　最初看到此代码时会觉得很复杂。函数的前两行访问给定的Java数组，接下来的两行定义了两个cv::Mat对象，让其指向给定像素缓冲区的数据（即并不会为这两个对象分配内存来保存图像数据，myuv会指向数组_yuv的数据，mbgra会指向数组_bgra的数据），最后两行会释放加在Java数组上的本地锁。此函数仅将图像由YUV格式转换成BGRA格式，但它是创建这类新函数的模板。在显示该图像之前，为了分析和修改这个基于BGRA格式的cv::Mat对象，需扩展此函数。
　　注意：在OpenCV v2.4.2中，文件jni\jni_part.cpp有如下代码：
　　
　　 此代码看上去像是将图像转换为3通道的BGR格式（OpenCV的默认格式），但实际上参数4表示将图像转换为4通道的BGRA格式（Andriod默认的输出格式）。为了减少这种混乱，可使用下面的等价形式：
　　
　　若不用OpenCV默认的BGR格式，而用BGRA格式的图像作为输入和输出，下面两种方式可实现该要求：
　　在图像处理之前，将BGRA转换为BGR，图像处理过程用BGR格式，在Android系统显示时，将BGR转换为BGRA。
　　修改所有代码，使其除了能处理BGR格式外，还可处理BGRA格式，这样做就不会因为在BGRA与BGR之间转换而降低性能。
　　为了简单起见，本节仅考虑BGRA与BGR之间的色彩转换，不会让程序同时支持BGR和BGRA格式。如果编写一个实时应用程序，应该考虑支持4通道的BGRA格式以提高其潜在性能。可做一个简单修改来使BGRA与BGR之间的转换更快一些：原来的转换过程是将YUV420sp格式的图像转换为BGRA格式，然后再由BGRA格式转换为BGR，修改后只需直接由YUV420sp格式转换为BGR格式。
　　用ShowPreview()函数（如前所示）来构建应用并在设备上运行是一个不错的主意，因为当后面的C/C++代码有问题时，可由此函数返回修改。为了在Java中调用该函数，只需在CartoonifyImage()函数的声明附近再增加一个Java函数声明，CartoonifyImage()函数在CartoonifyView.java文件的底部:
　　然后就像示例代码（Sample3Native示例项目的代码）调用FindFeatures()函数一样调用此函数。将ShowPreview()函数放在processFrame()函数的中间，processFrame()函数在CartoonifierView.java文件中。
　　现在就可以生成并在设备上运行该程序，但只能实时看到摄像机的图像，没有对摄像机的图像进行处理。
　　1.7.2在Android NDK应用中添加卡通化代码
　　将桌面应用程序的cartoon.cpp文件添加到Android应用中。文件jni\Android.mk保存着C/C++/汇编源代码的文件名、头文件搜索路径、本地库，以及本项目的GCC编译器环境设置。
　　1）添加cartoon.cpp（如果想让调试更容易，还需增加ImageUtils_0.7.cpp文件）到变量LOCAL_SRC_FILES中，这些文件都在desktop文件夹而不是默认的jni文件夹中。增加之后为：
　　2）添加头文件搜索路径以便在父目录中找到cartoon.h。
　　3）在文件jni\jni_part.cpp的前面插入下面的代码来代替#include<vector>：
　　4）添加JNI CartoonifyImage()函数到jni\jni_part.cpp文件中，该函数的作用是卡通化图像。CartoonifyImage()函数的结构与前面创建的ShowPreview()函数一样，它们的不同之处在于ShowPreview()函数只能显示但不处理摄像机图像。注意：可直接将YUV420sp格式转换为BGR格式，因为不需要处理BGRA格式的图像。
　　5）上面的代码不会修改图像，可使用前面开发的卡通化程序来对图像进行处理。因此，可调用前面的函数cartoonifyImage()来处理图像，该函数在桌面应用的cartoon.cpp文件中。用下面代码替换掉代码displayedFrame = mbgr即可：
　　6）这样就行了！然后编译这些代码（Eclipse应使用ndk-build来编译这些C/C++代码）并在设备上运行。读者可看到一个卡通化的Android应用（正确的结果应如本章开始所显示的屏幕截图那样）！如果编译或运行有问题，可返回前面的步骤来解决出现的问题（如有需要可查看本书提供的源代码）。
　　1．Android应用总结
　　读者很快就会发现运行在设备上的应用程序有四个问题：
　　程序运行非常慢，处理每帧要花好几秒！解决此问题的方法是：只在用户触摸到屏幕并觉得这幅照片好时，才卡通化这一帧，其他情形只显示摄像机图像。
　　程序需要处理用户的输入，例如：可在素描、彩色图画、怪物模式和外星人模式之间进行切换。
　　如果能将卡通化结果存储成图像文件与其他人共享会非常好。也就是说，对于一幅卡通化图像，当用户触摸屏幕时，就可将结果保存成图像文件并存放在SD卡上，而且还可在Android图库集中显示。
　　素描的边缘有很多随机噪声。可用特殊的“椒盐”降噪过滤器来解决此问题。
　　2．通过点击屏幕使图像卡通化
　　可调用前面的JNI函数ShowPreview()来预览摄像机的视频（直到用户想卡通化选择的视频帧）。在卡通化视频帧之前，会一直等待用户触摸屏幕。当用户触摸屏幕时，只需卡通化一幅图像，因此，可设置一个标志来表明接下来的帧要被卡通化，卡通化完成后再重置这个标志，于是又会预览摄像机视频。这存在一个问题：卡通化图像仅能被瞬间显示，然后又会预览摄像机视频。因此，需要引入第二个标志来指示当前图像在被摄像机视频覆盖前，需在屏幕上被冻结一段时间，这样用户才能看到被卡通化的图像。
　　1）将下面的代码添加到CartoonifierApp.java文件的前面，该Java文件位于src\com\Cartoonifier文件夹：
　　2）修改CartoonifierApp.java 文件前面的类定义：
　　3）在onCreate()函数的底部插入下面的代码：
　　4）添加onTouch()函数来处理触摸事件:
　　5）添加nextFrameShouldBeSaved()函数到CartoonifierView.java文件:
　　6）在CartoonifierView 的上面增加如下变量:
　　7）CartoonifierView的processFrame()函数能在卡通图像和预览图像之间切换，但该函数还应考虑这种情形：用户不打算花几秒钟来显示被冻结的卡通图像。因此，可用下面的代码来重载processFrame()。
　　8）现在重新编译并运行该应用，会发现它工作得很好。
　　3．将图像保存到文件并添加到Android图形库中
　　下面将图像另存为一个PNG文件并在Android图形库中显示。Android图形库是为JPEG文件而设计的，但JPEG会损坏单色和有边缘的卡通图像，因此会考虑将PNG文件添加到图形库中，但该方法比较烦琐。Java函数savePNGImageToGallery()可实现这样的功能。在前面的processFrame()函数底部，有一个 Bitmap对象，它是用来保存输出数据的；可寻找一种方法将Bitmap对象保存为PNG文件。用Java实现的OpenCV函数imwrite()可将图像保存为PNG文件，但在链接时需要OpenCV的Java API和C/C++ API（就像OpenCV4Android示例项目“tutorial-4-mixde”所做的那样）。由于本项根本不需要OpenCV的Java API，下面将介绍如何仅用Android API来将图像保存为PNG文件，具体实现过程如下：
　　1）可使用Android的Bitmap类来将图像保存为PNG格式的文件。在保存文件之前需先确定文件名。可用当前日期和时间作为文件名，这样可保存很多文件而不会出现文件名重复，而且也帮助用户记住拍摄时间。只要在processFrame()函数的return bmp语句前插入如下代码即可：
　　2）在文件CartoonifierView.java前面添加下面的代码：
　　3）在类CartoonifierView的开始处插入下面的代码：
　　4）在类CartoonifierView的nextFrameShouldBeSaved()函数中添加如下代码：
　　5）在类CartoonifierView中添加一个savePNGImageToGallery()函数：
　　6）如果需要在移动设备上保存文件，则在安装Android应用时需要权限。将下面这一行插入AndroidManifest.xml中，放在使其在获取摄像机访问权限的那行后面（即“<uses-permission android:name= "android.permission.CAMERA" />”的后面），因为这两行很相似。
　　7）生成并运行该应用！当通过触摸屏幕来保存照片时，可看到显示在屏幕上的卡通化图像（也许在经过5秒或10秒的处理后才能看到）。一旦卡通化图像显示在屏幕上，就意味着它已被保存在SD卡和照片库中。退出此程序，打开Android照片库应用，可查看图片专辑。可在屏幕的全分辨率下观看PNG格式的卡通图像。
　　1.7.3在Android系统中显示保存图像的消息
　　当新的图像被保存到SD卡和Android照片库时，若想显示一个提示信息，可以按如下步骤进行操作；否则可跳过这一节。
　　1）将下面的代码加在CartoonifierView.java前面：
　　2）将下面的代码添加到类CartoonifierView的构造函数前面：
　　3）在processFrame()函数中，调用savePNGImageToGallery()的if语句上方插入下面的代码：
　　4）将showNotificationMessage()函数添加到CartoonifierView类中。
　　5）再次生成并运行此应用！无论什么时候触摸屏幕保存图像时，都会弹出一条提示消息。如果想让该消息在图像处理之前弹出，可在cartoonifyImage()之前调用showNotificationMessage()，然后移动生成日期和时间字符的代码，使显示的消息和保存的文件名是相同的字符串。
　　通过Android的菜单来选择卡通模式
　　用户可通过菜单来选择卡通模式：
　　1）将下面的头文件加到文件src\com\Cartoonifier\CartoonifierApp.java的前面：
　　2）将下面的成员变量加到CartoonifierApp类中。
　　3）将下面的函数添加到CartoonifierApp类中：
　　4）在CartoonifierView类中添加如下成员变量：
　　5）将下面的函数添加到CartoonifierView类中：
　　6）将参数模式值以参数形式传递给JNI函数cartoonifyImage()，因此，修改CartoonifierView类中的CartoonifyImage()函数：
　　7）现在修改processFrame()函数的Java代码以传递当前模式值。
　　8）文件jni\jni_part.cpp中CartoonifyImage()函数的JNI定义如下：
　　9）然后通过jni\jni_part.cpp文件的JNI函数将模式值传递给cartoonifyImage函数，该函数保存在cartoon.cpp文件中，是用C/C++实现的。在开发Android应用时，在同一时间只能显示一个GUI窗口，但对于桌面应用，在调试时很方便显示其他窗口。因此，对debugMode变量不再取布尔值，而是在非调试状态下取0，在移动设备的调试状态下取1（在这种状态下，使用OpenCV创建GUI窗口会引起系统崩溃），在桌面应用的调试状态下取2（在这种状态下可创建多个窗口）。
　　10）用下面的代码更新cartoon.cpp文件中相应的C/C++代码：
　　11）并且更新cartoon.h中的C/C++定义：
　　12）生成并运行该应用，然后试着按下窗口底部的小菜单按钮。读者会发现素描模式是实时的，但彩色模式受到双边滤波的影响会有很大的延迟。
　　1.7.4降低素描图像的随机椒盐噪声
　　目前大多数智能手机和平板电脑的照相机有明显的图像噪声，这通常可接受，但对于5×5的Laplacian边缘滤波器影响很大。边缘掩码（比如：素描模式）经常会有很多被称为“椒盐”噪声的黑色小斑点，它是在白色背景下由几个相邻黑色像素构成的。使用均值滤波通常可以很好地去除这种噪声，但在本章的项目中，均值滤波却不能有效去除椒盐噪声，因为边缘掩码大多数情形都是边缘和噪声点都为黑色（值为0），而背景为纯白色（值为255）。若使用标准的闭形态学算子，会删除很多边缘。因此，本项目采用一个自定义滤波器，它可删除被白色像素完全包围的小黑色区域。这样就可以去掉很多噪声点，同时对实际边缘影响不大。
　　通过遍历图像的每个黑色像素，以该像素为中心，检查5×5正方形区域的边界像素是否为白色，如果它们都为白色，则说明有一个黑色噪声小岛，可用白色像素来填充整个块以删除黑色噪声。为了简化这个5×5的滤波器，可忽略掉图像周围的两个边界像素。
　　下图左边的图像来自Android平板电脑，中间那幅图为素描模式下的图像（该图像有小的黑色椒盐噪声点），右边那幅图为使用上述方法删除椒盐噪声的结果，这幅图的皮肤看起来更加清晰。
　　下面是函数removePepperNoise()的实现代码。为简便起见，该函数会对图像适当处理。
　　1．显示应用的每秒帧数（FPS）
　　每秒帧数（fps）对于运行慢的应用（比如本应用）来讲不太重要，但在屏幕上显示它还是有意义，如果想显示每秒帧数（fps）是多少，请执行如下步骤：
　　1）将文件src\org\opencv\samples\imagemanipulations\FpsMeter.java从示例项目文件夹（例如：C:\OpenCV-2.4.1\samples\android\image-manipulations）复制到本项目的src\com\Cartoonifier文件夹。
　　2）将包名FpsMeter.java替换为com.Cartoonifier。
　　3）在文件CartoonifierViewBase.java中在语句private byte[] mBuffer;后定义成员变量mFps：
　　4）在构造函数CartoonifierViewBase()的mHolder.addCallback（this） ;语句后面初始化mFps对象：
　　5）在run()函数的try/catch块后面测量每帧的FPS：
　　6）用下面的代码在屏幕上显示FPS，该代码添加在run()函数的canvas.drawBitmap()函数后面。
　　2．使用不同的摄像机分辨率
　　如果让应用运行得更快，则效果会变差，因此可考虑从设备上获取更小的视频图像或在获取图像时就缩小它。基于示例代码的卡通化程序会使用最靠近摄像机预览的分辨率，该分辨率的高与屏幕高度一样。若设备是一个500万像素，屏幕仅为640×480的摄像机，卡通化应用使用的分辨率可能为720×480等。如果想对摄像机设置不同的分辨率，需修改CartoonifierViewBase.java文件的surfaceChanged()函数中setupCamera()的参数。例如：
　　一种获取摄像机最高分辨率的简易方法是传递一个很大的分辨率给函数，例如
　　10 000×10 000，它将选择最大的有效分辨率（注意：函数选择的是最大预览分辨率，摄像机视频的分辨率通常小于单幅静止图像的分辨率）。或者为了让应用运行较快，可传递1×1的分辨率给函数，它将采用最小的摄像机分辨率（例如：160×120）。
　　3．自定义应用
　　到目前为止，已经完成了整个Android 卡通化应用的创建，读者可从中了解该应用工作的基本原理和各部分的功能；也可以自定义该应用!比如：可修改GUI、应用的状态和工作流、卡通化滤波器常量、皮肤检测算法，或根据读者自己的想法来替代卡通化代码。
　　可用很多方法来改进皮肤检测算法，比如：使用更复杂的皮肤检测算法（如：通过一些最近的CVPR或ICCV国际会议论文来训练高斯模型，这些论文可在http://www.cvpapers.Com下载）或将人脸检测算法（见第8章）加到皮肤检测器中，这样做是为了能直接检测用户的脸而不是叫用户将他们的脸放到屏幕中心。要注意：人脸检测算法在某些设备或高分辨率摄像机上运行可能会花较长时间，因此，这类方法会受到相对较慢的处理速度限制，但智能手机和平板电脑的处理速度每年都有很大提高，在将来这也许不是一个问题。
　　提高移动设备上计算机视觉应用效率的最好方法是尽可能减少摄像机分辨率（例如：用50万像素代替500万像素），尽可能少地分配和释放图像所占内存，尽可能少做图像转换（例如：整个代码都支持BGRA格式）。也可向设备的CPU供应商（例如：NVIDIA的Tegra，Texas Instruments（德州仪器）的OMAP，Samsung的Exynos, Apple的Ax，或QualComm Snapdragon）或某系列CPU供应商（如ARM的Cortex-A9）索取优化的图像处理或数学库。
　　另外还需注意：有可能你的设备有优化的OpenCV版本。
　　本书自带的ImageUtiles.cpp和imageUtils.h文件使得用户自定义NDK和桌面图像处理代码变得更容易。它包括像printMatInfo()这样的函数，该函数能打印许多关于cv:Mat对象的信息，从而使得调试OpenCV变得更加容易。另外，为了在C/C++代码中很容易地增加详细的时间统计，可用时间的宏。例如：
　　然后可以在控制台看到有如下信息输出：
　　当OpenCV并不像预期那样运行时，这种方法很有用； 实际上，移动设备开发要使用IDE调试器通常都很困难，并且printf()语句一般都不能在Android NDK工作。但ImageUtils中的函数既可工作在Android系统也可工作在桌面上。
　　1.8总结
　　本章展示了几种不同类型的图像处理滤波器，这些滤波器可产生各种卡通效果：看上去像铅笔画的素描模式；看上去像一幅彩色画的图画模式；将素描模式叠加到图画模式上就得到卡通模式，该模式下图像看上去像一幅卡通画。另外还展示了其他有趣的效果，例如：怪物模式，它通过大幅提高噪声边缘而得到；外星模式，它通过将面部皮肤变成绿色并使其变明亮而得到。
　　有许多商业智能手机应用也可对人脸生成与之类似的效果，比如：卡通滤波器和皮肤颜色变换滤波器。也有一些使用类似概念的专业工具，如：平滑皮肤的后期视频处理工作，该工具可美化女性的脸使其看上去更年轻，采用平滑她们的皮肤，同时使边缘和非皮肤区域锐化来得到。
　　本章介绍如何将桌面应用移植为Android移动设备应用，首先按照开发桌面应用的方法进行开发，然后移植成移动设备上的应用，并创建一个适合于移动应用的用户界面。两个项目共享图像处理代码，读者可在桌面应用中修改卡通化滤波器，然后重新生成Android应用，就可自动展示修改后的效果。
　　这些使用OpenCV4Android项目的步骤经常变化，并且Android的发展本身也不是一成不变；因此，本章介绍了如何通过在其中一个OpenCV示例项目上增加功能来构建Android应用。希望读者可在OpenCV4Android将来的版本中添加相同的功能到同样的项
　　目中。
　　本书同时提供桌面项目和Android项目的源代码。
　　第2章
　　iPhone或iPad上基于标记的增强现实
　　增强现实（Augmented Reality，AR）是真实环境的实时视图，其中，真实环境的元素被计算机生成的图形增强。因此，该技术可提高当前人们对现实世界的感受。增强通常指有环境元素的实时性和语义上下文。受益于先进AR技术（如：将计算机视觉和对象识别加到AR技术中），用户周围的环境信息可变得互动并可通过数字化方式进行操控。环境及相关对象上的虚拟信息可叠加到真实环境中。
　　本章将在iPhone/iPad设备上创建一个AR应用。该应用将从头开始创建，它使用标记在图像上画一些虚拟物体，这些图像是从摄像机上得到的。本章将介绍如何在XCode IDE环境中创建项目，并配置该项目，使其能使用OpenCV。另外还会介绍其他内容，例如：从内置摄像头中获取视频，使用OpenGL ES进行3D场景渲染，解释一个常规AR应用的生成过程。
　　在开始之前，给出所需知识和软件的简要清单：
　　需要一台安装了XCode IDE的苹果计算机。因为iPhone/iPad应用开发只能用苹果的XCode IDE。这是建立该平台应用程序的唯一途径。
　　需要一台iPhone、iPad或iPod Touch设备。为了在设备上运行开发的应用程序，还必须每年花99美元来购买苹果开发者认证（Apple Developer Certificate）。没有此认证不可能在设备上运行应用程序。
　　还需要XCode IDE的基础知识。本书假定读者有一些该IDE的开发经验。
　　也需要Object-C和C++编程语言的基础知识。但应用程序的所有复杂源代码都会被详细解释。
　　本章将介绍更多关于标记的知识，会对完整的检测程序进行解释。学完本章，读者可以写自己的标记检测算法，能在三维空间中根据摄像机的位置来估计标记位置，并利用它们之间的这种变换（摄像机位置与标记位置之间是一个仿射变换）来可视化任意三维物体。
　　本章的示例项目可在随书的材料中找到。该项目对读者学习创建第一个在移动设备上的增加现实应用而言是好的开始。
　　本章将涵盖下面的内容：
　　使用OpenCV创建一个iOS项目。
　　整个应用的结构。
　　标记标测。
　　标记验证。
　　标记的代码识别。
　　在3D环境中放置一个标记。
　　渲染3D虚拟对象。
　　2.1使用OpenCV创建iOS项目
　　本节针对iPhone/iPad设备创建一个可演示的应用，该应用使用OpenCV（Open Source Computer Vision）库来检测视频帧中的标记并渲染其上的3D对象，主要包括如何获取原始视频的数据流，通过OpenCV库进行图像处理，在图像中查找标记，提供一个AR覆盖（overlay）。