编辑推荐
计算机科学技术的迅速发展改变了人们的工作和生活方式。人机交互(human computer interaction，HCI)技术是突破计算机与人类交互瓶颈的重要技术，它有力地促进了计算机的普及应用。为了使人类与计算机之间进行更加智能、更加自然的交互，新型的人机交互技术正在逐渐成为研究热点。人们不仅希望能以更方便、更高效、更自然的方式操纵计算机，而且还希望计算机能理解人的情感，并提供有价值的增值服务。因此，情感识别已经成为人机交互领域亟待突破的关键技术之一。
所谓情感识别，就是利用计算机分析特定表演者的面部表情、姿势和语音信号及其变化过程，进而确定该表演者的内心情绪或思想活动，实现人机之间更智能、更自然的交互。情感分析在许多领域都有着潜在的应用价值，如心理学研究、图像理解、脸部动画合成、视频检索、机器人技术和虚拟现实技术等领域。随着多媒体技术的发展，基于音视频的情感分析、识别研究对增强计算机的智能化和人性化、开发新型人机环境，以及推动多媒体技术和信号处理等相关领域的发展有着重要的意义。
本书作者近几年来在国家自然科学基金项目(60673190、61003183、61272211)的支持下，开展了基于视频和音频的情感识别技术的研究，包括视频和音频的情感特征的提取、适合于音视频情感分析、分类和识别的算法或分类器、多分类器融合的情感识别方法以及情感分析、识别的应用等。本书是在这些项目的研究成果基础上，系统化地加以归类总结撰写而成的。
全书内容分为8章。第1章为绪论，简要地介绍了视觉语音情感识别产生的背景和意义、研究内容及其应用领域。第2章为视觉语音情感识别技术概况，包括情感识别的框架、情感的定义与分类、情感信号的预处理、常见的情感特征提取与选择、现有的情感识别方法，以及情感识别的难点及新动向。第3章为基于视觉信息的情感特征提取方法，内容包括基于视频、图像的表情特征提取的相关方法，这些方法是对已经提出的一些方法的改进，并提出自己所设计的方法。第4章为基于视觉信息的情感识别方法，内容包括了较有特色的相关表情分类、识别方法，如针对样本的不均衡性，提出并实现的最大间隔最小体积球形支持向量机的表情识别方法；针对细微表情的识别问题，提出并实现的混合特征结合分类树的细微表情识别算法；针对视频信息存在噪声和部分遮挡问题，提出并实现的基于模糊深隐马尔可夫模型的图像序列表情识别方法。第5章为语音情感特征选择提取方法，内容包括了语音情感测试库的构建、个性化和基于多重分形理论的语音情感特征提取方法、语音情感特征有效选择方法，以及基于流形学习的语音情感特征降维等方法。第6章为语音情感识别方法，内容包括了基于选择性特征的决策树的语音情感识别方法和基于改进有向无环图的分层语音情感识别方法。第7章为视觉语音融合情感识别方法，内容包括基于D-S证据理论的多粒度语段融合情感识别方法、多分类器融合方法和具有噪声过滤功能的分类器协同训练半监督主动学习方法等。第8章为情感分析的应用，内容包括基于表情动作单元参数的逼真表情动画方法和E-learning环境中的情感分析应用方法。
本书较全面地总结了课题组近年来的有关视觉语音情感识别的研究成果，内容系统、深入浅出、方法有新颖性和创新性。适合从事音视频信息的处理，特别是从事智能人机交互、计算机视觉与听觉、模式识别与人工智能以及智能动画等领域的科技工作者阅读参考。本书也可作为情感计算、新型人机交互和智能信息处理等课程的研究生教材。
本书由詹永照总体负责，毛启容负责组织实施。本书的第1、2章由毛启容和成科扬撰写，第3章由林庆撰写，第5、6章由毛启容撰写，詹永照负责了其余各章的撰写和全书的统稿工作。
完成这些项目的老师和合作者还有张建明、文传军、叶敬福、曹鹏、周庚涛、陈亚必、刘娟、李婷、陆捷荣、张娟、胡敏灵、徐莉婷、刘云、孔建等，他们在课题研究中刻苦钻研，做了有意义的探索性工作，也为本书的完成做出了重要贡献。在此谨向他们表示衷心的感谢。本书的撰写过程也参考了国内外研究者的研究成果和资料，也一并向他们致谢。
情感计算属于交叉学科的新兴研究领域，由于我们的水平有限，书中难免有疏漏之处，敬请读者不吝指正。
詹永照
2012年10月于江苏大学
内容简介
目录
第1章 绪论
1.1 视觉语音情感识别的产生背景
1.2 视觉语音情感分析的研究内容
1.3 视觉语音情感识别的应用领域
1.3.1 表情识别的应用
1.3.2 语音情感识别的应用
参考文献
第2章 视觉语音情感识别技术概况
2.1 情感识别框架
2.2 情感描述模型
2.2.1 情感的定义
2.2.2 情感的分类
2.3 视觉语音信号预处理
2.3.1 人脸表情图像预处理
2.3.2 情感语音信号预处理
2.4 情感特征提取
2.4.1 视觉信息情感特征提取
2.4.2 语音情感特征提取
序言
所谓情感识别，就是利用计算机分析特定表演者的面部表情、姿势和语音信号及其变化过程，进而确定该表演者的内心情绪或思想活动，实现人机之间更智能、更自然的交互。情感分析在许多领域都有着潜在的应用价值，如心理学研究、图像理解、脸部动画合成、视频检索、机器人技术和虚拟现实技术等领域。随着多媒体技术的发展，基于音视频的情感分析、识别研究对增强计算机的智能化和人性化、开发新型人机环境，以及推动多媒体技术和信号处理等相关领域的发展有着重要的意义。
本书作者近几年来在国家自然科学基金项目(60673190、61003183、61272211)的支持下，开展了基于视频和音频的情感识别技术的研究，包括视频和音频的情感特征的提取、适合于音视频情感分析、分类和识别的算法或分类器、多分类器融合的情感识别方法以及情感分析、识别的应用等。本书是在这些项目的研究成果基础上，系统化地加以归类总结撰写而成的。
全书内容分为8章。第1章为绪论，简要地介绍了视觉语音情感识别产生的背景和意义、研究内容及其应用领域。第2章为视觉语音情感识别技术概况，包括情感识别的框架、情感的定义与分类、情感信号的预处理、常见的情感特征提取与选择、现有的情感识别方法，以及情感识别的难点及新动向。第3章为基于视觉信息的情感特征提取方法，内容包括基于视频、图像的表情特征提取的相关方法，这些方法是对已经提出的一些方法的改进，并提出自己所设计的方法。第4章为基于视觉信息的情感识别方法，内容包括了较有特色的相关表情分类、识别方法，如针对样本的不均衡性，提出并实现的最大间隔最小体积球形支持向量机的表情识别方法；针对细微表情的识别问题，提出并实现的混合特征结合分类树的细微表情识别算法；针对视频信息存在噪声和部分遮挡问题，提出并实现的基于模糊深隐马尔可夫模型的图像序列表情识别方法。第5章为语音情感特征选择提取方法，内容包括了语音情感测试库的构建、个性化和基于多重分形理论的语音情感特征提取方法、语音情感特征有效选择方法，以及基于流形学习的语音情感特征降维等方法。第6章为语音情感识别方法，内容包括了基于选择性特征的决策树的语音情感识别方法和基于改进有向无环图的分层语音情感识别方法。第7章为视觉语音融合情感识别方法，内容包括基于D-S证据理论的多粒度语段融合情感识别方法、多分类器融合方法和具有噪声过滤功能的分类器协同训练半监督主动学习方法等。第8章为情感分析的应用，内容包括基于表情动作单元参数的逼真表情动画方法和E-learning环境中的情感分析应用方法。
本书较全面地总结了课题组近年来的有关视觉语音情感识别的研究成果，内容系统、深入浅出、方法有新颖性和创新性。适合从事音视频信息的处理，特别是从事智能人机交互、计算机视觉与听觉、模式识别与人工智能以及智能动画等领域的科技工作者阅读参考。本书也可作为情感计算、新型人机交互和智能信息处理等课程的研究生教材。
本书由詹永照总体负责，毛启容负责组织实施。本书的第1、2章由毛启容和成科扬撰写，第3章由林庆撰写，第5、6章由毛启容撰写，詹永照负责了其余各章的撰写和全书的统稿工作。
完成这些项目的老师和合作者还有张建明、文传军、叶敬福、曹鹏、周庚涛、陈亚必、刘娟、李婷、陆捷荣、张娟、胡敏灵、徐莉婷、刘云、孔建等，他们在课题研究中刻苦钻研，做了有意义的探索性工作，也为本书的完成做出了重要贡献。在此谨向他们表示衷心的感谢。本书的撰写过程也参考了国内外研究者的研究成果和资料，也一并向他们致谢。
情感计算属于交叉学科的新兴研究领域，由于我们的水平有限，书中难免有疏漏之处，敬请读者不吝指正。
詹永照
2012年10月于江苏大学
书摘
所谓情感识别，就是利用计算机分析特定表演者的面部表情、姿势和语音信号及其变化过程，进而确定该表演者的内心情绪或思想活动，实现人机之间更智能、更自然的交互。情感分析在许多领域都有着潜在的应用价值，如心理学研究、图像理解、脸部动画合成、视频检索、机器人技术和虚拟现实技术等领域。随着多媒体技术的发展，基于音视频的情感分析、识别研究对增强计算机的智能化和人性化、开发新型人机环境，以及推动多媒体技术和信号处理等相关领域的发展有着重要的意义。
本书作者近几年来在国家自然科学基金项目(60673190、61003183、61272211)的支持下，开展了基于视频和音频的情感识别技术的研究，包括视频和音频的情感特征的提取、适合于音视频情感分析、分类和识别的算法或分类器、多分类器融合的情感识别方法以及情感分析、识别的应用等。本书是在这些项目的研究成果基础上，系统化地加以归类总结撰写而成的。
全书内容分为8章。第1章为绪论，简要地介绍了视觉语音情感识别产生的背景和意义、研究内容及其应用领域。第2章为视觉语音情感识别技术概况，包括情感识别的框架、情感的定义与分类、情感信号的预处理、常见的情感特征提取与选择、现有的情感识别方法，以及情感识别的难点及新动向。第3章为基于视觉信息的情感特征提取方法，内容包括基于视频、图像的表情特征提取的相关方法，这些方法是对已经提出的一些方法的改进，并提出自己所设计的方法。第4章为基于视觉信息的情感识别方法，内容包括了较有特色的相关表情分类、识别方法，如针对样本的不均衡性，提出并实现的最大间隔最小体积球形支持向量机的表情识别方法；针对细微表情的识别问题，提出并实现的混合特征结合分类树的细微表情识别算法；针对视频信息存在噪声和部分遮挡问题，提出并实现的基于模糊深隐马尔可夫模型的图像序列表情识别方法。第5章为语音情感特征选择提取方法，内容包括了语音情感测试库的构建、个性化和基于多重分形理论的语音情感特征提取方法、语音情感特征有效选择方法，以及基于流形学习的语音情感特征降维等方法。第6章为语音情感识别方法，内容包括了基于选择性特征的决策树的语音情感识别方法和基于改进有向无环图的分层语音情感识别方法。第7章为视觉语音融合情感识别方法，内容包括基于D-S证据理论的多粒度语段融合情感识别方法、多分类器融合方法和具有噪声过滤功能的分类器协同训练半监督主动学习方法等。第8章为情感分析的应用，内容包括基于表情动作单元参数的逼真表情动画方法和E-learning环境中的情感分析应用方法。
本书较全面地总结了课题组近年来的有关视觉语音情感识别的研究成果，内容系统、深入浅出、方法有新颖性和创新性。适合从事音视频信息的处理，特别是从事智能人机交互、计算机视觉与听觉、模式识别与人工智能以及智能动画等领域的科技工作者阅读参考。本书也可作为情感计算、新型人机交互和智能信息处理等课程的研究生教材。
本书由詹永照总体负责，毛启容负责组织实施。本书的第1、2章由毛启容和成科扬撰写，第3章由林庆撰写，第5、6章由毛启容撰写，詹永照负责了其余各章的撰写和全书的统稿工作。
完成这些项目的老师和合作者还有张建明、文传军、叶敬福、曹鹏、周庚涛、陈亚必、刘娟、李婷、陆捷荣、张娟、胡敏灵、徐莉婷、刘云、孔建等，他们在课题研究中刻苦钻研，做了有意义的探索性工作，也为本书的完成做出了重要贡献。在此谨向他们表示衷心的感谢。本书的撰写过程也参考了国内外研究者的研究成果和资料，也一并向他们致谢。
情感计算属于交叉学科的新兴研究领域，由于我们的水平有限，书中难免有疏漏之处，敬请读者不吝指正。
詹永照
2012年10月于江苏大学
