研究工作 ( 2013 )
| 跨媒体分析的理论和方法数字媒体理解是指对文本、图像、声音、视频和动画等数据进行计算分析，产生能满足用户需求的语义描述和处理结果。随着获取手段的提高和数据量的激增，带来了媒体数据的来源多渠道、内容多样性、需求多元化、计算复杂化等问题，对媒体的机器理解产生了极大的困难，已成为数字媒体应用的瓶颈。因此，开展数字媒体理解的研究具有重要科学意义。本课题围绕媒体内容的多态性特点，建立有效的跨媒体表示模型，使之能够表达特征到特征、特征到语义、语义到语义等不同层次的关联，并提出基于异构底层特征融合的面向不同粒度语义的映射模型，建立面向媒体内容的以实体、关系和事件为核心的结构化语义描述体系。 课题负责人：卢汉清 进行中 |
| 基于上下文隐式概念模型的图像与视频分类研究海量多媒体内容管理是当前计算机领域的研究热点，而图像与视频的分类是多媒体内容管理的关键技术之一。本项目旨在研究图像与视频分类问题中的隐式语义概念学习方法。通过深入分析和借鉴文本分析中经典的隐式概念模型，结合图像与视频分类问题，提出新的隐式概念学习模型。具体而言，主要拟开展以下三个方面的研究工作。第一，克服传统词袋描述方法不具有空间-时间信息的不足，研究具有时间-空间信息的多层次语义概念的描述方式；第二，分析潜在概念空间的几何拓扑结构，引入局部结构保留方法等流形学习方法，克服传统隐式模型对概念间关系描述的不足；第三，充分挖掘图像与视频的上下文信息，分析图像与视频之间的关联，融合概念间的语义关系，建立新的基于上下文的隐式模型，并为图像与视频的语义分析和分类服务。 项目负责人：卢汉清 进行中 |
| 基于图谱分析的网络视频推荐方法研究网络视频推荐中不仅存在视频数量巨大、类型各异、内容难以准确理解等问题，还存在上下文关系、用户的网络社会关系等复杂关系。用传统的推荐方法很难有效描述这些错综复杂的关系。本项目旨在利用图模型对这些复杂的用户-对象关系进行分析与建模，借鉴图谱分析进行求解生成推荐，克服与改善网络视频推荐中存在的若干难点问题，为网络视频推荐提供有益的解决思路。具体而言，通过充分考虑用户的网络和社会关系，建立一个适合描述复杂用户-对象关系的超图模型。针对视频对象特征描述、上下文等多重属性，采用基于张量分析的多维度关系表示，把传统用户-对象的简单二维表示形式推广到多维的张量表示，改善高维异构特征的描述。引入图谱方法和理论的最新研究成果，实现多重复杂用户-对象关系模型的求解。结合视觉分析和机器学习的方法，探讨快速、有效的图模型更新方法。 项目负责人：程健 进行中 |
| 基于社会标签的图像标注与标签推荐基于社会标签在网络图片资源传播分享中的重要作用，同时考虑到因其自由性和开放性而带来的多噪声、稀疏性、主观性等问题，本项目将以图片分享网站的社会标签、图像与用户数据为研究对象，合理考虑三者之间动态交互关系，重点发掘社会标签数据在语义空间学习、图像特征表示、图像标注及其标签推荐等方面所能提供的有用知识，具体展开以下研究内容：（1）社会标签的层次关系发现及其相关性分析；（2）融合高层语义的图像特征表示及其相关性分析；（3）基于矩阵分解模型的图像-标签关联分析（即图像标注）；（4）基于用户偏好学习的图像标签推荐。其中，图像标签推荐可降低用户标注代价，提高标注数据质量与数量，进而为图像标注提供更好的数据基础；反过来，图像标注可为用户要标记的图像提供其语义标签的先验排序，以此为标签推荐提供指导。二者的有机结合是维持网络共享资源的增量式高效管理与准确索引的有力保证。 项目负责人：刘静 进行中 |
| 面向移动终端的视频检索与浏览随着多媒体终端的普及和移动互联网的迅速发展，如何给用户提供有效便捷的视频检索并与不同设备的进行内容适配逐渐成为研究的热点。本项目旨在研究移动终端上视频检索与浏览方法，通过深入分析基于噪音标签下视频的语义理解，研究多示例图模型的多标签视频标注；结合上下文信息，研究基于图谱分析的视频检索方法；探讨同时调整画面大小和视频长度，研究基于子空间理论的视频自适应，克服带宽和存储量的限制；通过双重局部限制的主题模型对检索结果进行层次化聚类，并生成与屏幕适配的视频缩略图。 项目负责人：王金桥 进行中 |
| 知识与数据混合驱动的概率图模型研究及在行为分析中的应用在计算机视觉中，单纯数据驱动的统计机器学习方法过于依赖训练数据，对噪声较敏感且易出现过拟合现象，因此鲁棒性和泛化性不够理想。与此同时，在训练数据之外，大量领域先验知识却往往被忽略，未被加以利用。为此我们提出一种知识与数据混合驱动的概率图模型，将先验知识与训练数据相结合，使得两种信息相互补充，以获得良好的训练效果。在本项目中，我们将系统分析和辨识计算机视觉领域不同类型的先验知识，探寻具有较强适用性的知识抽象和表示方法，将先验知识转化为先验模型、约束条件和模拟数据三种形式，与训练数据相融合，作用于概率图模型的建立、学习和优化问题的求解，以期缩小优化问题的假设空间，提高学习的收敛速度，同时有效避免过拟合现象，减少模型对训练数据数量和质量上的依赖，提高鲁棒性和泛化性。我们将在人体行为分析问题中验证该方法的有效性，以及模型在不同训练数据条件下的鲁棒性和泛化性能。 项目负责人：张一帆 进行中 |