中国科学院自动化研究所   设为首页   加入收藏  联系我们
 
English
网站首页     实验室概况     研究队伍     组织机构     学术交流     科研成果     人才培养     开放课题     创新文化     资源共享     联系我们
     语音语言信息处理研究组
 

语音语言技术研究组(Research Group of Speech and Language Technology)
    语音语言技术是模式识别国家重点实验室的研究方向之一,该研究组致力于人类语言技术中的基础问题和关键技术研究,力图在理论模型与应用系统开发和大规模语料库建设等方面做出应有的贡献。目前研究组的主要兴趣在如下三个方面:(1)自然语言处理的基础理论和方法研究、机器翻译、信息检索与信息提取、文本挖掘;(2)高性能的语音识别技术研究;(3)语音合成、计算听觉场景分析、人机交互中情感计算、多媒体集成方法研究。

语音语言技术研究组共包含2个研究小组:

1.自然语言处理研究小组(点击进入自然语言处理研究小组网站
    自然语言处理是利用计算机技术处理人类自然语言的一门交叉型学科,涉及计算机科学、数学、逻辑学、语言学和认知科学等多个领域。模式识别国家重点实验室自然语言处理组主要从事自然语言处理基础、机器翻译、信息抽取和问答系统等相关研究工作,力图在自然语言处理的理论模型和应用系统开发方面做出创新成果。目前研究组的主要方向包括:自然语言处理基础技术(汉语词语切分、句法分析、语义分析和篇章分析等)、多语言机器翻译、信息抽取(实体识别、实体关系抽取、观点挖掘等)和智能问答系统(基于知识库的问答系统、知识推理、社区问答等)。
    近年来,研究组注重于自然语言处理基础理论和应用基础的相关研究,取得了一批优秀成果,承担了一系列包括国家自然科学基金项目、“973”计划课题、“863”计划项目和支撑计划项目等在内的基础研究和应用基础研究类项目,以及一批企业应用合作项目。在自然语言处理及相关领域顶级国际期刊(CL、TASLP、TKDE、JMLR、TACL、Information Sciences、Intelligent Systems等)和学术会议(AAAI、IJCAI、ACL、SIGIR、WWW等)上发表了一系列高水平的研究论文。2009年获得第23届亚太语言、信息与计算国际会议(PACLIC)最佳论文奖,2012年获得第一届自然语言处理与中文计算会议(NLPCC)最佳论文奖,2014年获得第25届国际计算语言学大会(COLING)最佳论文奖。获得了10余项国家发明专利。
    研究组还面向国家需求致力于应用技术和实用系统的开发。其中,多语言机器翻译系统已覆盖汉语、日语、英语、德语、法语、阿拉伯语、维吾尔语(包括维吾尔语新文字)、藏语、蒙古语(包括拉丁蒙古语)、越南语、土耳其语和韩国语等10多种语言对,并已在国家相关部门得到实际应用。该系统在2007至2009连续三年的国际口语机器翻译评测(IWSLT)中获得多项第一名的优异成绩,并于2011年和2013年在全国机器翻译评测(CWMT)中摘获多项第一名。推荐系统于2011年获得国际数据挖掘和知识发现权威竞赛KDD-CUP全球亚军(共1297支队伍参加),并多次在国内外信息抽取和问答系统评测中(如“863”实体识别任务、NTCIR2008观点挖掘任务、QALD-3知识问答任务等)取得多项指标第一名的优异成绩。同时,研究组研发的汉语自动分词系统、词性标注和实体识别一体化工具、句法分析器、百科知识服务平台和餐馆美食问答系统等,已在中国大百科全书出版社等国家多个企事业单位得到实际应用。


图1.交互式多语言翻译系统


图2.网络文本信息抽取与深度问答

 

2.人机语音交互研究小组(点击进入人机语音交互研究小组网站

 


多模态自然人机对话


    人机语音交互课题组主要从事的研究方向包括:语音识别与合成、口语分析与理解、人机交互、情感计算、音视频内容理解等。目前课题组有固定科研和工作人员12人、博士生和硕士生10余人,学术顾问1人,另有多名访问学生。
    课题组在包括IEEE TASLP、Speech Communication、ACM Multimedia、ICASSP、InterSpeech、ICIP、ICCV等国内外学术期刊和会议上发表论文190余篇,申请国内发明专利20余项,分别获得:2005年全国信号处理学术会议优秀论文奖;2007年TC-STAR语音合成评测第一名;2007和2013年全国人机语音通讯会议优秀论文提名;第九届全国人机交互会议(2013年)优秀论文奖;第十一届全国全国人机交互学术会议(2015年)优秀论文提名;第13届全国人机语音通讯学术会议优秀论文奖(2015年)。成果同时获北京市科技进步二等奖(2014年)。
    课题组先后承担国家级项目(科技部863计划重点、国家自然科学基金重点和面上项目、企业合作)60余项,包括:国家863计划主题项目“面向移动终端的多模态自然交互技术”,国家自然科学基金杰出青年项目“多通道融合的言语分析与生成理论和方法研究”,国家自然科学基金重点项目“语音产生过程的神经生理建模与控制”及“基于体感的新型互动计算理论、方法与关键技术的研究与应用”以及国家自然科学基金面上项目“基于影像和语音分析的发音器官运动可视化”、“面向自然口语对话的深层次信息感知与表达方式研究”等。在相关研究课题的支持下,课题组完成了高质量的多语言语音识别与合成系统,有效地融合了汉语、英语、粤语、上海话、四川话、天津话、陕西话等语种或方言,并能实现高效准确的口语内容理解和自然人机对话;研发了基于音视频的高性能连续维度情感识别系统,在智能客服和电信增值业务中获得很好应用;建立了具有多模态会话能力的数字虚拟人系统,能理解用户的语音、表情、肢体动作等多模态信息,较智能地和用户进行对话,并能根据对话历史优化答案。相关技术已与百度、三星、腾讯、联想、宝马、东芝、富士通等著名企业进行了合作。
    课题组是国家语音交互技术标准制定小组成员、欧洲先进语音合成中心“ European Center of Excellent Speech Synthesis ”核心成员、W3C语音合成标注语言制定小组核心成员。与相关单位合作共同完成了国家技术标准《中文语音合成系统通用技术规范》(GB/T 21024-2007)、 W3C标准《Speech Synthesis Markup Language (SSML) Version 1.1》、 W3C标准《Emotion Markup Language (EMOXG)》等国家级国际重要标准。
 

 
友情链接
 
中科院自动化研究所 模式识别国家重点实验室 事业单位  京ICP备14019135号-3
NLPR, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES