2019年11月12日上午,法国贡比涅技术大学Thierry Denoeux教授应邀访问模式识别国家重点实验室,并做了题为《On New Connections between Deep Learning and The Theory of Belief Functions》的学术前沿报告。
Thierry Denoeux教授介绍了Dempster-Shafer理论中的置信函数在不确定性建模和推理上的应用,特别是介绍了Dempster-Shafer理论与Logistic回归以及多层神经网络回归模型的等价性。在本次报告中,Thierry Denoeux教授首先介绍了Dempster-Shafer理论和基于该理论的建模方法。该方法主要是将独立的观测证据用置信函数表示,然后利用Dempster’s rule置信函数的结合律来结合所有的观测证据。在此之后,他以Logistic回归为例回顾了机器学习模型。对于多层神经网络,可以将第一层至倒数第二层网络看作是一个特征提取器,而最后一层可以看作传统机器学习模型中的分类器。接下来,他介绍了Dempster-Shafer理论与Logistic回归的等价关系。具体来说,每一个特征表示的输入可以看作Dempster-Shafer理论中的一个证据。每一个证据对特定的类别的mass function是特征信号的线性组合。在假设每个证据是相互独立的情况下,利用Dempster结合律,所得到的归一化的置信函数与Logistic回归模型完全相同。类似的方法也可以扩展到其他机器学习模型中的分类算法中,如支持向量机等。在最后Thierry Denoeux教授总结道相较于概率的模型,基于Dempster-Shafer理论的模型在量化不确定性方面更有优势。
在报告期间和报告之后,与会师生对Dempster-Shafer理论在深度学习的应用等方面与Thierry Denoeux教授进行了广泛的交流。探讨了该理论在开放性、不确定的环境中模式识别方面的应用,深入讨论了在处理高置信度的分类问题、增量学习上Dempster-Shafer理论的优势等。
Thierry Denoeux教授是法国贡比涅技术大学信息工程学院的的杰出教授。他是置信函数和应用学会(Belief Functions and Applications Society)的主席。他的研究兴趣主要在不确定性智能系统以及在不确定条件下的推理和决策。他的主要贡献是关于置信函数理论,以及在统计推断、模式识别、机器学习和信息融合等方面的应用。他目前是两个Elsevier期刊《Array》以及《International Journal of Approximate Reasoning》的主编(Editor-in-Chief),并且是《Fuzzy Sets and Systems》和《International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems》等多个期刊的副主编(Associate Editor)。
图1. 报告现场(1)
图2. 报告现场(2)
|