講座題目：The Benefits and Challenges of Self-supervised learning

報告專家：Josef Kittler（英國薩里大學）

報告時間：2024年5月24日（星期五）11:10

報告地點：學術交流中心報告廳

主辦單位：計算機與軟件工程學院

  歡迎全校師生參加！

報告人簡介：

約瑟夫·基特勒（Josef Kittler），英國薩里大學(University of Surrey)杰出教授，模式識別和人工智能領域世界頂級學者，英國皇家工程院院士，前國際模式識別協會 (IAPR) 主席，是國際模式識別協會頒發的國際模式識別領域最高獎K.S. Fu獎的得主。他于1974年在英國劍橋大學獲得了模式識別專業博士學位，并于1991年獲得劍橋大學科學博士學位。他的研究方向主要包括模式識別、圖像分析和計算機視覺領域的理論和應用研究。其所在的電子工程系，視覺、語音和信號處理中心（CVSSP）由他本人于1986年創建。Josef Kittler教授在1986年至2014年期間一直擔任該中心主任。迄今為止，Josef Kittler 教授共發表學術論文600余篇，其中6篇論文的引用量超過1900余次（Google Scholar統計數據）。Josef Kittler教授發表的學術論文中有20余篇被刊登在國際模式識別領域最著名的期刊IEEE TPAMI上。他目前是還是多個期刊，如Pattern Recognition Letters, Pattern Recognition and Artificial Intelligence, 和Pattern Analysis and Applications的期刊編委。此外，在與國內的合作方面，他是教育部111引智計劃學術大師、教育部海外名師，獲得了2015年的江蘇省國際科技合作獎和2016年的中國政府友誼獎，并在2019年受邀為新中國成立70周年之際的天安門觀禮嘉賓。

報告內容簡介：Self-supervised learning is attracting a lot of attention in the research community because of its advantages over supervised learning in the context of building AI foundational models. These advantages include no cost of data annotation, avoidance of the negative impact of misleading information provided by coarse labels, the need for smaller training sets to facilitate learning, and the ability to model the data properties more directly. Self-supervised learning is accomplished by different pretext tasks, which are formulated in terms of appropriate objective functions. The learning methods themselves are based on a range of heuristics, such as distillation, temperature, asymmetry, batch normalisation, etc. The talk will discuss these heuristics by revisiting the problem of unsupervised learning based on the Gaussian mixture model estimation in the input data space. The parallel with clustering in the original space will motivate a novel approach for self-supervised learning in the embedding space. The merits of the proposed approach will be demonstrated on a range of experiments producing very promising results.