我院肖義勝等學生論文被國際頂會ICLR’2024接收
時間: 2024-01-18 發布者: 李俊濤 文章來源: 伟德官网下app官方网站 審核人: 黃河、李恩秀 浏覽次數: 2007

        我院博士一年級學生肖義勝所著論文《Are Bert Family Good Instruction Followers? A Study on Their Potential And Limitations》被ICLR’2024接收,此論文為我校第一單位的首篇ICLR論文,通訊作者為李俊濤老師。

  ICLR的全稱是國際表示學習會議(International Conference on Learning Representations),與NeurIPSICML并稱為深度學習的三大頂級會議。該論文第一作者肖義勝為我院17級軟件工程專業本科生,21年保研留校(導師張民,李俊濤協助指導),23年轉為碩博連讀,主要研究語言建模的新框架與推理策略,曾發表我校首篇學生一作TPAMI論文(CCF A類期刊,影響因子24.3),另外在AAAIEMNLP等國際頂會上發表多篇論文。

  該工作在肖義勝同學前期研究工作的基礎上重點探索了GPT系列和T5系列大模型以外的其它可能性,首次對BERT系列模型的zero-shot指令跟随(instruction following)進行了探索。實驗結果表明, 通過提出簡單的策略即可使得BERT系列模型具備與同等大小的T5GPT系列生成式模型相當的zero-shot生成和指令遵循能力,并且具備3倍以上的解碼速度提升。該研究為生成式語言模型的框架設計提供了新的可能性,并指明了接下來需要解決的難題。