2023年8月19-20日，由中國(guó)人工智能學(xué)會(huì)主辦，中國(guó)人工智能學(xué)會(huì)會(huì)士之家(杭州站)承辦，浙江杭州未來(lái)科技城管委會(huì)協(xié)辦的第3期人工智能創(chuàng)新技術(shù)講習(xí)班“多模態(tài)大模型技術(shù)前沿與應(yīng)用”以線上線下結(jié)合的方式成功舉辦，線上累計(jì)觀看人次超16萬(wàn)。

　　本期講習(xí)班圍繞熱點(diǎn)話題“多模態(tài)大模型”展開(kāi)，旨在促進(jìn)學(xué)術(shù)交流，推動(dòng)技術(shù)創(chuàng)新。來(lái)自復(fù)旦大學(xué)的邱錫鵬教授和來(lái)自清華大學(xué)的徐楓副教授共同擔(dān)任本期講習(xí)班的學(xué)術(shù)主任。宋睿華副教授、代季峰副教授、孫天祥博士、王炳寧先生、趙俊博研究員、嚴(yán)明先生等6位在多模態(tài)大模型及相關(guān)領(lǐng)域具有重要影響力的專(zhuān)家學(xué)者也受邀加入講師團(tuán)，為聽(tīng)眾們帶來(lái)了一場(chǎng)精彩紛呈的學(xué)術(shù)盛宴。講習(xí)班開(kāi)課期間，聽(tīng)眾熱情高漲，積極參與互動(dòng)。濃厚的學(xué)術(shù)氛圍也一直延續(xù)到課后，各位講師們?cè)诮Y(jié)束授課后仍一一為線上線下的觀眾們答疑解惑，現(xiàn)場(chǎng)氛圍十分熱烈。

徐楓副教授

　　在8月19日—20日的兩天時(shí)間里，各位講師從嚴(yán)謹(jǐn)縝密到妙趣橫生，從理論研究到落地應(yīng)用，為線上線下的學(xué)員和觀眾帶來(lái)了6場(chǎng)“知識(shí)盛宴”。

　　授課一：《多模態(tài)理解與人工智能創(chuàng)作》宋睿華

　　8月19日上午，宋睿華副教授為大家?guī)?lái)了第一堂課——《多模態(tài)理解與人工智能創(chuàng)作》。在正式授課前，宋睿華副教授先深入淺出地解釋了“多模態(tài)”的概念、其與多媒體的關(guān)系以及其為何突然火爆出圈等問(wèn)題。在介紹完“多模態(tài)”相關(guān)的基本信息后，宋睿華副教授開(kāi)始對(duì)文瀾模型1.0-3.0展開(kāi)介紹，并分享了“多模態(tài)與文本預(yù)訓(xùn)練模型的文本嵌入差異研究”的整個(gè)過(guò)程及其成果。在生動(dòng)授課的最后，宋睿華副教授對(duì)多模態(tài)理解與創(chuàng)作的趨勢(shì)做了總結(jié)，并鼓勵(lì)聽(tīng)眾在未來(lái)能朝著更艱險(xiǎn)處攻關(guān)。

宋睿華副教授

　　授課二：《視覺(jué)基礎(chǔ)大模型》代季峰

　　講習(xí)班的第二堂課《視覺(jué)基礎(chǔ)大模型》由代季峰副教授主講。他在課堂上指出，通用大模型正在引領(lǐng)人工智能的發(fā)展。圍繞“超大規(guī)模視覺(jué)模型”及相關(guān)技術(shù)路線，代季峰副教授在接下來(lái)的授課中展開(kāi)了精彩的講述，他不僅對(duì)LLM(大規(guī)模語(yǔ)言模型)其強(qiáng)大的功能進(jìn)行了描述，亦稱(chēng)贊其是通用人工智能發(fā)展道路上的一個(gè)里程碑。

代季峰副教授

　　授課三：《對(duì)話式大型語(yǔ)言模型》孫天祥

　　8月19日下午，孫天祥博士給大家?guī)?lái)了題為《對(duì)話式大型語(yǔ)言模型》的第三堂課。授課內(nèi)容主要分為四個(gè)部分，分別是預(yù)訓(xùn)練數(shù)據(jù)、自然語(yǔ)言基座模型、對(duì)話語(yǔ)言模型和OpenLMLab。

孫天祥博士

　　授課四：《大語(yǔ)言模型的訓(xùn)練和優(yōu)化方法》王炳寧

　　8月19日下午，王炳寧老師帶來(lái)了本期講習(xí)班的第四堂課——《大語(yǔ)言模型的訓(xùn)練和優(yōu)化方法》。他首先對(duì)語(yǔ)言模型的發(fā)展歷程做了系統(tǒng)的梳理，并指出近幾年語(yǔ)言模型的發(fā)展是超線性的，發(fā)布的頻率在不斷加速。在接下來(lái)的授課中，他對(duì)大語(yǔ)言模型的基礎(chǔ)框架及優(yōu)化方法進(jìn)行了闡述，并在最后樂(lè)觀地表達(dá)了對(duì)大語(yǔ)言模型的憧憬和為中文互聯(lián)網(wǎng)大語(yǔ)言模型做貢獻(xiàn)的決心。

王炳寧老師

　　授課五：《TableGPT——大模型的漫長(zhǎng)落地之路初探》趙俊博

　　8月20日上午，趙俊博研究員帶來(lái)了第五節(jié)課——《TableGPT——大模型的漫長(zhǎng)落地之路初探》。在授課前，風(fēng)趣地解釋了他為授課題目加上了“渡劫”二字的原因，做相關(guān)研究過(guò)程非常漫長(zhǎng)，也充滿了各種挫折和挑戰(zhàn)，他也希望借此激勵(lì)臺(tái)下同處于研究瓶頸期的研究者們。趙俊博研究員隨后簡(jiǎn)單介紹了自己的團(tuán)隊(duì)成員和研究背景，并解釋了他們做剛性LLM而最終選擇了“TableGPT”等一系列問(wèn)題。趙研究員在后續(xù)授課過(guò)程中介紹了“TableGPT”的功能、落地過(guò)程及方案等，并在最后無(wú)不幽默地總結(jié)道，從一個(gè)通用LLM到領(lǐng)域LLM就好比從一個(gè)文科生到理科生轉(zhuǎn)變，堪比“渡劫”。

趙俊博研究員

　　授課六：《達(dá)摩院通義mPLUG多模態(tài)大模型技術(shù)與應(yīng)用》嚴(yán)明

　　8月20日下午，嚴(yán)明老師帶來(lái)了本次講習(xí)班的最后一堂課，《達(dá)摩院通義mPLUG多模態(tài)大模型技術(shù)與應(yīng)用》。他先對(duì)多模態(tài)大模型技術(shù)發(fā)展歷程做了簡(jiǎn)單的歸納，隨后重點(diǎn)介紹了他的團(tuán)隊(duì)研究多模態(tài)的兩條路徑，一條是mPLUG：模塊化多模態(tài)預(yù)訓(xùn)練大模型技術(shù)系列，另外一條則是大小模型協(xié)同的Agent系統(tǒng)。最后，嚴(yán)明老師對(duì)“ModelScope”實(shí)戰(zhàn)應(yīng)用相關(guān)話題展開(kāi)了詳細(xì)的講解與闡述。

嚴(yán)明老師

　　至此，第3期人工智能創(chuàng)新技術(shù)講習(xí)班“多模態(tài)大模型技術(shù)前沿與應(yīng)用”的6節(jié)課程全部結(jié)束。邱錫鵬教授在線上為此次講習(xí)班做了結(jié)業(yè)總結(jié)，他回顧了6位專(zhuān)家學(xué)者精彩的授課內(nèi)容，指出從學(xué)術(shù)介紹到從應(yīng)用落地，這些研究最前沿的成果讓聽(tīng)眾耳目一新。此外，邱錫鵬教授還表示，多模態(tài)大模型的發(fā)展處于起步階段，在未來(lái)發(fā)展的過(guò)程中既充滿了機(jī)遇，也難免會(huì)遇到挑戰(zhàn)，而本次講習(xí)班為各位研究者構(gòu)建了一個(gè)交流互動(dòng)的平臺(tái)，幫助各位學(xué)者不論在學(xué)術(shù)研究還是落地應(yīng)用層面，都能共同探索、學(xué)習(xí)和進(jìn)步。(中國(guó)人工智能學(xué)會(huì))

邱錫鵬教授