寧波東方理工大學(xué)(暫名)副校長(zhǎng)、加拿大外籍院士曾文軍致辭
5月11日上午,以“大模型驅(qū)動(dòng)產(chǎn)業(yè)發(fā)展”為主題的第九屆寧波市計(jì)算機(jī)大會(huì)(NBCC2025)在甬舉行,大會(huì)聚焦大模型、機(jī)器人、人工智能等前沿技術(shù)與教育、醫(yī)療、工業(yè)互聯(lián)網(wǎng)、產(chǎn)業(yè)鏈應(yīng)用等深度融合,邀請(qǐng)了中國(guó)工程院鄭緯民院士、英國(guó)皇家工程院楊廣中院士、美國(guó)工程院陳掌星院士等多位嘉賓,同近千名與會(huì)者共話未來(lái)發(fā)展。
鄭緯民:大模型領(lǐng)域,寧波能做的兩件事和不必做的三件事
鄭緯民院士演講
作為土生土長(zhǎng)的寧波老鄉(xiāng),鄭緯民院士是中國(guó)計(jì)算機(jī)機(jī)器智能、人工智能大模型的領(lǐng)軍科學(xué)家,其帶領(lǐng)的清華大學(xué)計(jì)算機(jī)系團(tuán)隊(duì)過(guò)去幾年為阿里的通義千問(wèn)、月之暗面的Kimi以及Deepseek貢獻(xiàn)了許多開(kāi)源技術(shù),為中國(guó)大模型的成長(zhǎng)提供助力。
他在會(huì)上的主旨報(bào)告首先介紹了一個(gè)人工智能大模型完整生命周期的5個(gè)重要環(huán)節(jié)。
首先是數(shù)據(jù)獲取,也就是從海量的互聯(lián)網(wǎng)絡(luò)和各類終端中獲取上千億計(jì)數(shù)的各類數(shù)據(jù)。第二個(gè)環(huán)節(jié)是數(shù)據(jù)預(yù)處理,這個(gè)階段要篩除重復(fù)數(shù)據(jù)、無(wú)效數(shù)據(jù)或低效數(shù)據(jù)。
“這個(gè)過(guò)程說(shuō)起來(lái)簡(jiǎn)單,但非常耗時(shí),以GPT-4舉例,整個(gè)模型訓(xùn)練周期是一年,其中有半年就是在做數(shù)據(jù)預(yù)處理。”他介紹。
第三個(gè)環(huán)節(jié)是模型訓(xùn)練,這個(gè)階段需要海量的算力,還是以GPT-4舉例,需要1萬(wàn)塊A100的GPU訓(xùn)練半年以上。“前三個(gè)階段耗時(shí)耗資源,成本極高。我認(rèn)為作為寧波這座城市以及寧波的企業(yè),這三個(gè)環(huán)節(jié)不必要投入太多?!编嵕暶裾f(shuō)。
第四個(gè)環(huán)節(jié)是模型調(diào)整,也就是說(shuō)在通用大模型的基礎(chǔ)上做垂直領(lǐng)域模型的訓(xùn)練,如醫(yī)療、教育、工業(yè)制造、金融等等,其實(shí)是模型的二次訓(xùn)練,得到專屬行業(yè)的專用大模型。
而第五個(gè)階段就是應(yīng)用,根據(jù)使用的實(shí)際情況繼續(xù)提高模型的能力和穩(wěn)定性。
“后面兩個(gè)階段對(duì)寧波尤其重要,寧波產(chǎn)業(yè)基礎(chǔ)好,應(yīng)該在全國(guó)率先訓(xùn)練出細(xì)分行業(yè)的專用模型?!蓖瑫r(shí),鄭緯民特別強(qiáng)調(diào),在人工智能時(shí)代要特別重視開(kāi)源生態(tài)。他在現(xiàn)場(chǎng)介紹了兩個(gè)其帶領(lǐng)的清華團(tuán)隊(duì)研發(fā)的兩項(xiàng)用于優(yōu)化大模型的開(kāi)源技術(shù)——“mooncake”“KTransformers”。
Mooncake的核心創(chuàng)新在“以存換算”,構(gòu)建了一個(gè)分離的推理架構(gòu)。
“比如,今天星期幾和明天星期幾,本質(zhì)上是一個(gè)問(wèn)題,但以往也是作為兩個(gè)問(wèn)題來(lái)儲(chǔ)存和計(jì)算。我們的算法就是優(yōu)化一系列這樣的問(wèn)題,使得數(shù)據(jù)預(yù)處理、模型訓(xùn)練和推理之間的任務(wù)可以高效分離開(kāi)來(lái),能夠在處理復(fù)雜任務(wù)時(shí)顯著降低延遲,提高吞吐量。”他介紹,Kimi大模型在采用Mooncake架構(gòu)后,提升了59%至498%的有效請(qǐng)求處理能力,使其在處理長(zhǎng)上下文輸入的場(chǎng)景中表現(xiàn)尤為突出。Deepseek的架構(gòu)和英偉達(dá)新一代芯片也都借鑒了Mooncake,為此英偉達(dá)掌門(mén)人黃仁勛還在最新的發(fā)布會(huì)上致謝清華鄭緯民院士團(tuán)隊(duì)。
“這就是開(kāi)源生態(tài)的重要性,共同推進(jìn)全球人工智能產(chǎn)業(yè)的發(fā)展和治理?!彼f(shuō)。
而KTransformers項(xiàng)目,則是讓普通人都可以享受到“專屬個(gè)人的滿血版推理模型”。
網(wǎng)頁(yè)版的DeepSeek-R1本質(zhì)上是全球用戶都在云端使用價(jià)值20億元的算力硬件。而本地部署671B(6710億參數(shù)模型,也就是滿血版),理論上需要高端的A100/H100服務(wù)器才能支撐,設(shè)備價(jià)格高達(dá)數(shù)百萬(wàn)元人民幣,令許多中小型團(tuán)隊(duì)望而卻步。然而,KTransformers通過(guò)一系列技術(shù)創(chuàng)新,成功將計(jì)算負(fù)載壓縮到了可承受的范圍。能在24G顯存的消費(fèi)級(jí)顯卡(如4090)上運(yùn)行“滿血版”DeepSeek-R1,而內(nèi)存消耗也顯著低于以往的預(yù)期。根據(jù)開(kāi)發(fā)者實(shí)測(cè),本地運(yùn)行的顯存占用約為14GB,遠(yuǎn)低于傳統(tǒng)部署方案。部署DeepSeek-R1的本地方案僅需不到7萬(wàn)元,無(wú)疑是一次“算力民主化”的飛躍。
AI將助力各行業(yè)突破傳統(tǒng)
除了現(xiàn)在廣為人知的如DeepSeek之類的大模型,其實(shí)人工智能還有許多技術(shù)路線,如深度學(xué)習(xí)、具身智能、機(jī)器視覺(jué)、自然語(yǔ)義、類腦智能、神經(jīng)元算法等。而不同路線的結(jié)合將產(chǎn)生各種神奇反應(yīng)。
楊廣中院士演講
楊廣中院士介紹了醫(yī)療機(jī)器人的當(dāng)前挑戰(zhàn)與機(jī)遇。目前,深度學(xué)習(xí)、具身智能、機(jī)器視覺(jué)三大技術(shù)結(jié)合的手術(shù)機(jī)器人已經(jīng)能夠完成微米級(jí)的超顯微手術(shù),如白內(nèi)障剝除、黃斑裂孔修復(fù)、顱內(nèi)血栓疏通等。而未來(lái)用機(jī)器人制造的機(jī)器人將呈現(xiàn)“更小、更智能、更安全”的三大趨勢(shì)。
他表示,醫(yī)療機(jī)器人已經(jīng)開(kāi)始成為連接診斷、治療及康復(fù)的智能生態(tài)系統(tǒng),推動(dòng)醫(yī)療進(jìn)入精準(zhǔn)化、個(gè)性化、遠(yuǎn)程化的新時(shí)代,從而惠及更多普通人的身心健康。
陳掌星院士演講
“數(shù)據(jù)是燃料,知識(shí)是引擎”。陳掌星院士在《數(shù)據(jù)與知識(shí)雙驅(qū)動(dòng)的智能大模型》的演講中,通過(guò)數(shù)據(jù)與知識(shí)的深度融合,突破了傳統(tǒng)工業(yè)模型的局限。未來(lái),隨著邊緣計(jì)算、量子計(jì)算等技術(shù)的成熟,工業(yè)大模型將推動(dòng)傳統(tǒng)制造業(yè)進(jìn)入人工智能新階段。
本次大會(huì)由寧波市計(jì)算機(jī)學(xué)會(huì)、寧波數(shù)字孿生(東方理工)研究院主辦,寧波市信息協(xié)會(huì)協(xié)辦。