“百模”賽事正酣 路徑演變多端

過(guò)去的三個(gè)月里，大模型如雨后春筍般涌現(xiàn)。根據(jù)《中國(guó)人工智能大模型地圖研究報(bào)告》不完全統(tǒng)計(jì)，目前國(guó)內(nèi)已經(jīng)發(fā)布了79個(gè)參數(shù)規(guī)模在10億以上的大模型，可以說(shuō)“百模大戰(zhàn)”已經(jīng)開始了。

行業(yè)沸騰的背后，各家模型實(shí)力究竟如何？大模型技術(shù)未來(lái)將會(huì)如何演進(jìn)？它會(huì)為我們的生活帶來(lái)哪些改變？近日，在舉辦的“21科技峰會(huì)·潮起AIGC：大模型崛起”閉門研討會(huì)上，多位業(yè)內(nèi)專家、企業(yè)代表圍繞技術(shù)演進(jìn)、應(yīng)用創(chuàng)新以及行業(yè)監(jiān)管等方向進(jìn)行了深入討論。

(資料圖片僅供參考)

對(duì)于此輪AI技術(shù)的爆發(fā)，中國(guó)信通院云大所內(nèi)容科技部副主任劉碩認(rèn)為，以大模型為代表的深層次AI技術(shù)，目前應(yīng)用場(chǎng)景還比較局限，結(jié)合相關(guān)企業(yè)進(jìn)展來(lái)看，行業(yè)總體上仍然處于發(fā)展的早期階段。關(guān)于AI技術(shù)可能存在的一些誤判，在于長(zhǎng)期內(nèi)低估以及短期內(nèi)高估。

一方面，大模型技術(shù)潛力在業(yè)界已經(jīng)有了相當(dāng)充足的論證，未來(lái)在產(chǎn)業(yè)技術(shù)革新上的推動(dòng)價(jià)值不能忽視。另一方面，大量企業(yè)機(jī)構(gòu)一窩蜂地投入到大模型研發(fā)上，也可能會(huì)產(chǎn)生擠占其它需要長(zhǎng)期探索的技術(shù)所需資源的問(wèn)題。

算力成“繞不開”的門檻

2018年6月，OpenAI發(fā)布了GPT-1，至目前迭代到GPT-4，是當(dāng)前最為強(qiáng)大的語(yǔ)言模型，在GPT-1發(fā)布兩個(gè)月后，谷歌發(fā)布了BERT模型，在參數(shù)量上，3億的BERT遠(yuǎn)超1.2億的GPT-1。

此后，F(xiàn)acebook（Meta）、百度等國(guó)內(nèi)外研究團(tuán)隊(duì)也隨之跟進(jìn)，紛紛加入大模型研發(fā)的隊(duì)伍中，大語(yǔ)言模型的時(shí)代大幕也正式揭開。

在此背景下，大模型參數(shù)量開始指數(shù)級(jí)增長(zhǎng)：2019年2月發(fā)布的GPT-2參數(shù)量增長(zhǎng)至15億；2020年5月發(fā)布GPT-3參數(shù)量更是飆升至1750億。直至今日，GPT-3不僅能夠生成流暢自然的文本，還能完成問(wèn)答、翻譯、創(chuàng)作小說(shuō)等一系列NLP（自然語(yǔ)言處理）任務(wù)，甚至能進(jìn)行簡(jiǎn)單的算術(shù)運(yùn)算。

參數(shù)規(guī)模狂飆的同時(shí)，AI的算力需求也在飛速增長(zhǎng)。簡(jiǎn)單來(lái)說(shuō)，大模型算力需求主要分布在訓(xùn)練和推理兩個(gè)環(huán)節(jié)，其中訓(xùn)練算力占據(jù)大頭，根據(jù)OpenAI的公開數(shù)據(jù)，ChatGPT訓(xùn)練算力消耗達(dá)到3640PF-days，也就是說(shuō)按照每秒計(jì)算一千萬(wàn)億次的速度，需要計(jì)算3640天。

以英偉達(dá)針對(duì)AI訓(xùn)練提供的DGX A100系統(tǒng)為例，該服務(wù)器包含8張A100芯片并可提供5PetaFLOP的算力。微軟在2019年與OpenAI達(dá)成合作關(guān)系后，其為OpenAI構(gòu)建的AI超級(jí)計(jì)算機(jī)配備了上萬(wàn)張A100芯片。

在供不應(yīng)求的情況下，目前單張A100芯片售價(jià)就已經(jīng)達(dá)到近10萬(wàn)元，在大模型訓(xùn)練環(huán)節(jié)，僅芯片這一項(xiàng)硬件投資規(guī)模就達(dá)到10億元。

盡管諸多行業(yè)玩家嘗試以更小的參數(shù)量的模型追平ChatGPT，但業(yè)界公認(rèn)只有千億參數(shù)規(guī)模以上的大模型，才可能“涌現(xiàn)”出大模型獨(dú)有的泛化能力。

多位與會(huì)嘉賓也在會(huì)上表示了認(rèn)同，算力成為大模型競(jìng)賽中幾乎無(wú)法繞開的門檻。

“對(duì)于打造大模型，我們說(shuō)從0分到60分很簡(jiǎn)單，60分到80分也沒(méi)那么難。但是從80分到90分，甚至再往前走的時(shí)候，投入就會(huì)非常巨大，如果要對(duì)標(biāo)GPT-4這類模型，對(duì)算力、調(diào)優(yōu)、部署以及團(tuán)隊(duì)的工程經(jīng)驗(yàn)等一系列環(huán)節(jié)，都提出了極高的要求。”中興通訊首席發(fā)展官崔麗表示。

未來(lái)如何演進(jìn)

多位與會(huì)嘉賓共同認(rèn)為，更大參數(shù)、更多模態(tài)仍然會(huì)是未來(lái)大模型技術(shù)的重要進(jìn)化方向。

目前，ChatGPT屬于NLP領(lǐng)域的單模態(tài)模型，盡管擅長(zhǎng)理解和生成文本，但不支持從文本生成圖片、音頻、視頻等功能，升級(jí)至GPT-4之后，開始轉(zhuǎn)向多模態(tài)，支持輸入圖像或文本后生成文本。另一邊，在視覺(jué)創(chuàng)作領(lǐng)域掀起革命的模型，也僅支持文到圖的單一跨模態(tài)功能。因此，打通各種模態(tài)能力，實(shí)現(xiàn)任意模態(tài)之間轉(zhuǎn)化，成為大模型的未來(lái)發(fā)展的重要方向。

在AI技術(shù)爆發(fā)的過(guò)程中，另一個(gè)不容忽視的趨勢(shì)是，GPT-4等頂尖模型都在走向封閉。

“從GPT-3開始，OpenAI不再開源模型和代碼，過(guò)程中更關(guān)鍵的數(shù)據(jù)處理和微調(diào)技術(shù)細(xì)節(jié)全部沒(méi)有。到GPT-4發(fā)布時(shí)，OpenAI更是明確宣布架構(gòu)、硬件、訓(xùn)練、數(shù)據(jù)構(gòu)建、訓(xùn)練方法等技術(shù)細(xì)節(jié)全都不再公開，在大模型上迅速跟進(jìn)的谷歌也是一樣，第一代PaLM模型還有很多信息提供出來(lái)，到PaLM-2也同樣的開始不完全公開，包括最近一段時(shí)間，也有很多消息講谷歌未來(lái)會(huì)推遲或減少相關(guān)論文的發(fā)表。”華為昇思MindSpore營(yíng)銷總監(jiān)戴金偉在會(huì)上表示。

而在崔麗看來(lái)，未來(lái)大模型發(fā)展路線上將會(huì)是開源和閉源并存，OpenAI在自身發(fā)展到一定階段后，出于某些考量選擇了閉源，但這不意味著未來(lái)大模型會(huì)完全走向封閉，值得注意的是，以Meta、Hugging Face為代表的開源勢(shì)力也同樣在不斷壯大與飛速進(jìn)步。

“一方面，OpenAI等企業(yè)會(huì)繼續(xù)向著通用人工智能的方向努力，延承‘暴力美學(xué)’，做更大的模型、更多的參數(shù)、更多的模態(tài)，探索大模型的天花板，另一個(gè)方向是針對(duì)GPT-4的黑盒去倒推，雖然像開源模型這些開放資源，目前的效果可能會(huì)差一些，但在大幅度降低大模型技術(shù)的參與門檻后，探索垂直場(chǎng)景下GPT-4能力復(fù)現(xiàn)也很值得嘗試。”崔麗分析指出。

今年2月底，Meta開源了參數(shù)量從70億到650億不等的LLaMA系列大模型，迅速點(diǎn)燃開源社區(qū)的創(chuàng)新熱情，斯坦福大學(xué)、加州大學(xué)伯克利分校等機(jī)構(gòu)陸續(xù)推出了Alpaca、Vicuna等多個(gè)開源大模型，開源社區(qū)內(nèi)迅速聚集起“羊駝”生態(tài)。

“雖然目前以GPT-4為代表的閉源模型目前處于領(lǐng)先，但在垂直場(chǎng)景等方面，迭代更快、成本更低的開源模型也完全有機(jī)會(huì)做出優(yōu)勢(shì)。”崔麗分析表示。

尋找商業(yè)閉環(huán)

“我們回看IT時(shí)代，CPU剛出來(lái)的時(shí)候，大家都覺(jué)得這個(gè)東西計(jì)算能力很強(qiáng)，于是想著把各種業(yè)務(wù)問(wèn)題轉(zhuǎn)換成計(jì)算問(wèn)題，到今天AIGC涌現(xiàn)，所以我們看大家都在想辦法把實(shí)際業(yè)務(wù)問(wèn)題變成一個(gè)chat問(wèn)題。”有參會(huì)嘉賓表示。

亞馬遜云科技資深解決方案架構(gòu)師經(jīng)理、數(shù)據(jù)分析專家郭立表達(dá)了同樣的觀點(diǎn)，“在一些基礎(chǔ)的UI設(shè)計(jì)以及代碼工作中，已經(jīng)能夠看到大模型展現(xiàn)出很強(qiáng)的可替代性，我們只需把需求要告訴ChatGPT，它就能夠輸出高質(zhì)量代碼等內(nèi)容，這就讓未來(lái)的工作方式變成了怎樣去精準(zhǔn)定義問(wèn)題，從招聘角度有可能未來(lái)演變成公司傾向于招一個(gè)能夠把事情講清楚的員工。”

與此同時(shí)，大模型對(duì)于內(nèi)容的理解，使得在涉及處理海量信息的問(wèn)題上，AI應(yīng)用的想象空間也在極速擴(kuò)容。盡管在降本增效的方向上，新能力涌現(xiàn)的AI并不缺少落地場(chǎng)景，但多位與會(huì)嘉賓共同指出，構(gòu)建商業(yè)閉環(huán)仍然是AI技術(shù)落地的核心。

云從科技數(shù)據(jù)研究院院長(zhǎng)姜迅認(rèn)為，AIGC帶來(lái)的是范式的變化，“過(guò)去每一個(gè)任務(wù)都需要做單獨(dú)訓(xùn)練，這導(dǎo)致AI公司陷入一個(gè)困境：盡管能看到各行各業(yè)對(duì)于AI技術(shù)的需求，比如監(jiān)測(cè)雞屎顏色來(lái)判斷雞的健康情況、檢驗(yàn)螺絲釘有沒(méi)有裂紋等等，但這些小的需求沒(méi)有辦法建立起正的商業(yè)循環(huán)，干了就虧，不干又感覺(jué)錯(cuò)過(guò)了一個(gè)機(jī)會(huì)。”也有與會(huì)嘉賓將此形容為“為了喝一口水，挖了一口井”。

“預(yù)訓(xùn)練大模型其實(shí)很好地解決了這個(gè)問(wèn)題，我們確定了基礎(chǔ)模型以后，只需要在這個(gè)基礎(chǔ)上加入新的知識(shí)，原有投入得到了保護(hù)，同時(shí)隨著大量的模型開源，行業(yè)問(wèn)題也可以基于這些開源模型以更低的成本去做，對(duì)于整個(gè)社會(huì)的算力資源也是一種保護(hù)。”姜迅在會(huì)上表示。

“雖然很多實(shí)際場(chǎng)景問(wèn)題都能夠用AI解決，但問(wèn)題是客戶愿意在這上面花多少錢，像檢驗(yàn)螺絲釘有沒(méi)有裂紋，客戶的預(yù)算頂破天也就二十萬(wàn)，遠(yuǎn)遠(yuǎn)不夠覆蓋AI團(tuán)隊(duì)的支出。AI用起來(lái)不劃算是傳統(tǒng)行業(yè)AI技術(shù)落地緩慢的主要原因。而AI之所以在互聯(lián)網(wǎng)、金融等行業(yè)走得更快，是因?yàn)閺V告推薦精準(zhǔn)度以及風(fēng)險(xiǎn)控制效果提升一兩個(gè)點(diǎn)，都會(huì)為企業(yè)帶來(lái)巨大的收益，所以我們看AI的應(yīng)用市場(chǎng)呈現(xiàn)明顯的兩極分化。單純講降本增效是有些理想化，更多應(yīng)該圍繞主營(yíng)業(yè)務(wù)，探索AI技術(shù)能夠帶來(lái)哪些實(shí)質(zhì)性經(jīng)營(yíng)價(jià)值。”戴金偉進(jìn)一步分析指出。

“百模大戰(zhàn)”

隨著各個(gè)領(lǐng)域的大模型涌現(xiàn)，與會(huì)嘉賓們也分享了諸多關(guān)于“百模大戰(zhàn)”的思考。

盡管在GPT-3以前的版本中，Open AI選擇了開源，模型的基本結(jié)構(gòu)都已經(jīng)通過(guò)論文等方式公開，但各廠商由于在工程實(shí)踐方面的差距，包括在數(shù)據(jù)的清洗、標(biāo)注以及模型的微調(diào)、訓(xùn)練方法等方面，仍需要長(zhǎng)時(shí)間的研發(fā)投入和經(jīng)驗(yàn)積累。如何判斷各家的技術(shù)優(yōu)劣以及與頭部模型的差距？

有與會(huì)嘉賓指出，相比于更加權(quán)威的專業(yè)測(cè)試題庫(kù)，支撐各個(gè)廠家“通用領(lǐng)域追平ChatGPT、垂直領(lǐng)域反超GPT-4”說(shuō)法的數(shù)據(jù)樣本遠(yuǎn)遠(yuǎn)不足。

“比如GPT-3在論文里公布了TriviaQA的測(cè)試結(jié)果，TriviaQA里面包含六十多萬(wàn)道不同領(lǐng)域的題目，對(duì)于這樣一些值得參考的成績(jī)，我們目前卻沒(méi)有看到其它廠商們公布自家模型的相關(guān)測(cè)試結(jié)果，如果僅憑一些單點(diǎn)測(cè)試，其實(shí)沒(méi)有辦法判斷與OpenAI之間真實(shí)的差距。”上述與會(huì)嘉賓表示。

另一位智能駕駛行業(yè)的與會(huì)嘉賓則分享了垂直行業(yè)對(duì)大模型技術(shù)的思考，“在每一個(gè)行業(yè)的應(yīng)用場(chǎng)景里，都會(huì)積累很多技術(shù)秘密，這個(gè)過(guò)程中沉淀下來(lái)的東西就已經(jīng)可以進(jìn)行高中低頻的分析。中高頻需求其實(shí)是相對(duì)固定的，通過(guò)適當(dāng)?shù)牟眉糇尨竽Ｐ透玫慕鉀Q實(shí)際問(wèn)題，是一個(gè)比較可行的路徑。比如我們認(rèn)為語(yǔ)音可能取代按鍵成為未來(lái)人車交互的主流方式，而出行場(chǎng)景中的語(yǔ)音交互最需要的是快速高效響應(yīng)，在本地化部署的過(guò)程中，我們的思路也是通過(guò)蒸餾和裁剪大模型，犧牲部分推理能力以換取更好的理解能力。”

在與會(huì)嘉賓們看來(lái)，未來(lái)更加關(guān)注實(shí)現(xiàn)某種功能的最低算力需求是多少，以及在硬件范圍內(nèi)能夠提供哪些能力？同時(shí)也會(huì)加強(qiáng)邊緣側(cè)和端側(cè)的計(jì)算水平。

監(jiān)管如何引導(dǎo)

另一方面，在全球范圍內(nèi)，各經(jīng)濟(jì)體也在逐步重視對(duì)AIGC的監(jiān)管力度，其中也不乏企業(yè)與監(jiān)管間的沖突。

歐盟在5月11日通過(guò)《AI法案》提案的談判授權(quán)草案，禁止“對(duì)人類安全造成不可接受風(fēng)險(xiǎn)的AI系統(tǒng)”，并要求AI公司對(duì)其算法保持人為控制，提供技術(shù)文件，且為高風(fēng)險(xiǎn)應(yīng)用建立風(fēng)險(xiǎn)管理系統(tǒng)。

而作為此輪技術(shù)革命的領(lǐng)頭羊，OpenAI CEO Sam Altman卻在近日公開表示，如果無(wú)法遵守歐盟即將出臺(tái)的AI法規(guī)，該公司可能會(huì)考慮退出歐洲市場(chǎng)，“目前的歐盟AI法案草案將會(huì)造成過(guò)度監(jiān)管的情況，但我們聽說(shuō)它將回調(diào)。”

在預(yù)防技術(shù)風(fēng)險(xiǎn)之外，也有業(yè)內(nèi)觀點(diǎn)指出，此輪AI產(chǎn)業(yè)仍處在發(fā)展初期，不應(yīng)該追求零風(fēng)險(xiǎn)而犧牲發(fā)展效率。APUS高級(jí)技術(shù)總監(jiān)朱傳奇則聯(lián)想到2018年歐盟出臺(tái)的GDPR（《通用數(shù)據(jù)保護(hù)條例》），有統(tǒng)計(jì)數(shù)據(jù)顯示受GDPR影響的公司平均預(yù)計(jì)利潤(rùn)下降8.1%，對(duì)于中小企業(yè)來(lái)說(shuō)，既要面臨合規(guī)成本問(wèn)題，還要在與大企業(yè)的競(jìng)爭(zhēng)劣勢(shì)下做創(chuàng)新，受到影響更加明顯，如何在監(jiān)管中照顧到中小企業(yè)發(fā)展是未來(lái)非常值得思考的問(wèn)題。

一直以來(lái)，國(guó)內(nèi)應(yīng)用層創(chuàng)新更加活躍已成業(yè)內(nèi)共識(shí)。劉碩卻注意到，以GPT為代表的大模型出來(lái)以后，國(guó)外的AIGC應(yīng)用層出不窮，國(guó)內(nèi)由于缺乏相對(duì)成熟的接口產(chǎn)品以及監(jiān)管層面的原因，反倒要落后一些。

“我們應(yīng)該從工具視角去看待AI，技術(shù)落地應(yīng)用時(shí)，大廠的價(jià)值觀就非常重要，因?yàn)樗懈嗟馁Y源、技術(shù)和先發(fā)優(yōu)勢(shì)，在這種情況下可以建立一些相對(duì)嚴(yán)格的規(guī)則去引導(dǎo)行業(yè)有序發(fā)展。相比之下，對(duì)于中小企業(yè)可以提供更加寬松的監(jiān)管環(huán)境，會(huì)讓行業(yè)發(fā)展創(chuàng)新變得更加多元和富有生命力。”崔麗表示。

業(yè)內(nèi)對(duì)于AI監(jiān)管也有諸多討論。3月29日，圖靈獎(jiǎng)得主Yoshua Bengio、馬斯克等人聯(lián)名發(fā)表公開信，呼吁所有AI實(shí)驗(yàn)室立即暫停訓(xùn)練比GPT-4更強(qiáng)大的AI系統(tǒng)，為期至少6個(gè)月，以確保人類能夠有效管理其風(fēng)險(xiǎn)。

這也引來(lái)Meta首席人工智能科學(xué)家楊立昆等行業(yè)大牛的批評(píng)，并將AI威脅論視為蒙昧主義。

“由于過(guò)往對(duì)于技術(shù)進(jìn)步的預(yù)期往往是線性的，當(dāng)GPT-4以指數(shù)級(jí)成長(zhǎng)的速度出現(xiàn)時(shí)，讓幾乎所有人都始料不及，”與會(huì)嘉賓談到，“AI總有一天會(huì)超過(guò)人類的認(rèn)知和智慧，到那時(shí)對(duì)人類生存就必然構(gòu)成潛在威脅，舉個(gè)可能不太恰當(dāng)?shù)睦樱?dāng)機(jī)器人覺(jué)得生銹是一件很討厭的事情，于是決定把空氣里的氧氣抽干凈，人類肯定不能接受，因此將機(jī)器和人類的價(jià)值觀對(duì)齊，一直是一項(xiàng)艱難且極其重要的研究課題。”

標(biāo)簽：