AI專家：大模型同質(zhì)化嚴(yán)重，面臨十大科學(xué)挑戰(zhàn)

今年2月，復(fù)旦大學(xué)邱錫鵬團(tuán)隊(duì)發(fā)布MOSS，成為國(guó)內(nèi)首個(gè)發(fā)布的類ChatGPT模型，而從ChatGPT誕生至今已過(guò)去9個(gè)多月，大模型又面臨哪些挑戰(zhàn)？

在24日下午上海市科協(xié)舉辦的青年科學(xué)家論壇上，復(fù)旦大學(xué)MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬表示，大語(yǔ)言模型是當(dāng)前自然語(yǔ)言處理的主流范式，它可以涌現(xiàn)出豐富的知識(shí)和能力，但也帶來(lái)了一些挑戰(zhàn)和問(wèn)題。在他看來(lái)，大語(yǔ)言模型的研究需要多方面的合作和創(chuàng)新，需要開(kāi)放和共享的技術(shù)平臺(tái)和評(píng)測(cè)標(biāo)準(zhǔn)。

呼吁業(yè)界開(kāi)放共享技術(shù)

(相關(guān)資料圖)

“大模型確實(shí)給我們的研究帶來(lái)非常多的問(wèn)題，一方面是同質(zhì)化非常嚴(yán)重，另外就是賽道擁擠，大家原來(lái)把各切一塊的研究范式都往一個(gè)賽道擠。還有就是評(píng)價(jià)困難。”

邱錫鵬解釋，現(xiàn)在大家做的東西總體上比較雷同，比如說(shuō)像預(yù)訓(xùn)練，雖然有創(chuàng)新性的東西但總體不多，目前的“千模大戰(zhàn)”在創(chuàng)新性上并沒(méi)有多少差異。而在評(píng)價(jià)方面，大家都說(shuō)自己做得好，但又沒(méi)有好的比較方法。因?yàn)閷?duì)大模型、生成式人工智能的客觀評(píng)價(jià)方法并不是特別有效，導(dǎo)致每個(gè)人都要自己建一套評(píng)價(jià)標(biāo)準(zhǔn)，這就沒(méi)有一個(gè)比較方法，從而給整個(gè)研究帶來(lái)一定的困難。

“現(xiàn)在很多人認(rèn)為大模型變成工程性問(wèn)題了，是不是還有科學(xué)價(jià)值？”在他看來(lái)，ChatGPT發(fā)布至今已經(jīng)過(guò)去9個(gè)多月了，大家都感覺(jué)好像很明白它了，事實(shí)上很多觀念的地方還是不明白。目前業(yè)界對(duì)整個(gè)技術(shù)路線是有一些掌握，這離不開(kāi)學(xué)術(shù)界一直在發(fā)論文探討。邱錫鵬說(shuō)，現(xiàn)在有做大模型的團(tuán)隊(duì)只宣布做出來(lái)的效果，并未公開(kāi)究竟是怎么做的，但大模型的研究只有保證技術(shù)的公開(kāi)度才能使大家都參與進(jìn)來(lái)，讓技術(shù)持續(xù)不斷往前迭代。“當(dāng)然這涉及到很多算力問(wèn)題和能耗問(wèn)題，希望可以有更好的優(yōu)化方法，使大模型普惠化，使所有人降低門檻，所有人都參與進(jìn)來(lái)進(jìn)行研究。”

十大科學(xué)挑戰(zhàn)

談到大語(yǔ)言模型面臨的挑戰(zhàn)和問(wèn)題，邱錫鵬總結(jié)了包括模型架構(gòu)、幻覺(jué)、多模態(tài)的延展、知識(shí)來(lái)源、自動(dòng)化評(píng)價(jià)、平民化等十個(gè)科學(xué)挑戰(zhàn)。

他說(shuō)，大模型之所以稱為大模型，是因?yàn)榭梢杂楷F(xiàn)出豐富的知識(shí)和能力。目前大家熟知的Transformer架構(gòu)非常強(qiáng)大，但缺點(diǎn)也明顯，當(dāng)文章長(zhǎng)度變得更長(zhǎng)得時(shí)候，它的復(fù)雜度就變得非常高，因此也限制了模型的進(jìn)一步擴(kuò)大。“我們要找到一種可能比Transformer更有效的架構(gòu)，才能支持未來(lái)模型的進(jìn)一步擴(kuò)大。”

邱錫鵬還特別強(qiáng)調(diào)了大模型的平民化問(wèn)題，因?yàn)槠矫窕茏屬Y源不多的研究者也能使用大模型。

他認(rèn)為，大模型總的來(lái)講不僅僅是工程問(wèn)題，從迭代周期來(lái)看的話，大家需要的算力比較多的是預(yù)訓(xùn)練階段，這個(gè)階段也有很多東西可以做。但是如果往后看，包括像對(duì)齊、優(yōu)化、指令微調(diào)等方面需要的算力沒(méi)有想象中那么大。“隨著將來(lái)大模型普惠化、平民化的工作，大家在3090顯卡上就可以開(kāi)展關(guān)于大模型的研究。我總體上會(huì)覺(jué)得大模型的研究，不管是學(xué)術(shù)界還是工業(yè)界的科研單位，里面都有很多科學(xué)問(wèn)題，還是值得關(guān)注的，這不僅僅是一個(gè)簡(jiǎn)單的工程問(wèn)題。”

關(guān)于MOSS的下一步計(jì)劃，邱錫鵬透露，后面會(huì)追求一些創(chuàng)新性，在一些新架構(gòu)上做一些探索，比如不斷加強(qiáng)像推理、代碼這些能力。

標(biāo)簽：