騰訊混元參戰(zhàn)大模型：“幻覺(jué)率”可降低30%，多個(gè)指標(biāo)超越GPT3.5

“百模大戰(zhàn)”新增又一巨頭：騰訊官宣參戰(zhàn)。

9月7日，在2023騰訊全球數(shù)字生態(tài)大會(huì)上，騰訊正式發(fā)布混元大模型，并宣布通過(guò)騰訊云對(duì)外開(kāi)放。

資料顯示，騰訊混元大模型是騰訊自研的一款通用大模型，目前已經(jīng)接入騰訊50多個(gè)業(yè)務(wù)測(cè)試，包括騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會(huì)議、騰訊文檔、微信搜一搜、QQ瀏覽器等業(yè)務(wù)和產(chǎn)品。

【資料圖】

值得注意的是，這并非是騰訊首次公開(kāi)大模型相關(guān)進(jìn)展。此前6月19日，騰訊曾發(fā)布依托騰訊云TI平臺(tái)打造行業(yè)大模型精選商店，提供MaaS（Model-as-a-Service）一站式服務(wù)，構(gòu)建專(zhuān)屬大模型及智能應(yīng)用。

“大模型競(jìng)爭(zhēng)還在馬拉松的第一公里，這個(gè)行業(yè)太新了，不存在清晰的市場(chǎng)份額或占比?！?月7日，在接受澎湃新聞等媒體采訪(fǎng)時(shí)，騰訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生坦言，“大家動(dòng)不動(dòng)就喜歡發(fā)布通用大模型，在我看來(lái)這條路有點(diǎn)走偏了，不能解決產(chǎn)業(yè)實(shí)際問(wèn)題和痛點(diǎn)?！?/p>

對(duì)于大模型落地前景，他也直言：“有些前沿投入和布局，可能要3到5年才能看到商業(yè)回報(bào)，現(xiàn)在談大模型的商業(yè)前景還為時(shí)過(guò)早。”

騰訊的大模型“路線(xiàn)圖”

今年上半年，多家大廠(chǎng)扎堆發(fā)布大模型，“百模大戰(zhàn)”一度成為輿論焦點(diǎn)，而騰訊一直到9月份才發(fā)布通用大模型，似乎顯得有些姍姍來(lái)遲。

“騰訊做大模型只看自己，不看別人。”9月7日，對(duì)于發(fā)布時(shí)間，騰訊副總裁蔣杰向澎湃新聞?dòng)浾咛寡裕?strong>“混元大模型在騰訊內(nèi)部已經(jīng)內(nèi)測(cè)很久，在推出時(shí)間上，沒(méi)有考慮過(guò)和同行進(jìn)行賽跑?！?/strong>

從基本參數(shù)來(lái)看，目前騰訊混元的參數(shù)規(guī)模超千億，預(yù)訓(xùn)練語(yǔ)料超2萬(wàn)億tokens，具備中文創(chuàng)作能力，復(fù)雜語(yǔ)境下的邏輯推理能力，以及任務(wù)執(zhí)行能力。

和其他模型相比，混元大模型的特點(diǎn)和優(yōu)勢(shì)是什么？澎湃新聞?dòng)浾呤崂戆l(fā)現(xiàn)，其最大特點(diǎn)是在解決“幻覺(jué)”能力上表現(xiàn)較為突出。所謂的“幻覺(jué)”，指的是大模型在回答提問(wèn)時(shí)會(huì)出現(xiàn)答非所問(wèn)、胡說(shuō)八道的現(xiàn)象，騰訊混元大模型在預(yù)訓(xùn)練階段通過(guò)“探真”算法進(jìn)行事實(shí)修正，實(shí)測(cè)幻覺(jué)率可以降低30%-50%。

“其他廠(chǎng)商往往會(huì)通過(guò)知識(shí)圖譜或是搜索外掛來(lái)讓大模型的檢索能力變得更加準(zhǔn)確，但使用外掛會(huì)導(dǎo)致新的幻覺(jué)出現(xiàn)，因此騰訊決定在大模型預(yù)訓(xùn)練階段就解決這個(gè)問(wèn)題?！笔Y杰表示。

此外，混元大模型還具備超長(zhǎng)文本的處理能力，能夠提供超過(guò)4000字的長(zhǎng)文回答，而在同樣的命題下只能提供超過(guò)1000字的問(wèn)答。在數(shù)據(jù)源頭方面，蔣杰介紹，騰訊做小模型、大模型甚至大語(yǔ)言模型，都不會(huì)使用個(gè)人隱私數(shù)據(jù)。此外，騰訊的內(nèi)容產(chǎn)品，也為騰訊混元大模型提供了大規(guī)模、多樣化的語(yǔ)料庫(kù)，能夠?qū)W習(xí)到各類(lèi)應(yīng)用場(chǎng)景中的語(yǔ)言知識(shí)和語(yǔ)境理解能力。

在具體指標(biāo)上，混元大模型在多個(gè)指標(biāo)上超越了，包括代碼子項(xiàng)、STEM子項(xiàng)、高考題子項(xiàng)和數(shù)學(xué)子項(xiàng)上，但和GPT-4還有距離。蔣杰表示，國(guó)內(nèi)的廠(chǎng)商在做大語(yǔ)言模型的時(shí)候，需要循序漸進(jìn)，腳踏實(shí)地做好每一項(xiàng)技術(shù)突破，并且坦誠(chéng)面對(duì)和國(guó)際廠(chǎng)商在技術(shù)上的一些差距。

外界好奇的是，為何騰訊在推出行業(yè)大模型后再次推出通用大模型？

此前湯道生曾提到，通用大模型可以在100個(gè)場(chǎng)景中，解決70%-80%的問(wèn)題，但未必能100%滿(mǎn)足企業(yè)某個(gè)場(chǎng)景的需求。相比盲目使用通用大模型，企業(yè)基于行業(yè)大模型構(gòu)建自己的專(zhuān)屬模型，也許是更優(yōu)的選項(xiàng)。模型參數(shù)比通用大模型少，訓(xùn)練和推理的成本更低，優(yōu)化也更容易。

對(duì)此，湯道生告訴澎湃新聞?dòng)浾?，推出時(shí)間較晚是因?yàn)轵v訊一直在研發(fā)和應(yīng)用的過(guò)程中。其實(shí)騰訊內(nèi)部早已開(kāi)始內(nèi)測(cè)混元大模型，但在沒(méi)有經(jīng)歷充分的應(yīng)用融合和實(shí)踐前不會(huì)對(duì)外公布其具體進(jìn)展，最終公布的成品，是經(jīng)過(guò)充分打磨后的，但依然會(huì)不斷更新和迭代。

大模型商業(yè)化究竟路在何方？

在“百模大戰(zhàn)”的熱度略有減退后，大模型的實(shí)際落地效能成為外界考量的重點(diǎn)。

談到混元大模型未來(lái)商業(yè)前景時(shí)，蔣杰坦言，在To B（企業(yè)）端產(chǎn)生商業(yè)收入還有待探索，因?yàn)槟壳盎煸竽Ｐ驮诿鎸?duì)成熟度和復(fù)雜任務(wù)的處理能力還不夠全面，因此對(duì)于較多專(zhuān)業(yè)場(chǎng)景不能充分解鎖，應(yīng)用有待完善。

“混元大模型一開(kāi)始就不是為了發(fā)布而發(fā)布，而是根據(jù)騰訊自身應(yīng)用，例如微信、QQ等進(jìn)行相關(guān)研發(fā)和匹配，提供互相深度融合的能力，才能抵消大模型背后的高昂設(shè)備、訓(xùn)練和人力成本?！笔Y杰表示。

此前，百度智能云副總裁朱也在接受澎湃新聞?dòng)浾咴趦?nèi)的媒體采訪(fǎng)時(shí)曾表示：“從衡量大模型本身的商業(yè)價(jià)值角度看，如果應(yīng)用不起來(lái)，整個(gè)大模型很難持續(xù)下去，確實(shí)是需要投入，整個(gè)生態(tài)起來(lái)、應(yīng)用繁榮很重要。我們判斷，偏向于營(yíng)銷(xiāo)服務(wù)、辦公提效這兩個(gè)場(chǎng)景，可能會(huì)首先實(shí)現(xiàn)大規(guī)模落地，我認(rèn)為接下來(lái)幾個(gè)月能夠看到應(yīng)用逐漸落地，規(guī)模逐漸增大?！?/p>

對(duì)于大模型研發(fā)的高額成本，湯道生透露，騰訊內(nèi)部對(duì)于資源分配有傾斜性，混元大模型是騰訊內(nèi)部最重要的項(xiàng)目之一，因此會(huì)以第一優(yōu)先級(jí)進(jìn)行考慮，目前公司內(nèi)部的人員配置和資源合作“跑得很順利”，但大模型的競(jìng)爭(zhēng)尚在馬拉松的第一公里，可能要到3到5年后才能看到相應(yīng)回報(bào)。

就在不久前，百度宣布“文心一言”向全社會(huì)全面開(kāi)放，還將開(kāi)放一批經(jīng)過(guò)全新重構(gòu)的AI原生應(yīng)用，讓廣大用戶(hù)充分體驗(yàn)生成式AI的理解、生成、邏輯、記憶四大核心能力。

混元大模型是否也將對(duì)外開(kāi)放？對(duì)此，蔣杰表示，是否提供C端（消費(fèi)者端）服務(wù)僅僅是時(shí)間和選擇的問(wèn)題，“目前我們還是側(cè)重在內(nèi)部應(yīng)用場(chǎng)景中做嘗試，TO C與否只是一種‘開(kāi)關(guān)’，做好自身能力、提高準(zhǔn)確性才是我們最為關(guān)注的?！?/p>

標(biāo)簽：