百度文心大模型4.0即將發(fā)布，萬(wàn)卡訓(xùn)練史上最大參數(shù)模型

　　近日，有媒體報(bào)道稱，百度正加緊訓(xùn)練文心大模型4.0，這將是文心大模型3.5版本后又一個(gè)重磅版本。據(jù)報(bào)道，文心大模型4.0進(jìn)展比預(yù)期快很多，將是基礎(chǔ)模型的大升級(jí)，理解、生成、邏輯、記憶核心能力都將提升，特別是在邏輯推理、代碼和數(shù)學(xué)等方面提升最明顯。

　　10月10日，記者從百度內(nèi)部人士基本確認(rèn)了該消息，據(jù)悉，即將推出的文心大模型4.0的參數(shù)量、訓(xùn)練數(shù)據(jù)量以及推理成本等都比3.5高出一個(gè)數(shù)量級(jí)。

　　今年3月16日，百度官宣新一代大語(yǔ)言模型“文心一言”啟動(dòng)邀測(cè)，8月31日正式面向公眾開(kāi)放服務(wù)。如今，文心大模型即將再度升級(jí)發(fā)布4.0版，如此迅速的大模型升級(jí)速度，在國(guó)內(nèi)尚屬唯一。只不過(guò)，快速升級(jí)的背后，文心大模型4.0快速攀升的參數(shù)量、數(shù)據(jù)量所帶來(lái)的訓(xùn)練和推理成本提升，也正在成為大模型商業(yè)化過(guò)程中需要考慮的重點(diǎn)。

　　據(jù)此前消息報(bào)道，相比文心大模型3.5，文心4.0不僅訓(xùn)練成本在增加，推理成本也增加了很多，大概是此前的8-10倍。一直以來(lái)，百度并未對(duì)外披露大模型訓(xùn)練、推理的各項(xiàng)成本，不過(guò)據(jù)國(guó)盛證券此前估算，GPT-3訓(xùn)練一次的成本約為140萬(wàn)美元，對(duì)于一些更大的LLM模型(如擁有2800億參數(shù)的Gopher和擁有5400億參數(shù)的PaLM)，訓(xùn)練成本介于200萬(wàn)美元至1200萬(wàn)美元之間。作為國(guó)內(nèi)大語(yǔ)言模型代表，文心一言想要在性能上追趕甚至超越ChatGPT等國(guó)外同行，所需耗費(fèi)的資金成本，恐怕也將與之相當(dāng)。

　　過(guò)高的訓(xùn)練和推理成本壓力下，在打造領(lǐng)先的底層基礎(chǔ)大模型的路上，注定只能是一場(chǎng)巨頭間的游戲。不過(guò)對(duì)于百度而言，由于具備萬(wàn)卡集群、飛槳、文心大模型以及豐富的百度應(yīng)用生態(tài)優(yōu)勢(shì)，獨(dú)具芯片、框架、模型及應(yīng)用四層架構(gòu)優(yōu)勢(shì)，更具技術(shù)競(jìng)爭(zhēng)力。

　　在進(jìn)一步降低大模型算力成本和時(shí)間成本上，百度萬(wàn)卡集群的整體優(yōu)勢(shì)已得到充分體現(xiàn)——在萬(wàn)卡集群訓(xùn)練大模型時(shí)，常規(guī)方法下工程師們有30%-40%時(shí)間都花在容錯(cuò)和故障恢復(fù)上，而在百度智能云自研的集群組網(wǎng)故障管理機(jī)制下，模型有效訓(xùn)練時(shí)間達(dá)到95%以上，人力及算力資源均得到了利用。

　　真金白銀投入的背后，目前國(guó)外大模型廠商已開(kāi)始嘗試收費(fèi)模式，無(wú)論是在面向企業(yè)客戶的B端垂類大模型開(kāi)發(fā)，還是面向消費(fèi)群體的To C付費(fèi)產(chǎn)品，均有不少案例。例如，在面向C端消費(fèi)者付費(fèi)領(lǐng)域，目前GPT-4已推出“每月支付20美元訂閱費(fèi)”的收費(fèi)模式。

　　可以預(yù)見(jiàn)，不遠(yuǎn)的將來(lái)，以百度為代表的大模型企業(yè)們，或?qū)㈥懤m(xù)推出收費(fèi)模式。在To C大模型AI應(yīng)用層面，類似愛(ài)奇藝或百度網(wǎng)盤(pán)VIP會(huì)員的收費(fèi)模式，也將不斷浮現(xiàn)，逐漸培養(yǎng)用戶付費(fèi)習(xí)慣。