《科創(chuàng )板日報》9月6日訊（編輯 邱思雨）?據The Information報道，消息人士表示，Meta參與LLaMA項目的人員大半都已辭職，原因是Meta另一研究團隊（OPT團隊）與LLaMA團隊就算力資源展開(kāi)了一場(chǎng)內部斗爭。

LLaMA是Meta在今年2月發(fā)布的一款開(kāi)源的人工智能大型語(yǔ)言模型。在今年7月，Meta發(fā)布了其最新版本LLaMA 2。相較上一代，LLaMA 2訓練所用的token翻了一倍至2萬(wàn)億。

而在2月發(fā)布的初代LLaMA模型的14位核心原作者中，已有超過(guò)一半的人全部離職，包括Timothée Lacroix、Guillaume Lample、Marie-Anne Lachaux、Gautier Izacard等。

論文地址：https://arxiv.org/pdf/2302.13971.pdf

另一OPT團隊則在2022年5月發(fā)布了開(kāi)源大模型OPT-175B，并在幾個(gè)月后著(zhù)手開(kāi)發(fā)與谷歌PaLM競爭的競品，準備開(kāi)發(fā)出第二個(gè)更大的模型。

而LLaMA團隊開(kāi)發(fā)的模型則比OPT要小。知情人士透露，LLaMA研究團隊認為較小的模型在推理時(shí)會(huì )高效。但由于LLaMA模型小，因此獲取的算力資源比OPT團隊要少，這或許讓LLaMA團隊的研究人員感受到不被重視。

Meta AI相關(guān)負責人Joelle Pineau也在采訪(fǎng)中承認，LLaMA和OPT團隊之間在算力分配上有些緊張。

另外，算力資源內斗不僅導致了LLaMA團隊半數研究人員的出走，OPT團隊同樣也面臨人員流失的問(wèn)題。OPT模型的19位原作者中，也有半數已離職Meta。

論文地址：https://arxiv.org/pdf/2205.01068.pdf

原因主要系OPT團隊正在開(kāi)發(fā)的與谷歌PaLM競爭的競品，已被Meta放棄。Pineau無(wú)奈地表示：“所有研究團隊都想升級自己的模型，這時(shí)要么選擇其中一個(gè)，要么讓他們合作?！盡eta AI的一些高管也表達過(guò)質(zhì)疑稱(chēng)，OPT和LLaMA兩個(gè)團隊項目的相似度過(guò)高，卻要競爭有限的算力資源。

最終，Meta AI的領(lǐng)導人決定進(jìn)行團隊重組，將LLaMA和OPT團隊的部分研究成員聚集起來(lái)，成立了生成式AI團隊。

在A(yíng)I算力競賽中，科技巨頭往往擁有比大多數公司更加充裕的算力資源。而Meta大模型研究人員因算力斗爭而相繼離職愈發(fā)印證了，目前業(yè)內算力緊缺程度比想象中還要嚴重，科技巨頭或許也不例外。