《科創(chuàng )板日報》2月12日訊（編輯 宋子喬）?豆包概念股午后大幅走強，漢得信息一度拉升封板，廣和通、移遠通信、潤欣科技、博通集成等紛紛大幅沖高。

消息面上，據豆包大模型團隊消息，字節跳動(dòng)豆包大模型Foundation團隊近期提出一種全新的稀疏模型架構——UltraMem，該架構在保證模型效果的前提下，推理速度較傳統的MoE架構提升2-6倍，推理成本最高可降低83%。

這項創(chuàng )新成果已被機器學(xué)習和AI領(lǐng)域的頂級會(huì )議ICLR 2025接收，為解決大模型推理效率和擴展能力問(wèn)題提供了全新思路。

直指大模型推理場(chǎng)景中的痛點(diǎn)

大模型的推理能力對應的是端側AI應用/工具的響應能力和速度。隨著(zhù)模型規模的擴大，推理成本和訪(fǎng)存效率已成為限制大模型規模應用的關(guān)鍵瓶頸。

在Transformer架構下，模型的性能與其參數數量和計算復雜度呈對數關(guān)系。隨著(zhù)LLM規模不斷增大，推理成本會(huì )急劇增加，速度變慢。

為了解決計算問(wèn)題，先前的研究者提出了MoE和PKM（Product Key Memory）方案，但它們都有各自的局限性：

MoE架構犧牲了效率：MoE架構成功將計算和參數解耦，通過(guò)稀疏激活專(zhuān)家的方式，在訓練階段有效減少了計算量，但在推理時(shí)，由于模型在推理時(shí)只能一個(gè)字一個(gè)字的生成，batch size（批量大?。┖蛃equence length（序列長(cháng)度）通常較小，少量的token即可激活幾乎所有的專(zhuān)家，進(jìn)而導致訪(fǎng)存急劇上升，進(jìn)而使推理延遲大幅增加。

PKM架構犧牲了效果：PKM架構通過(guò)引入“行路由”和“列路由”機制，這種方法讓每個(gè)token在推理時(shí)僅僅只激活極少數的value（與提示模板中的內容相關(guān)聯(lián)的數據或信息），所以推理時(shí)不會(huì )遇到訪(fǎng)存瓶頸，但其效果很差，且擴展能力有限，難以應對更大規模的模型需求。

這些局限性使得MoE和PKM在推理效率、模型效果和擴展能力等方面的優(yōu)化空間仍需進(jìn)一步探索。UltraMem正是為了解決上述痛點(diǎn)。

據介紹，UltraMem參考了PKM的設計，但針對PKM的缺陷予以補充，以實(shí)現更高效的訪(fǎng)存、更優(yōu)質(zhì)的檢索，同時(shí)，降低了顯存和部署成本，其優(yōu)勢主要在于：

降低推理成本：與傳統的MoE架構相比，UltraMem在推理成本上實(shí)現了最高83%的降低，這對于大規模模型的部署和運行具有重要意義。

提升推理速度：UltraMem的推理速度相比MoE架構提升了2-6倍，這使得模型在處理大規模數據時(shí)更加高效。

保持模型效果：在降低推理成本和提升推理速度的同時(shí)，UltraMem還保持了模型的效果，確保了模型的準確性和可靠性。

豆包研究團隊在151M、680M、1.6B三個(gè)不同規模的模型上進(jìn)行了廣泛的實(shí)驗。實(shí)驗結果表明，UltraMem在模型效果和推理速度方面均優(yōu)于MoE和PKM架構，且在680M、1.6B上具有顯著(zhù)的效果優(yōu)勢。

無(wú)論是訓練端還是推理端，當大模型廠(chǎng)商卷起成本，意味著(zhù)AI應用將在未來(lái)更加高效、易用。

推理成本大幅降低，將助推AI技術(shù)在更多領(lǐng)域的應用成為可能，尤其是對于資源受限的場(chǎng)景，如邊緣計算和移動(dòng)設備等，能讓更多企業(yè)和開(kāi)發(fā)者有能力使用和部署AI模型。

對于用戶(hù)而言，UltraMem架構的突破、推理速度的提升可使AI應用如智能助手、自然語(yǔ)言處理等在實(shí)時(shí)應用中響應更迅速，交互更流暢，優(yōu)化用戶(hù)的使用體驗，提高內容創(chuàng )作、日常辦公等場(chǎng)景下的效率。