(相關(guān)資料圖)

（圖片來源：OpenRouter官網(wǎng)）

當(dāng)前，月之暗面已經(jīng)勾勒出下一代K3模型的發(fā)展藍(lán)圖。

楊植麟表示：“在OpenAI建成千億級美元數(shù)據(jù)中心之前，K3會推出的?！彼嘎?，團(tuán)隊正計劃在K3中引入重大的架構(gòu)變革，“KDA是我們最新的實驗性架構(gòu)，相關(guān)想法很可能會在K3中使用?！?/p>

據(jù)介紹，KDA（Kimi Delta Attention，一種線性注意力模塊）在實驗中表現(xiàn)出色，楊植麟表示它在所有評估維度上都展現(xiàn)出性能提升，包括長序列輸入輸出的強(qiáng)化學(xué)習(xí)場景，同時保持了線性注意力機(jī)制的效率優(yōu)勢。

關(guān)鍵詞： 財經(jīng)頻道 財經(jīng)資訊