【資料圖】

近日，Meta公司宣布開發(fā)出一款名為CM3Leon的文生圖模型，該模型可以根據(jù)文本生成高質(zhì)量的圖像，也可以為圖像生成文本描述，甚至可以根據(jù)文本指令編輯圖像。

據(jù)介紹，CM3Leon是首個(gè)使用純文本語(yǔ)言模型配方改編和訓(xùn)練而成的多模態(tài)模型，并經(jīng)歷了大規(guī)模檢索增強(qiáng)預(yù)訓(xùn)練和隨后的多任務(wù)監(jiān)督微調(diào)（SFT）階段。與Stable Diffusion、DALL-E、Midjourney等文生圖模型依賴于擴(kuò)散（Diffusion）模型技術(shù)不同，CM3Leon采用了基于token的自回歸模型方法。

Meta公司表示，盡管訓(xùn)練時(shí)的計(jì)算量?jī)H相當(dāng)于以往基于Transformer方法的五分之一，但CM3Leon在文本到圖像的生成方面還是獲得了同類領(lǐng)先的性能。CM3Leon既具備自回歸模型的功能多樣性和有效性，也保持著較低的訓(xùn)練成本和較高的推理效率。作為一套因果掩碼混合模態(tài)（CM3）模型，它能夠以其他圖像和文本內(nèi)容的任意序列為條件，生成相應(yīng)的文本與圖像序列。這極大突破了以往大模型只能從文本到圖像或者只能從圖像到文本的功能局限。