社交媒體巨頭 Meta 在 11 月 16 日隆重介紹了兩款最新的人工智能(AI)生成模型「Emu Video」和「Emu Edit」,前者只要輸入文字要求就能輕鬆生成短動畫。
(前情提要:Meta新VR頭戴裝置「Meta Quest 3」價格廝殺,僅為蘋果六分之一)
(背景補充:Meta Quest 3太實用衝擊社群!網友熊抱「二次元老婆」大喊過癮)
社交媒體巨頭 Meta 在 11 月 16 日的官方文章中,介紹了其兩款最新的人工智能(AI)生成模型:首先是「Emu Video」,能夠根據文字和圖像輸入來生成影片剪輯。其次是「Emu Edit」,這個模型專門用於圖像操作,其在圖像編輯方面的精確性有了顯著提升。
簡單兩步驟自動生成影片
Meta 在文章中介紹演示了「Emu Video」強大的能力,官方解釋該模型採用了一種「分解」的訓練方法,將訓練過程分成兩個步驟,以便模型能夠對不同的輸入做出反應。
首先是基於文字提示生成圖像,然後再基於這些文字和生成的圖像來生成影片,這種分解的影片生成方法使得影片生成模型的訓練更加高效。
Meta 指出,與依賴於一系列深度模型不同,Emu Video 僅使用兩個擴散模型來生成分辨率為 512×512、時長四秒、每秒 16 幀的影片。
人人都是圖像編輯大師
Meta 的另一款模型 Emu Edit,則專注於圖像操作。它讓用戶輕鬆移除或添加圖像背景,進行顏色和幾何變換,以及進行圖像的局部和全局編輯。
Meta 透過了電腦視覺任務訓練了 Emu Edit,並使用了 1000 萬合成圖像的數據庫,每個數據集包含一個輸入圖像、任務描述以及目標輸出圖像。Meta 表示:
我們相信這是迄今為止同業中最大的數據庫!
Meta 也表示,Emu Video、Emu Edit 以及類似的新技術雖然無法取代專業藝術家和動畫師,但它們可以幫助人們以全新的方式表達自己,從藝術指導設想新概念,為創作者在他們最新的作品增添不一樣的想像力。
將深度結合 FB 和 IG?
事實上,在 9 月 28 日的 Meta Connect 大會中 Meta 就已經亮相模型 Emu(Expressive Media Universe),未來可預期該工具會與旗下 Facebook 和 Instagram 深度結合,但目前官方尚未正式宣佈具體時間。