OpenAI今(16)日發佈了最新的影片生成AI模型Sora(日文「空」羅馬拼音),這是一個能夠將文字描述轉換為長達60秒影片的創新技術,並能夠呈現出豐富場景細節、多角色互動和多角度運鏡的高品質影片。OpenAI在官網上展示了多個應用範例,影片品質皆具極高水準,並同時公開了這些影片的文字指令。
OpenAI在官網上展示了Sora多個應用範例,並公開了這些影片生成的文字指令,其中一個仿若來自真實東京街頭場景,一名身著皮衣、紅色長裙女人走在街頭的影片,OpenAI在影片下方公開其畫面指令,無論是影片裡出現的女人臉上出現的墨鏡、紅色口紅,街道潮濕反光、五顏六色的燈光、行人四處走動等場景細節,無一不符合該生成影片文字描述。
而除了真人,Sora還可生成動畫角色,其範例中即有一個可愛的毛茸茸小怪物跪在融化紅蠟燭旁邊的影片,OpenAI也公開該影片的生成文字指令,影片中可愛的小怪物睜大眼睛和張開嘴巴看著紅蠟燭,傳達出的純真和俏皮感覺,則完全符合其指令需求。
OpenAI表示,Sora不只能夠從文字生成影片,也能夠從靜態圖像或現有影片進行延伸和變化。OpenA解釋,該模型對語言有深刻的理解,使其能夠準確地解釋提示並生成表達生動情感的引人注目的角色,並表示Sora 還可以在單個生成的視頻中創建多個鏡頭,以準確詮釋角色和傳達視覺風格。
但OpenAI表示說明,Sora目前的模型有弱點,即是可能難以精準掌握較複雜的場景,如一個人可能會咬一口餅乾,但餅乾可能沒有咬痕。此外即為該模型還可能混淆文字所提示的空間細節,例如,左右混淆等。
OpenAI指出,目前Sora只對部分研究者、影片創作者開放使用,同時也有一個「紅隊」(Red Team)成員,這些成員是錯誤資訊、仇恨內容和偏見等領域的領域專家,他們將對模型進行檢測負責測試和防範可能違反OpenAI服務條款的情況,例如極端暴力、性內容、仇恨圖像、名人臉孔或智財侵權等等相關問題。「」
除了真人,Sora還可生成動畫角色。 圖:翻攝自OpenAI 官網