如果只使用文字，就能創作出一部以《阿基拉》為靈感的賽博朋克影片，那會怎么樣？對于藝術家團體Sagans來說，這是一個值得開拓的未來。最近，他們使用虛幻引擎的MetaHuman技術，同時配合AI算法，僅憑文本描述就為其首部音樂錄影帶《Coherence》生成了大部分鏡頭。

在最終成品所描繪的后現代圖景中，一位女性正在新城市中尋找著屬于自己的位置，畫面采用素描風格，鏡頭伴隨著音樂不斷移動，從明亮的櫻花樹轉場至紐約地鐵。Sagans的藝術家們共同展示了，AI不一定預示著我們的工作（甚至整個世界）將被它接管的可怕前景。相反，它可能會成為釋放我們全新創作潛力的關鍵。

顛覆音樂行業

根據Sagans的3D專家Aurelien的說法，《Coherence》準確地代表了這個團體所要實現的目標?！拔覀兏杏X，音樂行業不愿意冒險，除非存在利益驅動因素?！彼忉屨f，“因此靠譜的內容開始減少，這正是促使我們創辦Sagans的最初原因?！?/p>

Sagans團體由音樂家、美術設計師和研究人員組成，他們在制作第一部音樂錄影帶之前，并不需要等待歌曲創作完成。這為團隊提供了更多的時間和自由，探索如何通過人工智能和實時圖形等技術實現愿景。

“虛幻引擎5是我們最先決定采用的技術，”Aurelien繼續說，“我們首先通過Quixel資產庫創建了整個世界，緊接著，我們采用MetaHuman Creator創造了逼真的角色。這為我們改變了一切。突然間，我們就可以在短時間內制作出漂亮的東西了。我們知道，我們已經準備就緒，可以開始制作《Coherence》了?！?/p>

添加AI

起初，團隊決定使用大友克洋的經典動畫《阿基拉》的風格，為視頻的審美奠定基礎。下一步就創造視頻中的女主角?！霸谑褂锰摶靡婀ぷ髦埃覀儗?D世界不是很熟悉，”Aurelien說，“乍看之下，創造角色似乎是一項非常復雜的任務。幸運的是，MetaHuman Creator讓事情變簡單了?！?/p>

為了創造讓觀眾感覺親切的角色，團隊混合了MetaHuman數據庫中三張面孔的元素，找到了自己喜歡的結果。接下來，他們使用iOS的Live Link Face應用，為角色制作了面部表情動畫。與此同時，Sagans的藝術家們還開始使用Quixel構建視頻的虛幻引擎環境，從日本風格的英國街道，到紐約的地鐵，應有盡有。

“創建環境時，Lumen發揮了至關重要的作用，”Aurelien解釋說，“有了它，我們能夠在不使用大量硬件資源的前提下實時處理光照。再配合使用Niagara創造雨水等粒子，在短短幾秒鐘內，我們就可以生成與用戶界面中完全一致的渲染。”

最后一步是根據場景的需要，通過三套獨立的AI算法生成虛幻引擎輸出，營造最終的大友克洋風格。第一套算法允許Sagans的藝術家使用文本描述場景風格，然后以視頻形式將其表現出來。第二套算法會使用參考圖像制作動畫視頻，而最后一套算法可將實景真人電影轉變成風格化的動畫影片。

“在大多數鏡頭中，我們都用到了文本轉視頻算法?！盇urelien補充說，“為此，我們使用Disco Diffusion 5幫助生成單獨的幀，然后通過算法將這些幀轉變成視頻。我們必須確保文本內容非常詳細，不僅能描述出風格，還要填補所有紕漏：如果沒有提到天空，機器可能會忘記城市頂部必須有一片天空。在得到不錯的第一幀畫面之后，我們還要根據運鏡的需要，提供足夠的描述，生成接下來的幀，然后在第20幀處最后一次檢查渲染。”

使用虛幻引擎的成果

由于使用了獨特的實時3D和AI工作流程，從第一個鏡頭到《Coherence》的最終渲染，整個過程只花了三位Sagans創作者八周時間?！拔覀兿胍环N既簡單易用又足夠快速的解決方案，幫助我們迅速實現愿景，虛幻引擎沒有讓我們失望?！盇urelien補充說，“只需幾次點擊，我們就可以輕松創建極其精細的角色和城市環境，在沒有動作捕捉服的情況下為女主角制作動畫。”

現在，《Coherence》已創作完成，團隊計劃在未來的音樂錄影帶項目中繼續使用虛幻引擎和AI。“第一次發布內容通常會讓人傷腦筋，但《Coherence》取得了出色的反響，”Aurelien總結說，“我們希望人們明白，人工智能的出現是為了協助和激勵我們，而不是搶走我們的工作，這個錄影帶正是我們實現這個目標的第一步?！?/p>

本文轉自虛幻引擎官網~