多媒體內容制作公司Metaverse Entertainment承襲了Netmarble F&C的技術和Kakao Entertainment的敏銳，具備足夠的能力與基礎設施制作電影和電視劇，創造從視覺特效到虛擬人類的各種內容，并將這些IP擴展成各種形式。

虛擬韓流樂隊MAVE:于2023年1月底推出了首部音樂視頻。視頻發布后，她們在韓國的熱門音樂節目《Show！音樂中心》中首次亮相，掀起了一陣韓流音樂的新熱潮。MAVE:的角色逼真，動畫惟妙惟肖，最關鍵的是音樂瑯瑯上口——這一切使她們贏得了廣泛的關注。截至撰寫這篇聚焦新聞時，MAVE:的音樂視頻播放量已突破2100萬次，而她們舞臺首秀視頻的觀看記錄也達到了300萬次。MAVE:正在通過電視節目和社交媒體等各種方式與歌迷交流。

在本文中Metaverse Entertainment的首席技術官兼理事Sungkoo Kang為我們介紹了Metaverse Entertainment如何利用虛幻引擎和MetaHuman創造真實的數字人類，以及如何在短時間內為多個平臺創造內容。

組建MAVE:的第一步應該是創造樂隊成員。在創造數字角色時，你們的目標是什么？

創建四人虛擬樂隊MAVE:時，我們的目標是創造有吸引力的角色，她們都具有嶄新的面孔，在世界上獨一無二。要創造有魅力的角色，僅關注外貌是不夠的，還必須考慮一系列面部表情，以應對不同的情境。因此，我們集中精力，構建并完善了一套管線和技術來實現這一目標。

你們的角色是使用MetaHuman創造的。能否說明一下為什么選擇這項技術？

正如我剛才提到的，除了迷人的外貌，要創造真實可信的角色，最重要的是針對不同的情境，準備一系列精致的面部表情。然而，創建和修改這類面部表情是一項耗時且昂貴的任務，因為它離不開綁定和建模，并且需要反復修正和驗證。因此，Epic基于幾十年數字人類創造經驗開發出來的MetaHuman技術成了我們的完美選擇。在我們的角色構建管線中，它是至關重要的一環。

我們能夠通過MetaHuman面部綁定輕松創建我們想要的面部表情，并在角色之間共用動畫。此外，我們還能夠參考Epic Games發布的《Rig Logic：MetaHuman面部綁定的運行時評估》白皮書，集中精力展開研發工作（例如，改進控制綁定）。同時，這項技術高度兼容NVIDIA的Audio2Face、iPhone的Live Link Face應用、Faceware和FACEGOOD等外部工具，這使我們能夠共享底層的網格體拓撲結構、UV、關節結構和功能按鈕，從而應用MetaHuman的動畫，并大幅減少實際制作時間。

你們為什么選擇將虛幻引擎與MetaHuman搭配在一起使用？

計劃MAVE:項目時，我們深入地思考了項目的定位以及我們希望該虛擬樂隊參加的活動類型。內容的制作效率是我們要考慮的頭等大事。大量的活動意味著需要制作大量內容，這對制作效率提出了要求。如果無法滿足這種效率，我們可能不得不在視覺質量上做出妥協。因此我們選擇了虛幻引擎，它不僅能夠提供效率，也帶來了優秀的實時渲染質量。我們使用虛幻引擎擴展了MAVE:在各個領域的活動范圍，這包括在短時間內制作一段跨媒體音樂視頻，讓她們參與社交媒體活動，并出演即將播出的電視節目和商業廣告。

社交媒體是進行交流和創造紐帶的重要渠道，為了利用它實現這些目標，我們需要大量各種形式的優質內容。因此我們選擇了虛幻引擎，而非其他工具。通過使用虛幻引擎，我們能夠創建各種形式的內容，包括逼真的圖像和視頻，用來在多個社交平臺上與歌迷互動。

請介紹一下MAVE:各位角色的創造管線。

MAVE:創造團隊的專業人才具有各種不同的背景（例如，可能來自游戲和電影行業），因此團隊成員可以根據自己的專長，使用不同的DCC工具。舉例而言，具有游戲行業背景的團隊成員精通實時渲染，而來自媒體與娛樂行業的成員則擁有視頻媒體制作方面的專業知識，所以我們建立了特殊的管線，最大限度地發揮所有團隊成員之間的協作效果。

這套管線包含角色策劃和角色創建。角色創建可以細分為多個具體的步驟，如建模、創建和綁定面部表情、創造頭發，以及校準身體。

我們會在角色策劃階段設計每位角色的外貌。這個過程離不開與Kakao Entertainment專家的密切合作，在策劃成功的韓流樂隊方面，他們有著豐富的經驗。然而，傳統韓流樂隊的成員選拔自現成的練習生人才庫，其外貌由妝容和造型決定。但對于虛擬樂隊而言，我們必須將虛擬人類塑造成有魅力的嶄新人物，我們要關注的不僅僅是其外貌，還有細致的面部表情、動作和語言模式等。

為了彌補這種差別，并提供盡可能接近策劃團隊原來環境的工作環境，制作團隊構建了一套管線，允許他們使用GAN網絡自動生成目標圖片，并手動修改或組合特征向量。如此一來，策劃團隊無需從頭開始創造角色的外貌，他們能夠選擇現有的角色，并依據策劃修改其參數。在打造成功的韓流樂隊方面，策劃團隊多年來已經建立起了成熟的方案，他們通過分享與此相關的深刻見解，為我們提供了幫助。

由于角色風格將直接影響面部模型，在展開面部定義步驟中的建模工作之前，我們與熟悉韓流樂隊服裝和發型的專業造型師進行合作，確定了成功的造型。如果我們掃描真正的人類，就能更快地創造出逼真的外貌，但這也會帶來一些問題，比如很難找到看起來完全符合我們心意的人，還會存在肖像權問題。所以我們使用建模工具創造了MAVE:的面孔。

在面部表情的創建和修改步驟中，我們采用自己的工具分析了模型，并利用每個面部區域的位置和大小信息以及肌肉運動信息自動生成了大約800種面部表情。整個過程差不多就是在輸入基本的網格體類型時自動生成面部表情，與網格體轉MetaHuman插件的功能類似。我們之所以開發了自己的工具，是因為網格體轉MetaHuman插件當時尚未發布，在根據需要修改算法和建立自動化管線方面，它對我們大有幫助。

另外，作為對標準面部表情的補充，我們還構建了一項定制獨特面部表情的功能，以反映角色的個性。添加這些新的面部表情需要合適的綁定，所以我們在虛幻引擎中自動生成了控制綁定，并為角色設置了它們。

頭發基底是使用Maya的XGen工具集創建的。虛幻引擎使用Groom渲染頭發，這個過程是實時的，但質量非常高，還為我們節省了大量時間。然而，有時候，我們不能使用Groom，因為我們需要實現更高的性能。為了應對這種情況，我們創建了一款工具，將基于Groom的頭發轉變成發片。我們通過自動化方式優化了工作流程，在修改和應用發型時，不再需要手動執行任務（例如在轉變發型的過程中，如果綁定資產不存在，就創建它）。

在身體校準步驟中，我們也采用了自動化技術；我們還利用了幾十種校準形狀，根據姿勢修改身體形狀。我們開發了一種新的解算算法，以避免使用Maya徑向基函數解算器（RBF）時可能出現的問題（包括無法將層次結構應用于插值，以及應用精細設置時更有可能出現的非預期身體形狀）。

此外，通過使用虛幻引擎的物理系統、布料模擬、AnimDynamic節點以及其他各種解決方案，我們在服裝和配飾中創造出了自然的反應。團隊還利用虛幻引擎對DMX的支持，成功地創造了一座壯觀的舞臺。

（左）應用校準形狀為手部形狀計算插值之前；（右）應用校準形狀之后

籌劃并創造逼真的舞臺，將韓流音樂的激情與虛擬樂隊聯結在一起肯定充滿困難。這個過程是怎樣的？

為了創作能夠體現韓流情感的音樂視頻，我們與曾實際執導過此類視頻的導演、攝影指導、設備操控團隊、搖臂操作員以及真人韓流舞蹈團隊展開了合作。我們還試著重現和提供了一個與傳統流程及條件完全相同的舞臺環境，讓這支韓流制作團隊能夠充分發揮其所長。作為這項工作的一部分，我們建造了一座大型（20米×20米×8米）視效中心，以便在像實際音樂視頻布景那樣寬敞的空間中捕捉動作，我們計劃捕捉的不僅僅是演員的表演，還有實際拍攝設備的運動軌跡，這樣一來，我們稍后就可以重現音樂視頻中眩目的運鏡效果。

演員們穿著動作捕捉套裝表演舞蹈，我們像拍攝真正的現場音樂表演那樣，將這一切記錄了下來。這些使用Mo-Sys StarTracker追蹤的攝像機數據將用于直接在虛幻引擎中創建最終虛擬表演，營造一種真實可信的感覺。我們在虛幻引擎中預覽了攝像機的角度和演員的動作，這讓我們可以即時在現場檢查結果，然后在Vicon Shogun和虛幻引擎中同布錄制。

錄制的方式也與真正的韓流音樂視頻一樣，同時捕捉了四名成員的表演。我們首先使用攝像機現場拍攝的動作捕捉數據編輯剪輯，然后根據剪輯過的鏡頭整理動作捕捉。這樣一來，我們就能夠重點關注將在最終版本中實際使用的部分。我們得到的動作源自真實的人類，因此它們看上去更自然。

請談談MAVE:即將推出的內容，以及Metaverse Entertainment的未來計劃。

作為利用虛幻引擎的虛擬明星，MAVE:正在準備將讓她們在韓流組合中脫穎而出的全新內容。

我們計劃通過在電影、電視劇和游戲中使用我們的IP，進一步擴大我們的業務領域，但與此同時，我們也將繼續擴展我們在虛擬人類和元宇宙等方面的專長。在這個過程中，我們需要使用虛幻引擎為實時粉絲內容、互動內容和新媒體等各種內容創造堅實的基礎。