你是否曾經好奇過面部動畫和動作捕捉是如何在現場虛擬制片環境中使用的？Iralta虛擬制片團隊為我們介紹了他們如何為西班牙公共廣播網TVE1制作虛擬角色Mapi。本文中Iralta虛擬制片團隊介紹了虛擬角色Mapi是如何被創造出來的，以及創造一部與眾不同的電視節目所涉及的各種工作流程。

Mapi是誰？

Mapi不僅僅是一個智力競賽節目，還是節目中一個增強現實的3D角色。該節目和角色由Iralta虛擬制片公司與Mediacrest和RTVE合作制作，在TVE1的“黃金時段”播出?！禡api》改編自日本公共頻道NHK的著名電視節目《Chiko的挑戰》，這是一檔具有革命性的電視節目。《Chiko的挑戰》每周播出一期，因此對于《Mapi》而言使節目的制作流程適應日常的播出需求成為了一項技術挑戰。

Faceware的應用

節目組要求Iralta為其制作一個能夠像有血有肉的演員一樣表演的3D角色：一個半人半3D的混合角色，可以與其他演員、參賽者和現實生活中的物體互動。

通過使用安裝在攝像機和女演員身上的Mo-Sys能夠在空間中定位3D模型。這使得制作組能夠在真實和虛擬空間中定位角色。

面部捕捉工作流程使用Faceware的Mark IV headcam和Faceware Studio將女演員的動作實時轉換為3D模型的動作。隨著時間的推移，“機器學習”的使用也有助于面部捕捉軟件提高Mapi的表現力。

另外角色的動畫是在虛幻引擎中開發的，以便于為Mapi添加一些，如煙霧，雨水或特定表情等特殊效果。

虛擬制片流程

使用實時渲染引擎——虛幻引擎，我們可以通過四個攝像頭完成整場直播秀。為了合成和增強真實感，我們還使用了與布景相同的照明和來自視頻面板的燈光功能。

開發AR 3D角色的集成是為了向Vision mixer提供四個現場反饋，從而允許導演實現現場混合直播。

這個為虛擬制片設計的實時制作工作流程超過了5400分鐘（90小時），無需進行任何3D后期制作。

這種制作3D、VFX和動畫的新方式徹底改變了拍攝和后期制作的既定模式。虛擬制片讓動畫和“后期制作”與現在拍攝同時進行。演員現在能夠與場景中的3D元素以及虛擬演員進行實時互動。

《Mapi》的制作是一項艱難且極具創造性的壯舉。那么我們如何使用類似《阿凡達》、《曼達洛人》或《堡壘之夜》的技術來制作完整的電視直播節目呢？許多廣播公司使用增強現實來添加圖形內容或數據，但這是第一次混合3D角色在多臺攝像機上參與實時表演。

關于角色Mapi的設計

Mapi的設計在一定程度上參考了“Chiko的挑戰”以及它最初是如何融入日本文化和電視的。對于創造一個更受西方人接受的角色而言，Mapi的設計靈感更多來自于如“Family Telerin”中的Clea和Cuquin或“Wreck-it Ralph”中的Vanellope等角色。

Mapi的角色設計由馬科斯·拉亞（Marcos Raya）和安吉爾·烏爾維納（Angel Urbina）和戴夫·伯頓（Dave Burton）領導的Iralta 虛擬制片團隊負責。Mapi是一個充滿疑問的幽默小女孩。而在更深層次上，Mapi是知識的女王，她擁有極其豐富的面部表情。Mapi的3D模型是一個女孩的臉，能夠表達從笑到憤怒的一系列情緒，這能提升演員的即興表演能力。

女演員Carla Pulpón

使用虛擬制片的增強現實使我們能夠獲得演員的最佳表演，并實時將其轉換為3D角色。當然如果沒有Mapi背后的女演員Carla Pulpón，這些表情就很難活靈活現的展現出來了。在片場的每一天，Carla都賦予她所扮演的虛擬角色生命力。她在錄制節目的時候會戴著一個參考用的假人頭部，以及Faceware Mark IV頭戴式攝像系統，該系統可以使她的面部動作與Mapi保持同步。

服裝

Mapi是一個虛擬與現實結合的角色。Mapi人體部分的服裝由來自Producciones Mutis的Esther R. Luaces和Reyes Pe負責。TVE所需的設計是在創紀錄的時間內完成的，以配合此次展覽的試點和技術測試?？椢锏念伾图y理必須與虛擬數字角色相結合。Mapi的服裝需要在視覺上吸引人的同時也非常實用，因為她的背包必須隱藏面部和動作跟蹤硬件。巨大的假人頭部幫助Carla實現了準確的動作，并給我們帶來了真實的反射和陰影。

Iralta

該項目使用了7臺功能強大的計算機來為Mapi的虛擬部分注入活力，并整合了不同的數據（如視頻、位置信息和面部識別等）：分析、動畫和渲染。此外制作組還開發了一系列數字道具來增強Mapi的情感和動作。

在錄制前的幾個月，Iralta的虛擬制片團隊參與了研發和其他測試，以使Mapi栩栩如生。他們在優化面部和相機跟蹤系統上花費了許多時間，這些系統在每個節目中都在不斷發展、進步。在幾個星期的時間中，工作人員將計算機系統和軟件推向極限，最終獲得了獲得絕佳的實時動畫效果。