從巨大無朋的太空船到手舞足蹈的外星人，酷玩樂隊和防彈少年團（BTS）最近的單曲《My Universe》的音樂視頻以引人入勝的方式匯集了兩支世界知名樂隊。這是個歷史性的時刻，其意義不僅在于它是首支由兩大當紅團體合作并登上美國音樂排行榜榜首的單曲。在幕后，有五家視覺特效工作室合作運用了體積視頻，該技術有可能改變娛樂節目的制作方式。

首先是Ingenuity Studios，這家視覺特效工作室使用一套包含108個攝像機的360度體積捕捉設備，從每個角度記錄每名歌手的表演。使用體積捕捉意味著兩個超級樂隊的每名成員都是以體積的形式被錄制成全息影像，而不是平面影像。這也意味著雖然防彈少年團是在韓國的綠幕前拍攝，而酷玩樂隊是在西班牙拍攝，他們能夠在視頻中一起演唱。每名歌手的體積錄制內容可以從任何角度合成——全都具備逼真的深度、色彩和光照。

最終成果令人驚嘆不已。但是當洛杉磯的創意工作室All of it Now參與制作時，他們又和酷玩樂隊的創意團隊合作，進一步完善相關概念。

“我們想把全息影像放進真實世界，但這需要一個契機，”All of it Now的首席執行官兼聯合創始人Danny Firpo說，“我們經過一番搜索，發現了[美國全國廣播公司的]《美國好聲音》，這檔節目擁有的基礎設施完全能滿足我們讓兩個團體完美地同步表演的需求?！?/p>

傳統全息影像與體積視頻的對比

要實現如此雄心勃勃的創意，第一步就是構建實時制作的管線?！拔覀兛梢杂脗鹘y的投影方式將防彈少年團放到舞臺上，比如Digital Domain就是用這種方式，通過一塊斜放的玻璃投影出著名的Tupac全息影像，”All of it Now的執行制作人Nicole Plaza說，“但我們知道，傳統的方法不能用在這個項目上。安裝時間、成本和有限的觀看角度都降低了它的吸引力，而且在靈活性上明顯不如我們用虛幻引擎做出的成果?！?/p>

通過將Dimension Studios的體積捕捉數據導入虛幻引擎，該團隊可以方便快捷地根據實體舞臺的限制對AR表演者的位置和出現時機進行調整。這樣的速度和靈活性對于制作過程至關重要，而如果沒有Hologauze屏幕和Pepper的ghost方法，這種近乎即時的更改基本上是不可能實現的。

使用實時工作流程也意味著該團隊可以在虛幻引擎中對整個表演進行攝像機布局。這不僅使兩大樂隊可以預覽每個鏡頭的拍攝節奏，也幫助了制作團隊確定每個機位的拍攝范圍是否足夠，從而使他們能夠確定拍攝時需要哪些攝像機和鏡頭。

“我們本來計劃使用四個攝像機，但是在看到我們能夠實時提供的質量級別后，《美國好聲音》和酷玩樂隊很快就商定需要七個攝像機，這可以進一步提高整個制作的價值，”All of it Now的虛擬制片主管Berto Mora說。

將創意呈現在舞臺上

制作開始后，他們使用虛幻引擎將七個攝像機的信號與原先在《My Universe》視頻拍攝時捕捉的防彈少年團體積影像放在一起合成并回放?！拔覀冎揽梢猿錾馗采w七位表演者的全方位影像，這就給成片中的鏡頭帶來了無限可能，”Mora說，“我們給每個攝像機專門了安排一臺服務器，這樣導演就能同時看到所有信號源并隨時切換鏡頭，就好像防彈少年團的AR成員真的和舞臺上的真人酷玩樂隊一起表演一樣。”

為了實時地讓防彈少年團的表演者進入和離開舞臺，該團隊還利用菲涅爾效應和虛幻引擎中的Sequencer創造了一種“電波干擾”效果，讓表演者的全息影像瞬時呈現在觀眾面前?？催^那部音樂視頻的樂迷可能會記起這種效果，因為在原片中它也被用于表現我們想象中星際“傳輸”時全息數據帶有瑕疵的特點。

接著團隊又使用Stype的Stypeland插件攝取所有攝像機跟蹤和鏡頭畸變數據。這是通過Live Link記錄的，因此團隊可以重新渲染每名表演者的獨唱時刻的選定片斷，并在后期對特定表演者的唇形同步進行幀級別的調節。另一方面，在舞臺上，All of it Now的團隊與一流的設計師Sooner Routhier合作，使用特定的落地燈來幫助酷玩樂隊的藝人辨別哪些AR表演者出現在舞臺上，是何時出現的。

實時技術的優點

和所有顛覆性的工作流程一樣，使用體積視頻也涉及一些挑戰。All of it Now的團隊甚至一度與微軟合作改寫了插件代碼，使得防彈少年團的表演者資產（它們是通過微軟的SVF插件，作為特殊MP4導出內容而提供的）與酷玩樂隊保持完美同步。

但是，直面這些挑戰所帶來的回報是絕對值得的。通過使用體積捕捉數據，團隊甚至能在后期重新合成某些鏡頭（由于整條管線始終是為實時表演和回放而設計的，也方便了這類操作）。“每個視頻文件都是從一臺Atomos Shogun回放的，音頻和視頻饋送到用于現場制作的服務器，基本上就是重建了我們在現場看到的場景，”Mora透露。

“我們使用這種方法，可以修正同步方面的小問題，或者修改電波干擾關鍵幀，增減每個鏡頭的電波干擾效果。我們還使用我們自定義的管線工具讀取時間碼范圍，找到含有記錄的跟蹤數據的鏡頭，然后創建新的序列，在后期只需要修正每個鏡頭所需的跟蹤數據就行。與人工識別具有正確幀范圍的鏡頭相比，這種做法節省了時間，對于后期制作所要求的快速周轉非常關鍵，”All of it Now的首席虛幻引擎美術師Jeffrey Hepburn說。

當《美國好聲音》節目播出時，All of it Now團隊對結果非常滿意，因此他們如今正在探索在其它體積視頻應用中使用Arcturus Holosuite的平行管線，該工具可以改變表演者的頭部位置，使其“跟隨”被跟蹤的特定攝像機。但是無論他們做什么探索，虛幻引擎似乎都會是他們的好伙伴。

“在這個項目的每個階段，虛幻引擎都幫我們渡過了難關，使這個項目最終成為體積錄制的里程碑，激動人心地預示了混合現實以及元宇宙應用，”Firpo解釋說。

他提到了使用體積視頻實時回放的多種優勢，例如不需要鉆研3D角色設計、骨架綁定和動畫管線就能捕捉高度精細的面部表情、服裝元素和手指姿勢。

Firpo還表示，這種技術提供了探索替代工作流程的絕好機會，同時又能讓各個團隊避免“恐怖谷”問題的困擾。

“實時回放體積視頻提供了一些重大的機會，”他說，“如果能夠進行一次錄制并將資產復用于多種應用，那么這肯定會讓那些總在思考下一個大作的美術師感到興奮。體積視頻將會引導他們朝一些有趣的方向探索?！?/p>

合影（從左至右）：Danny Firpo、Nicole Plaza、Preston Altree、Berto Mora、Jeffrey Hepburn、Neil Carman