Unity創造VR中的百萬人的音樂狂歡

在除夕夜音樂會的后臺工作，是一種怎樣的感覺，本文帶你了解一場突破世界紀錄的百萬名觀眾音樂狂歡盛宴。

如果音樂會發生在大流行封鎖期間，觀眾不得不呆在家里，那會怎么樣？

進入到虛擬現實音樂會幾乎可以感受到和親自到場一樣的瘋狂體驗——有時甚至更令人興奮。此次音樂狂歡中的數百萬（虛擬）觀眾同樣也感受到了這一點。

音樂人Jean Michel Jarre 戴著太陽眼鏡和黑色頭帶身處于昏暗的背景中，紅藍相間的光線照射在他的臉上

此次音樂會的AR/VR負責人安東尼·維蒂洛（Antony Vitillo）完整記錄下了讓·米歇爾·雅爾（Jean Michel Jarre）的歡迎來到另一邊（WTTOS）整場音樂會。其中國際電子音樂巨星在巴黎圣母大教堂的虛擬現實復制品中進行表演，與世界各地的觀眾一起慶祝除夕。

本次音樂會獲得了超過7500萬的瀏覽量，顯然在國際音樂節獲得了巨大的成功。安東尼和團隊使用Unity將所有節目整合到一起。

三個月的時間限制

三個月對于任何舞臺活動來說都是一個緊迫的時間限——因為籌備組需要考慮到燈光設計、聲音設計、舞臺視覺效果、煙火和后勤等等一系列方面——對于一個需要軟件開發的音樂會來說時間更是尤其緊迫。但隨著除夕的臨近，團隊在9月啟動了項目，并在10月初積極集結開始工作。

當時其中一位合作者，燈光編導杰萬·莫蘭迪（Jvan Morandi）進入這個項目時，他問道，“這個項目定在2021年夏天，對嗎？”但當他發現項目其實是定在2020年底時，他幾乎沖著安東尼大吼，“你們這些家伙完全瘋了！”

一步一步來

設計階段

本次音樂會的籌辦團隊由虛擬現實體驗公司VrOOm召集，由首席執行官路易斯·卡丘托洛（Louis Cacciuttolo）領導，他們以前有在倉促制作中完成項目的經驗，并且擁有在設計階段構建整體架構的思路。在這一階段，本次音樂會的表演者讓·米歇爾·雅爾和各種體驗藝術家決定了整場音樂會將主要注重于于整體外觀和感覺的視覺體驗。

圖片展示了“歡迎來到另一世界”音樂會中圣母大教堂的內部舞臺構建

一旦確定了設計方向，團隊就在選定的事件技術中進行實驗，以了解在現場體驗中什么是可行的。

安東尼說：“我們選擇VRChat作為一個平臺，因為它是我們最熟悉的平臺，我們所有最大的項目都是用它完成的。它是最通用的社交VR技術之一，同時也讓我們使用了Unity，我們非常了解Unity的使用方法。”

圖中讓·米歇爾·雅爾彈著鍵盤站在圣母大教堂的虛擬舞臺中央，周圍被火焰效果所環繞

模擬場景

團隊開始使用他們在網上找到的圣母大教堂模型在Unity中組裝場景。他們與意大利設計公司（MID）的Lapo Germasi和Victor Pukhov合作，對其進行簡化和優化，以便在VRChat中使用。

創建動畫

文森特·馬森（Vincent Masson）使用4D電影院制作的場景可以讓觀眾在他們周圍看到3D動畫，而約翰·莫蘭迪（Jvan Morandi）則致力于聚光燈動畫。兩人都參與了投射在大教堂墻上的2D視頻貼圖繪制。

圖中虛擬舞者在“歡迎來到另一個世界”音樂會中的圣母大教堂中翩翩起舞

虛擬替身設計

團隊使用Maya創建了一個美輪美奐的讓·米歇爾·雅爾。安東尼的虛擬替身，這并不容易，因為藝術家的公眾形象非常重要，所以他們必須平衡創造一個既能吸引觀眾又能代表JMJ知名風格的化身。

創建虛擬資產

“自從我們使用Unity以來，我們對Unity的所有功能都非常了解，如：3D動畫、虛擬化身、聚光燈、聚光燈下的對象、mp4視頻，以及用適當的UV投射在大教堂的墻上等。”安東尼說。

令人愉悅的藍色燈光打在圣母大教堂側面的墻上

動作跟蹤

虛擬替身是使用讓·米歇爾·雅爾身體的真實動作制作的實時動畫。與SteamVR兼容的mocap套裝以及跟蹤手套能夠確保其身體動作的準確性，以再現他演奏電子樂器時復雜的手部動作。

圖片中讓·米歇爾·雅爾穿戴著與SteamVR兼容的動捕套裝來將自己的動作復制到虛擬世界中

場景組裝

當所有的材料都準備好了，團隊就開始著手于在Unity中組裝它們了，他們開始打磨一切細節，并加以優化，以在VRChat中擁有良好的表現。讓·米歇爾·雅爾在虛擬現實中進入搭建好的場景，并開始精湛的表演。日耳曼西（Germasi）使用Unity的后期處理效果對場景進行了最后的拋光，以平衡大教堂的逼真度和內部的視覺效果。

動畫自動化

為了確保場景中的所有元素（視頻投影、彩色聚光燈、道具）都能與節目中每首歌的節拍同步，安東尼使用Unity來計時并觸發每一個動作?！皬椭茣r間碼并對它們觸發的每個事件進行編程是一項乏味的任務。但是在Unity中，我能夠創建腳本來處理它。有了編輯器腳本，我可以讀取動畫和燈光觸發器的所有時間碼的大量CSV，并通過選擇編輯器中的菜單，動態創建每首歌曲所需的行為。這使得我們的動畫更加容易控制?！卑矕|尼說到。

在“歡迎來的另一個世界”音樂會中所有歌曲所需特效表現的Unity編輯器截圖

面向社交虛擬現實的優化

根據安東尼的說法，VRChat不僅要求流暢的幀速率（“你一定不想讓人們以20 fps的速度觀看音樂會?！彼f），還要求對文件大小進行優化?！叭绻w場景重量超過300 Mb，你的用戶會花太多時間下載，有時候這會導致他們死機，這樣我們的觀眾就不會有良好的體驗?！盡ID的團隊專注于優化大教堂的幾何形狀，并對貼圖紋理的大小進行全面優化。

添加交互功能

安東尼與來自MID的Lapo Germasi和Victor Pukhov密切合作，對整個過程進行了優化，并添加了虛擬系統和交互系統，以模擬現場的沉浸式活動。

所有的臨時化策略：聚光燈、視頻映射和所有的動作都應在正確的時間點被觸發，并與歌曲同步，這需要在VRChat內部加入一些具有創造性的解決方案。

互動：互動是用戶參與的必要條件，尤其是在社交平臺上。此外，為了增強虛擬現實中的存在感，團隊添加了一些觀眾在觀看音樂會時可以激活的效果，例如為一些其他觀眾添加一些不一樣的色彩效果。

拍攝視頻所需的所有元素：因為這是一次360度的體驗，所以團隊不想從單一角度提供平面視頻。安東尼說:“我們實際上在VRChat內部創建了一個復雜的攝像頭系統，這樣格奧爾基·莫洛托夫（Georgy Molodotsov）和莫德·克拉維爾（Maud Clavier）也可以切換到音樂會的“多攝像頭”版本進行直播。他們使用了一個開源項目來初始化相機系統，VRCLens為手動拍攝的照片添加了景深效果，VoxelKei制作的360度錄像機頭像能夠用來拍攝全景視頻。

音樂會結束后的虛擬體驗是由俄羅斯XR藝術家丹尼斯·塞米諾夫（Denis Semionov）設計的，他用Quill塑造了場景，并開發了一個簡化版本的圣母大教堂模型，以確保圣母大教堂在遠景中的呈現。

音樂會后的視覺效果是由MID負責優化的；安東尼和團隊增加了音樂會后的互動（例如，登上齊柏林飛艇進行飛行)。

屏幕截圖左邊是現場活動的圖片，右邊是Unity Editor視圖，顯示了聚光燈、視頻映射和所有動作是如何在Unity中觸發的

虛擬現實的重要性

曾經有一段時間，在設計階段，有人質疑他們是否真的應該放棄VR體驗，把整個節目做成一個線性的直播流視頻。但是讓·米歇爾和安東尼以及其他團隊成員都認為它應該出現在虛擬現實中。這種互動體驗，即使只是在電腦屏幕上觀看，也會讓人覺得自己真的在圣母大教堂里面，在除夕夜被其他人所包圍。

最終，該項目積累獲得了超過7500萬次的瀏覽量，在大型實時虛擬現實體驗中以及許多其他流媒體視頻體驗平臺上創造了新的記錄。安東尼說:“我們創造了歷史，完全在虛擬現實中舉辦了一場大型音樂會，事實證明，只要你愿意冒險去做，你就能做出不可思議的事情?！?/p>

想要了解更多關于Unity的全新消息與應用案例，請繼續關注我們的賬號。我們會在第一時間快速整理有關Unity的全新動態。歡迎大家關注轉發~