隨著蘋果全新設備Vision Pro的發布，我們正在進入空間計算的新時代，強大的擴展現實（XR）工具和靈活的工作流程使開發人員能夠在編輯器中添加交互、縮放圖形、原型和測試等全新視角。2024年Unity游戲報告預測到，未來XR游戲的需求會更大，許多游戲工作室對于該預測表示認同。?

Unity的高級開發者安東尼婭·福斯特和Owlchemy實驗室的CEOwl安德魯·艾希在本文中討論了對于空間計算未來的看法以及為Apple Vision Pro開發應用的實用技巧。

讓我們從展望未來開始。你認為虛擬現實和空間計算的未來是什么？

安德魯·艾希：我們正在經歷XR技術快速發展的最重要階段——使用XR設備作為針對特定領域任務的通用空間計算設備，其中Apple Vision Pro操作系統的出現和Meta操作系統的升級應證了空間計算時代的到來。我們正試圖解決如何在虛擬現實中處理一般工作負載與極特殊的工作負載的范例。

當我們實際上在XR環境中工作時，看起來會像什么樣？Unity試圖將現有的任務轉移到空間環境中的相同范例中。他們希望開發者能盡快入駐，這有助于他們快速了解這種全新工作環境的廣度和深度。

這對Unity來說非常重要，這樣他們就可以發現這項技術的實用性和直觀性。在這個行業中，最有潛力的平臺通常位于高實用性和高直觀性象限。通過虛擬現實技術，我們希望確保它朝著高度實用和高度直觀的方向發展，這是手機、個人電腦和智能電視所處的象限。

展望未來，空間計算將有助于使虛擬現實技術更加實用化。如何做到這一點？我們改變了主要輸入向量，以與玩家目前最為關注的移動平臺保持一致。我們需要專注于消除實現手部跟蹤的摩擦，使頭顯更輕，并獲得更好的光學效果。

工作模擬器，由Owlchemy實驗室開發

關于XR技術的發展。你認為未來幾年還有哪些技術趨勢可能會影響XR？

Gaussian splatting技術令人非常難忘，我認為它將是影響更好的動作捕捉和動畫制作的關鍵技術。我們用三維捕捉解決了假設如果只使用覆蓋空間和相機或使用光場的錯誤問題，但現在高斯透明會使得效果更好，這有助于我們重新考慮將如何優化它。

同時我也認為人工智能（AI）未來將對XR技術產生更大的影響。我們正在期待著一個真正有趣的用例——不必渲染整個幀，只需渲染其中的一部分。如果我們渲染30%，然后將它交給張量處理單元（TPU），它會根據之前和之后的所有數據填充它，這樣我們頭顯里的圖形芯片就更加趨向于電腦了。這就是NVIDIA RTX顯示卡計算光線反射的實際工作方式，實際上我們已經在這條路上走了一段路。

同時人工智能技術的發展也填補了分重繪畫的空白，生成式人工智能將取代最佳擬合算法作為補間算法。最佳擬合算法通常會分幾個部分進行構建，如果在最佳擬合算法的幾個部分之間使用生成式人工智能技術進行內容生成，并且可以由藝術家控制，這將變得更加有趣。這對于那些想要專注于制作有趣內容但不想花時間制作補間動畫的動畫師來說非常友好。

基于XR空間計算技術的發展趨勢，您對進入空間計算時代的開發人員有什么建議？

從交互設計方向來看，空間計算技術首先需要打破傳統VR中與周邊或虛擬事物互動的方式，“不要試圖把一個方釘塞進一個圓孔”。對于開發人員來說，跳入其中并深入其中很有誘惑力，但作為一名新開發人員，我建議慢慢接近空間計算。并慢慢來堆砌正確的積木。

例如，將《工作模擬器》從VR環境移植到XR環境中，我們從使用操作系統級交互的合適時機開始。當我們為Apple Vision Pro版本安裝Swift?UI窗口時，我們討論了何時使用pinch功能。我們關注了蘋果如何使用它，因為他們非常明確在何時用于什么目的使用它。

當用戶想要結束窗口應用時，他們可能需要與3D對象互動來結束這一進程。這時，需要停止窗口并把它顯示成2D顯示器上的一個應用程序，這將更像是在現實世界中在電腦屏幕前關閉對話框相似的產品設計。遵循現實世界中與對象交互的設計原則，以直觀的方式設計交互方式將更加適用于XR空間界面設計。但需要注意的是，請確保當游戲在真實的空間和設備上與真實的用戶進行實際測試時持續關注您用戶體驗情況。這非常重要！

對開發者來說，把虛擬物體拿在手中并支持其與用戶完成互動將變得非常關鍵。我建議分配充足的時間進行修改。在不同的平臺上，體驗會有所不同。規格可能不同，因此保持靈活性非常重要。

最后，虛擬現實的特別之處在于如何探索虛擬環境并與之交互?！豆ぷ髂M器》的探索版本中玩家將坐在一張擁有抽屜的桌子前，體驗者可以隨意翻找抽屜，拿起每個物體，看看它們是如何工作和相互作用的，這是一件非常有趣的事情。玩家更喜歡這種互動的一個關鍵原因是，他們可以把手中的東西放在任意地方，以真正改變周圍的環境狀態，我們沒有讓他們與遙遠的或與他們脫節的事物互動，這有助于提升玩家的沉浸感。

工作模擬器，由Owlchemy實驗室開發

你會給希望為Apple Vision Pro移植或開發游戲的開發人員什么建議？關于由Unity制作的Vision?OS《工作模擬器》移植版使用體驗如何?

Unity一直與Unity和蘋果密切合作，并致力于以最佳方式實現我們的希望和愿景?！豆ぷ髂M器》在Apple Vision Pro上運行非?？焖?，使用起來與在iOS中構建應用相類似。但使它成為一個完全沉浸式的游戲讓我們花費了一些精力。Unity必須調用一個函數，將我們想要的輸出傳遞給蘋果操作系統。在此之前，我們只能創建一個平面窗口，如果你關閉它，游戲就結束了。

我們使用Unity開發的Vision OS《工作模擬器》移植版是一款完全沉浸式的游戲，Vision OS作為一款通用計算操作系統，退出游戲流程的制作對我們來說是一件新鮮事。為PC構建時，我們沒有退出應用程序的第二步驟，玩家只需點擊x 就可以退出程序，當我們將它放在Quest上時，它實際上是二進制的，游戲要么運行，要么關閉，但當游戲被移植到Apple Vision Pro上時，這個游戲實際上是可以進入到后臺運行的，我們需要做的工作是弄清楚如何真正讓玩家離開應用程序。

我們的建議是真正的合作與開放。你永遠不知道什么時候會有人解決你遇到的瓶頸。這不僅對你我有好處，對整個社區也有好處。Unity擁有非?；钴S的論壇討論和論壇票選。這有助于我們找到對社區其他人同樣有益的解決方案。在社區中提交錯誤報告有助于為我們與其他處于類似情況的開發人員提供合作的機會。這無疑加快了我們的學習曲線，并有助于我們向前發展。

你們從Vision?OS開發中學到的最有價值的東西是什么？

多年來，我們一直致力于在Windows PC和Android兩個生態系統中進行開發。Vision?OS與蘋果其他操作系統有許多相似之處，因此我們現在更加了解該操作系統的編程潛力與試錯方向。我們也找到了可以做得更好的地方。

Vision?OS系統的一個顯著優勢是Facetime和共享屏幕的價值與潛力，該功能支持向其他人展示你正在經歷的事情——比如說，用于調試。在Vision Pro屏幕中可以顯示你正在運行的應用程序，你正在運行的代碼，其他人可以完美地看到你所看到的視圖。而現在其他頭顯很難做到這一點。