人工智能系列項目展示了創作者使用Unity制作的一系列人工智能項目，項目涉及人工智能產品。本案例中展示了最近使用Unity為OpenCV空間人工智能競賽制作的一個項目的一些實用資料，該項目以一系列令人印象深刻的例子展示了Unity中的機器人技術、計算機視覺、強化學習和增強現實等功能。

Unity是世界一流的實時3D引擎。雖然Unity的游戲引擎和工具傳統上只支持游戲開發者，但AI@Unity團隊正在圍繞機器學習、計算機視覺和機器人模擬等領域構建全新的工具，以支持游戲以外的應用，尤其是那些使用人工智能和實時3D環境的應用。

在OpenCV空間人工智能競賽中Gerard Espona和KaudaTeam提供了多個案例作品，他們大量使用了Unity的人工智能工具和軟件包。團隊通過使用Unity的感知包訓練計算機視覺模型并通過移動代理工具包來訓練他們的機器學習模型，此外他們還做出一個機器人手臂的模擬演示案例。

OpenCV計劃

Kauda?Team名字的由來

Kauda Team由Giovanni Lerda和Gerard Espona兩名成員組成，名字來自Giovanni創建的免費開源桌面大小的3D打印5軸機械臂——Kauda。這是一個非常棒的桌面機器臂，任何人都可以使用，且允許他們在項目上遠程合作。

Kauda機械臂

如何在Unity獲得Kauda機械臂的數字孿生

Giovanni Lerda和Gerard Espon開發了Kauda工作室，這是一個Unity的應用程序，目的是為了生成Kauda的數字孿生。它通過反向運動學（IK）控制、USB/藍牙連接到真實的Kauda，提供了功能齊全且精確的Kauda機械臂模擬，并可以支持多個OpenCV OAK-D相機。

OAK-D相機是什么，它是如何與Unity一起使用的？

OAK-D相機結合了兩個立體深度相機和一個帶有板載處理功能的4K彩色相機（由英特爾MyriadX VPU提供），可自動處理各種情況。作為競賽作品，Kauda Team為OAK設備構建了一個Unity插件，但他們也想在Unity中創造出一個數字孿生設備。OAK-D Unity數字孿生相機為他們提供了幫助，這是一部具有精確模擬功能的3D虛擬相機，可用于合成數據收集。OAK-D Unity數字孿生相機幫助他們將虛擬圖像輸入到真實設備的管道中。讓他們通過使用Unity感知包來收集合成素材，并用于為虛擬OAK-D相機訓練定制項目。

OAK-D相機中的Unity模型

在Unity中擁有一個數字孿生模型的優勢

擁有一個數字孿生讓Gerard Espon能夠在Kauda上啟用額外的功能。他們還能夠使用Unity的增強現實（AR）功能與現實世界中的虛擬機器人進行交互。其中的一個應用是學習如何在不需要機器人的情況下對機器人進行維護。這也允許他們用無代碼方法編程順序任務，使機器臂精確的完成任務。

數字孿生還能使他們對機械臂進行強化學習（RL）訓練。RL是一個耗時的過程，除了極其簡單的案例之外，任何事情都需要模擬。為此Kauda?Team在Unity中使用了ML-agent工具包來執行RL訓練以對機械臂進行訓練與控制。

Kauda?Team還在Unity中測試了人機協作和安全程序，他們在Unity中創建了數字孿生機械臂，并使用攝像頭測量人類在機械臂區域內的位置?？梢韵胂筮@樣做是為了那些更大型的機器人，當程序錯誤發生時，它會對人類造成傷害。模擬環境讓他們可以在不危及人類安全的情況下測試這些場景。

ML-agent工具包的用法

“強化學習（RL）訓練是一個強大的機器人框架，而Unity ML-agent也是一個很棒的工具包，它使我們的數字孿生機械臂能夠學習和執行復雜的任務。由于競賽的時間有限，目標是實現一個簡單的RL“接觸”任務，并將生成的模型轉換為在OAK-D設備上運行推理。通過使用ML-agent工具包，機器人使用IK控制學習的最佳路徑，以動態接觸檢測接觸到的3D對象?！盙erard Espon說道。

為了實現這一點，Kauda?Team首先使用了spatial tiny YOLO，這幫助他們實現了三維物體檢測。RL模型（PPO）使用結果檢測和IK控制點的位置作為輸入觀察。關于輸出動作，IK控制點的能夠實現3軸移動。獎勵系統基于每一步的小懲罰和機器人接觸物體時的大獎勵（1.0）而制定。為了加快訓練速度，Kauda?Team利用多代理同時學習來開發虛擬spatial tiny YOLO，其輸出動作與真實spatial tiny YOLO相同。

當模型訓練完成后，他們使用OpenVino工具包將其轉換為OpenVino IR和Myriad Blob格式，將模型加載到OAK-D設備上并運行推理。最后管道中是一個spatial tiny YOLO加RL模型。這里他們使用了Unity插件，因為Unity插件能夠幫助他們在Unity中同時使用ML-Agents和OAK-D代理來比較推理。

合成數據

管道的第一階段是3D對象檢測器，這是一個基于人工智能的計算機視覺和機器人任務的一個非常常見的起點。在案例中，Kauda?Team使用了一個預先訓練好的小型YOLO v3模型Unity感知包，這讓他們能夠為機器人的訓練定制類別。這讓Kauda?Team能夠在幾分鐘內生成一個帶有自動地面真實邊界框標記的大型3D模型合成數據集。通常，收集和標記過程是非常耗時的。擁有生成豐富數據集的能力是一大進步，該數據集具有大量隨機化選項，擁有不同的角度、打光情況、紋理變化等。

開發中的困難

“同步虛擬項目和現實世界項目所需的時間有時會有些偏離。我們認為這可以通過在未來使用ROS來解決，讓我們很高興的是Unity現在正式支持ROS了！”Gerard Espon說道。