AI@Unity正在致力于機器人、計算機視覺和機器學習領域的深入研究和產品開發。而Unity為暑期實習生們提供的人工智能項目則更加具有真正的產品影響力。

隨著機器人構造與任務的越來越復雜，機器人行業對仿真的需求也越來越大。機器人模擬技術能夠幫助開發人員對機器人進行擴展，因此在他們需要測試的每個場景中他們并不需要真實的機器人。另外機器人模擬技術還能夠在開發過程中開發和測試某些任務，尤其是那些在機器人完全部署之前無法執行的任務。

Unity的機器人團隊正專注于通過利用Unity引擎的能力、資產和可集成性來進一步推動機器人仿真技術更加成熟，同時構建和擴展具有仿真能力的機器人模擬專用工具與相關軟件包。而在Unity Robotics Hub中也提供演示、教程和軟件包，可以幫助用戶立即開始模擬他們自己的機器人。

2021年夏天，Unity機器人團隊的實習生們迎來了他們的首次工作，這為他們在Unity的工作中積攢了寶貴的經驗。在下面的文章中我們將向大家分享他們所開發的項目和所獲得的一些經驗。

Unity中的逆運動學與控制

雅各布·普拉特（Jacob Platin），賓夕法尼亞大學機器人學專業

逆運動學對于像READY Robotics這樣的客戶來說至關重要。

今年夏天，我得到了一個非常難得的機會——加入到Unity機器人團隊中來。作為機器人團隊的一員，將反向運動學和機器人控制器集成到Unity中成為了我們首個項目。當用戶需要模擬機器人，尤其是機械臂時，他們需要使用并控制與真實機器人相同或相似的API來控制機器人。這些應用編程接口被稱為機器人控制器，它們提供了各種功能，包括將機器人從一個位置移動到另一個位置，移動單個關節（在關節空間中），甚至移動機器人轉一圈等。機器人控制器主要控制節空間工作，我們可以發送給每個關節執行目標角度的命令。然而，人們只關心末端執行器在笛卡爾空間中的位置和方向（即，我們的3D世界中的X、Y和Z坐標）。因此，反向運動學的目標是確定笛卡爾空間中給定位置和方向對應的關節角度。反向運動學是機器人專家工具包中至關重要的一部分，因此這個包使Unity作為機器人仿真平臺更有權威，也更容易使用。

事實證明，在Unity中集成這些功能是一個巨大的挑戰，要求我復習線性代數、物理、微積分、計算機科學，甚至微積分這些前的知識，同時以最用戶友好的方式設計軟件。我還通過創建項目演示學習了如何在虛擬現實中模擬工業機器人，在這個演示中，用戶可以在虛擬現實中移動一個由機器人手臂跟隨的立方體。然而，伴隨著挑戰而來的是巨大的機遇，有效地獨自設計、構建和運輸這樣基本的代碼來支持Unity中的機器人給我們帶來了全新的可能性。令人難以置信的是，人們很少發現自己每天都在期待工作，并不斷受工作中的挑戰，我很幸運地說，我在Unity找到了這種體驗！

多智能體機器人仿真

蒂芬妮·尤（Tiffany Yau），多倫多大學機器人工程學士

西蒙·查莫羅（Simon Chamorro），舍布魯克大學機器人工程學士

在工業應用中，具有不同專業能力的多個機器人必須協同工作來執行復雜的任務。該項目展示了如何通過Unity編輯器和機器人仿真包以及ROS 2實現多個機器人之間的協調，以在倉庫中執行查找和轉移任務。該演示還強調了使用Unity相對于其他機器人仿真工具的優勢，在其他工具中，像這樣的多智能體仿真很難完成。我們的模擬由兩種類型的機器人組成，我們稱之為Findbot和Ferrybot。多個Findbots負責使用機器學習在倉庫環境中查找目標多維數據集，單個Ferrybot導航、拾取并在指定位置放下這些多維數據集。為了實現這一點，每個Findbot都配備了一個攝像頭來檢測立方體，而Ferrybot則有一個機械臂來拾取立方體。這個示例項目對于希望在自己的模擬中使用Unity機器人工具的機器人開發人員和研究人員來說非常有用。

總的來說，這是一次很好的體驗，因為我們能夠在我們的項目中使用和集成大量的Unity軟件包。例如，我們使用了計算機視覺感知包用于數據收集以訓練我們的姿態預估模型。我們還在費里波特上使用了一個反向運動學包（在上面雅各布的項目中提到過）來拾取立方體。這對于我們來說也是學習協作和溝通的絕佳機會。