近期發布的開源工具Perception 1.0為Unity合成數據加入了合成人類與合成家庭環境。

機器學習（ML）驅動的計算機視覺（CV）系統正在描繪更大的藍圖，而它們的成功依賴于大量標注豐富的數據。由于此類系統的表現與數據緊密相關，搜集更好的數據往往是改善模型表現的最好方法。然而，搜集與標注現實數據要耗費大量時間與金錢，以至于許多項目都無法以數據為中心。為了解決這個問題，上千支團隊開始轉用Unity來構筑合成數據集。

為創建合成數據的開源工具：Perception 1.0，發布了一次重大更新，它標志著合成數據一大進步。新的Synthetic Humans包能生成多樣化、隨機化、可定制姿勢和用作參考的3D人類。新Synthetic Homes數據集生成器則能生成寫實的室內環境，用于理解場景、檢測物體。此外，Perception包還更新了深度和法線輸出，支持路徑追蹤及Python可視化與分析工具。

此次工具套擴展，能夠使用戶更快地構筑高質量合成數據。

Synthetic Humans，為CV打造的多樣化人類生成器

Unity Synthetic Humans現已發布，這款完全從零建起的3D人物生成器專為以人為中心的CV合成數據打造。Unity花費了數千個小時糅合掃描、模擬并通過3D美術數據制作了這些內容。現在，所有這些內容將以學術用開源許可證的形式免費開放。

不同于其他數字人只允許在基礎模型上完成一小部分修改，Synthetic Humans可帶來極大的多樣性，組合多個發型庫，生成匿名化的面部、人種、身體模型及衣物。每個生成的數字人類都是無特征且獨特的，你不會生成非常具體的人，但需要控制采樣點在隨機軸上的分布，隨機因素包括了種族、身高、體重和年齡。比如，一個數據集可以有20%的少年、45%的青年和35%的中老年人群，這些都能在生成參數中設定。

主要特色：

多樣化的年齡、體型和膚色

豐富的標簽，包括身體節點和衣物劃分

帶有完整骨骼綁定和身體衣物蒙皮、兼容Unity Animation System

在3D環境中可隨機擺放、避免碰撞

合成家庭環境，標注豐富的室內數據集

同時Unity也將發布Synthetic Homes，一個大規模的合成家庭室內數據集，以及相關的數據集生成器。家用CV有著數不盡的用處，但從現實世界里搜集各類室內數據是出了名的困難，因為涉及了隱私問題和數據采集限制。Synthetic Homes會提供大量帶有精確、豐富標簽的各類室內數據集，以及一個可配置的數據集生成器，以加快室內應用的模型訓練。

Synthetic Homes還加入了各類隨機化來最大化多樣性。這些隨機涉及材質、家具類型和配置、太陽角度和溫度、日夜轉換、室內光照溫度、攝像機角度、雜物堆、天空盒、門和特定動畫等等。用戶可以在數據集生成器內控制所有這些元素，調試出自己喜歡的數據。

家中的室內光照通常是復雜且精心設計的，忠實地還原它們因此就非常重要?？梢酝ㄟ^使用Unity的多次彈射路徑追蹤來實現符合現實的全局光照和反光。這種精確的光照能彌合所謂的“Sim2Real gap”（模擬到現實的差距），讓模型用合成數據訓練后能更好地在現實中發揮作用。

Synthetic Homes項目有著一個包含100000圖片的數據集，一個可配置的數據集生成器，以及一個數據分析的筆記本。數據集包含了豐富的標簽，用于標注區分開的語義和實例、邊界框、深度和法線。它同樣包括了遮擋百分比和攝像機位置等環境信息。為了方便你改進數據，我們同樣提供數據集生成器，讓你能調整攝像機擺放、隨機化模糊和圖片大小等參數。

Perception軟件包的重大更新

Perception包能在Unity編輯器內生成合成數據。Unity極大地擴展了該軟件包，以支持新的CV任務、提高質量并加快數據集開發。新的Perception包括如下特色：

傳送帶樣例展示了用隨機生成的物體和物理錄制視頻數據集。

光線追蹤功能用最少的步驟和多次彈射的物理性光照生成了高度逼真的圖片。

遮擋標注器可計算一個物體有多少被場景其他物體所遮擋、有多少處于屏幕之外。這個信息可用于篩去幾乎全部被遮住的物體及其標注。

深度與法線標注器可抓取執行新任務所需的渲染層，或用更多的模型信息輔助更好的預測。

透明與雙面幾何體支持能在農業及室外環境中為植物加上像素級的標注。

Unity還希望讓社區的大家進一步參與到Perception項目中，所以軟件包在以后將接受社區貢獻。

Python中的pysolotools、數據分析和可視化

數據探查和分析對合成數據的快速迭代起著關鍵作用，而用戶也希望讓這些操作盡可能的簡單。本次更新推出了一種稱為“SOLO”的新數據集格式，這種為大規模圖像數據集設計的格式能用新的標注和度量進行拓展。SOLO數據集將逐幀分別存儲到磁盤上，讓數據集的生成和處理更為分散。

與SOLO格式一同發布的還有pysolotools，這款新的開源python軟件包內涵處理SOLO格式的實用程序。pysolotools軟件包所帶有的迭代界面能讓用戶輕松地逐幀編輯SOLO數據。它還自帶一種取回常見統計數據的框架，這些統計數據包括物體計數、規模分布和熱力圖等常用于解決CV問題的數據。最后，用戶能用pysolotools輕松編寫腳本，將SOLO轉換成需要的數據格式。或者再簡單一點，用pysolotools自帶的轉換器把數據轉換成COCO等流行格式。

最后，創造出的數據需要經過真人驗證。pysolotools-fiftyone是Voxel Fiftyone查看器的整合功能，因此能讓你直接檢查SOLO數據集。

本文轉自Unity博客~