構建計算機視覺系統的綜合數據是從真實數據的轉變而來。雖然真實世界的數據需要漫長的收集和注釋過程，但機器學習（ML）工程師可以在幾分鐘內構建一個合成數據集，從而實現快速的、以數據為中心的開發周期。此過程速度很快，因此用戶可以一次嘗試許多數據集變體，以找到經過最佳改進的模型。

目前關于數據的來源仍然是一項挑戰。用戶需要的往往不是成千上萬張的圖像與注釋，而是數十或數百個三維模型，如網格、紋理和動畫等。雖然合成數據降低了對內容的要求，但根據這些資產的3D特性也需要在創建它們時擁有十足的創造性。

幸運的是，四十多年來，電影和電子游戲行業都面臨著同樣的內容挑戰。在那段時間里，他們開發了新的內容創建技術以及龐大的內容存儲庫，其中大部分已經非常適合進行合成數據生成。

本文將介紹獲取3D內容的最佳方式以及各種方式的優缺點，他們適合不同類型的計算機視覺應用。

在線3D資產

獲取3D內容最快、最便宜的方法是利用在線的方式下載現有的作品資產。Unity資產商店提供由3D藝術家創作的免費和付費內容，這些內容能夠應用于游戲、電影和其他3D應用程序。

Unity資產商店“椅子”的搜索結果

這些在線資產通常以“包”的形式出現，包括各種3D模型、紋理變化、材質和動畫等。這些資產可以在數據集生成期間隨機化，并能夠在每個對象上創建幾乎無限的變化。通過下載不同風格的資產進一步增加了數據的廣度，能夠有效減少模型中的偏差和過度擬合。

當任務需要檢測諸如“椅子”或“貓”之類的廣泛類別的對象時，在線資產源就變成了一個很好的數據來源，這些對象需要各種各樣的內容來支持。為了實現模型概括所需的多樣性，用戶需要在每個相關軸上尋找變化，包括形狀、材質、顏色和姿勢等。

即使像卡通或紋理和顏色，這樣非真實感的資源也可以在模型中得到更好的概括。在最近的一個項目中，將Unity Asset Store中的一小部分高度逼真的資產轉換成為廣泛的3D模型和紋理，這大大提高了模型的性能。

掃描

用于檢測特定物體或制成品的合成數據集需要真實世界物體的精確3D模型，這些模型在網上很難找到。通過3D掃描，用戶可以自己獨立創建這些資產。

SynthDet的資產是使用平板掃描儀和3D建模創建的。

這一系列資產是用3D掃描技術生成的，每種技術都適用于不同類型的對象、質量水平和預算。下面讓我們來看看這些案例吧：

攝影測量：攝影測量工具，如Agisoft變形和Unity的增強現實伴侶應用通過從一組從不同角度拍攝的照片合成一個3D對象。

優點：適合對任何尺寸或形狀的物體捕捉紋理和細節

缺點：對光照條件和物體顏色敏感

平板掃描儀和三維建模：平板掃描儀可用于掃描盒狀對象的不同側面，然后組合成紋理，并使用標準3D創作工具映射到手動創作的3D網格上。

優點：便宜、高精度的紋理

缺點：僅適用于可展平的對象；需要一些手工創作

工業3D掃描儀：使用激光或結構光進行三維掃描。這種方法非常適合檢測機械零件和復雜的電子設備。

優點：能夠對大多數高幾何度物體進行精確的掃描；快速

缺點：昂貴；對象大小有限

程序性內容

掃描對象和在線3D資產通常是真實對象的快照，另一種不斷增長的內容形式被稱為程序資產，它使用基于規則的算法來產生無限的變化。每個程序資產都提供了參數，這些參數能夠定制它們的外觀和形狀。這對于合成數據來說是完美的功能，其中每個參數都可以被隨機化以實現極大的多樣性。用戶可以反復調整隨機化，以提高模型性能。

真實資產多種多樣，過程資產通常會隨著真實資產變化而改變。道路、人臉、布料和混凝土等材料都是很好的例子。磨損、年齡、形狀和顏色等相關因素可以內置為隨機化算法的參數。Unity著色器圖形、Adobe Substance 3D和Houdini是構建程序資產的靈活工具，Unity資產商店為特定類型的內容提供了幾種程序工具。

EasyRoads3D可以在Unity中構建程序性道路。

程序技術也為合成數據的環境生成提供了動力。環境生成器的范圍從非結構化和高度隨機到復雜的分層系統，用于生成逼真的場景。Unity的API能夠幫助用戶編寫程序場景生成器；Houdini 則常用于需要更多結構的場景。

開始使用合成數據

游戲和電影行業提供了豐富的動態3D內容，讓用戶可以快速使用擁有合成數據的項目，并開始快速迭代數據。通過使用 Unity Perception package，用戶可以導入這些資產，將它們進行隨機化，并非?？焖俚厣筛叨榷鄻踊臄祿?/p>