Unity：通過計算機視覺開啟智能家居時代

要訓練計算機視覺識別住宅內部裝修是一項非常復雜的任務。若想要訓練數據具備一定的多樣性和準確性，那么則必然需要耗費大量的成本、時間，有時甚至還會涉及隱私問題。在本篇文章中我們將就如何通過Unity的合成數據生成工具和服務，訓練出更為強大的計算機視覺應用，從而解決開發障礙與難題進行深入探討。

在開發高性能計算機視覺（Computer Vision，簡稱CV）模型時，最難點往往是需要獲取足夠多樣、標注準確的數據集。而最近興起的合成數據可以最小化數據獲取、注釋所需的時間與成本，這也使合成數據成為了數據收集問題的一種較為可行的解決方案。

Unity一直是合成數據推廣的引領者。對于各個專業的合成數據技術Unity也都十分有經驗，其中一個重要行業便是家裝。

合成的家裝數據可用于智能家居、防火防盜、生活輔助、醫療保健、寵物與嬰兒監控、室內設計等各種應用。

在開發家居應用時，獲取真實的標注數據常常會因為隱私問題而受到阻礙。除此之外，數據集在材料、顏色、光照和家具等組成要素上要求有一定的多樣性，讓數據進一步復雜化。

為了解決這些難題，滿足客戶需求，Unity已在開發用于生成逼真家居環境的工具和3D內容庫。借助程序化方法，能夠實現在數據集中擺放家具，在諸如鏡頭位置、家具材料、光照、時間變化、天空和室外環境等組成上添加隨機元素，除此之外Unity還添加了自定義對象的支持。下圖展示了其中四種元素的隨機化。

其他參數不變，四種場景組成的隨機化

Home Interiors數據集是用工具生成的一個數據樣本。這個數據集包含以用途與實例劃分的圖像（分別標注為家具、裝飾、墻壁、天花板和地板），家具皆以2D或3D邊框框選。相較于參考數據稀少的訓練數據，帶有更多標簽類型的數據可以大幅拓寬CV的應用范圍。

接下來我們來了解幾個家居應用案例。Unity在這些案例中幫助客戶克服了獲取真實數據集的難題。

Home Interiors數據集所包括的四種參考數據。左上：2D選框，左下：3D選框，右上：用途劃分，右下：實例劃分

智能化家居

在自動化家居和生活輔助等應用上，計算機視覺技術有著極大的吸引力。在應用領域，傳統的傳感器陣列也正在轉向以CV驅動的攝像機，從而更加高效的執行任務。

掃地機器人就是一個很好的例子。掃地機器人自發明以來已近30年，而傳統型號的主要缺點之一是無法分辨垃圾和其他物體，并且很難穿梭于障礙物過多的空間里。如今我們可以借助Unity的力量針對這些缺點為其制定相應的解決方案。例如，Unity的物理引擎可以逼真地模擬出帶有隨機褶皺和折痕的織物，以此用于訓練掃地機器人識別并避開衣物。

智能掃地機器人的視角模擬。左圖：2D選框，右圖：用途劃分

利用合成數據改善CV模型的另一個用例是智能攝像機。智能攝像機的作用是檢測房間里是否有人，以便控制和調整照明、氣溫等房間環境情況。Unity的工具同樣發揮了重要作用。其中的一個例子便是訓練相機模型識別寵物。要想識別寵物，就需要在居家環境下獲取大量不同姿勢、動作、毛色等的寵物圖像。作為一個游戲引擎，Unity完全可以借助包括骨骼動畫、動態模糊等效果生成高度逼真的圖像。

并且，Unity還可以合成不同位置與視角、透視投影、長寬比、鏡頭扭曲和其他圖像屬性（對比度、飽和度等）等符合真實攝像機特征的數據。例如在一個合成環境里，引擎可以輕松模擬夜視攝像機及普通RGB攝像機。此外，Unity所具有的使合成數據快速迭代的這一特點也能讓兩種攝像機間的切換非常輕松。??

模擬一臺帶有魚眼鏡頭的夜視攝像機。左圖：2D選框，右圖：用途劃分

安全與防盜

CV另一個占據主導地位的領域在于以醫療保健和生活輔助技術改善家庭安全與生活質量。

比如，為了需要幫助視力障礙者安全地在屋內行走，CV模型需要全面地了解房屋的布局及物品擺放。模型需要通過檢測家具、墻壁、樓梯和門等元素來識別出安全路線，并且需要測量出墻壁及其他障礙物的距離，在用戶靠得太近時發出警告。為了解決這個問題，在數據集中我們采用了多種單層和多層住宅布局，隨機化了家具的類型和擺放、門窗的開放程度。除了數據集的多樣性之外，這種復雜程度需要多種類型的基礎行為來訓練，包括分割、邊界框和深度圖等，這使得編制高度多樣化和準確標記的真實數據集更加困難。

同樣的家居場景也可用于訓練CV模型以用來檢測人類，我們可在模擬中加入3D人體模型，并隨機化其姿勢、身高、身材、頭發、皮膚等。這些CV模型可用于監測人的體態，并檢測異常的步態和靈巧度等。如果住戶在特殊位置或臥榻以外的地方跌倒或長時間不動，則系統也可以向應急服務機構發出警報。同樣地，CV模型還能學習人在服藥時的肢體和手臂動作，在用戶忘記服藥時發出提醒。

居家環境內的3D人體模型。左圖：2D選框，右圖：監測對象

室內設計

機器學習賦予了計算機一定的藝術創作能力，計算機室內設計便是其中的一個例子。一些在線家具經銷商已經在利用智能手機攝像頭于消費者家中展示其產品。經過訓練的CV模型可以識別和測量室內表面（包括地板、桌子、墻壁）的范圍和面積，以在空間內準確地展示產品模型。

此外借助CV強化AR的例子還有很多。比如，Unity曾使用用戶上傳的圖片來訓練CV模型檢測室內的裝修材料和設計風格。此類模型可用于在線推薦系統，幫助用戶快速找到契合自家裝修的產品。Unity模擬真實物理的渲染引擎可以渲染出多種逼真的裝修材料（如各種木材和膠合板）。并且，前邊提到的隨機化工具還能在每張生成的圖像中輕松修改材料的各種參數。

CV模型還可以檢測室內家具的總體形狀和尺寸，據此來推薦家具，或更準確地展示類似尺寸的家具。類似地，我們也能制作一個配色工具，為家具配置各種顏色，如果消費者決定要為裝修風格重新定調，可借助工具來挑選想要的顏色。

更多應用

我們在本文中討論的CV應用只是滄海一粟，合成數據完全可以在更廣的領域內進一步釋放CV模型的潛力。除了文中的例子外，其它一些例子還包括老建筑翻新（繪制精確的內部結構圖）、位置識別及合成環境的程序化生成。合成數據集具有極大的定制自由，其應用范圍只有你想不到。本文的主題是家居裝修，但程序化的合成數據工具完全可以生成大量帶有隨機化要素的環境。