我們都同意，人類擅長手工任務，理想情況下，機器人應該在這些功能上超越我們。有時，我們因為更靈巧而占優勢，而在其他情況下，我們可以執行機器人理論上應該能夠完成的任務。

隨著機器人技術的進步，我們的目標是有效地將人類的技能轉移到機器人上。

讓我們探索一些如何實現這一目標的方法

首先，存在“直接編程”方法。這意味著：讓熟練的人細致地描述一項任務，以至于可以編寫簡單的腳本或復雜的算法來指導機器人完成任務。當任務定義明確且具體時，這種方法非常好而且非常有效，這在工業自動化中經常發生。然而，復雜性可能會迅速升級，使其具有挑戰性。因此，如果這種方法成功了，那就太好了——但如果不成功，我們必須思考——我們可以采用什么替代策略？

其次，可以考慮的另一種方法是“演示編程”。這種方法涉及指導機器人執行任務。通過為機器人配備先進的力傳感功能和視覺算法，這種技術可以證明是非常有效的。然而，必須注意的是，它的有效性依賴于機器人的能力。通常，機器人配備的是基本的抓手，而不是熟練、靈巧的手，這會限制它們可以執行的任務的復雜性。

好的，那么我們如何才能有效地記錄人類的動作以供機器人模仿呢？

理想情況下，我們會指導人類完成任務，詳細記錄下來，然后將其重播給機器人。我們甚至可以考慮將這些信息輸入機器學習系統，使其能夠從我們的人類指導演示中學習?；蛘?，至少，我們可以分析這些人類活動，將它們分解成更簡單的部分，并利用這些信息開發更高效的算法，就像在錄音室中解構一首歌曲一樣。

好的，那么，拍攝執行任務的人并使用“機器視覺”來追蹤他們正在做的事情怎么樣？

這當然是一個很好的起點。這種方法提供了對人類行為細微差別的寶貴見解——例如換手時刻、物體握持技巧和工具使用——但我們的經驗是，使用相機跟蹤人體運動非常困難。你需要清晰的視線，而且跟蹤手指和手的細微動作會遇到很多麻煩。即使是超先進的基于圖像的跟蹤系統，雖然能夠以最小的遮擋監控手部，但無法一致地跟蹤所有關節運動。因此，生成的數據往往有些不一致和嘈雜。

好吧，那么使用動作捕捉怎么樣？

動作捕捉系統通常用于電影制作和體育科學，其工作原理是將可見的標記物貼在個體身上，例如白點等被動元件或脈沖LED等主動元件。這種方法無疑有助于提高跟蹤的準確性。但是，它并不能完全克服前面提到的與遮擋相關的問題。此外，將光學系統校準到誤差小于幾毫米的范圍內是相當具有挑戰性的——這意味著，如果任務涉及復雜的動作，例如在手指間轉動筆，它很可能會錯過很多。?

好的。我需要它準確，那么我的最佳選擇是什么？

為了精確跟蹤人體運動，最好的辦法是使用緊身運動跟蹤手套。這種手套可以結合多種技術來實現這一壯舉，有些甚至提供額外的功能來協助操作員（有些則使操作員的操作更加困難）。例如，有些手套可以傳遞重量、觸覺或硬度的感覺，所有這些功能都歸類為“觸覺”。觸覺的范圍很廣，包括從向手指傳輸信號的超聲波設備、電皮膚刺激、振動壓電元件到充氣氣球、微型電機或線性致動器等各種技術。

測量人體手部運動的手套可以利用以下方法：

• 安裝在關節周圍并追蹤關節特定運動的傳感器
• 從手指的一端到另一端的機械連桿，跟蹤手指的整個運動
• 慣性傳感器（加速度計、陀螺儀和可能的磁力計的巧妙組合）佩戴在手上的各個位置，用于跟蹤運動
• 無線測量傳感器檢測手指相對于手上某處佩戴的源的位置。
• 相機將視線從手上移開，并追蹤世界的運動。（我不確定我是否見過有人使用這個，但我確信這是可能的）

即使如此，這些技術也存在多種變體。例如，一些傳感器測量手套的彎曲度，將其與關節運動相關聯。其他類型的傳感器會拉伸并跟蹤其自身的變形以測量距離。有時，機械連桿會放置在各個關節上，以進行精確的運動跟蹤。?

每一種方法都提供了捕捉和解釋人體運動的獨特方法

我們的經驗：

根據我們豐富的經驗，我們發現準確測量人手的機械特性可能具有挑戰性，因為它經常會導致嚴重的誤差。測量傳感器的放置至關重要，不幸的是，滑動的可能性很高——手套和類似設備往往會過度移動，使數據收集變得復雜。將測量結果與手指關節軸（尤其是拇指）的實際旋轉聯系起來是另一項艱巨的任務！

機械連桿雖然很有價值，但很快就會變得笨重。它們還可能使操作員感到不適，以至于無法完成任務（太重、太硬等）。慣性傳感器是一種可行的選擇；然而，（再次）防止它們漂移通常很困難，而且它們提供的精度水平通常達不到我們的需求

我們發現無線測量傳感器，尤其是來自Polhemus的傳感器，為我們提供了出色的結果。這些傳感器包括一個戴在手掌上的發射源和位于指尖的接收器，為我們提供高質量的手部運動跟蹤數據。然而，在更廣闊的三維空間中定位手部仍然是一個挑戰。對于這一點，我們發現HTC Vive是一個出色的解決方案，因此您經常會在演示中看到Vive跟蹤器。

現在，我們想要準確地知道將機械手放在哪里，這與準確知道人手的位置并不完全相同。我們必須從人手獲取數據并將其映射到機械手上。這是一個運動學挑戰——人類的運動和機器人的運動并不完全一致，我們需要將兩者相互轉換。將人類數據映射到機械手的最佳方法取決于具體應用。例如，如果您需要實時控制機器人的手，那么直接映射可能是最佳選擇。如果您只對控制機器人的手進行離線分析感興趣，那么逆運動學或混合映射可能是更可行的選擇。不用說，機器人越復雜，這項任務就越有挑戰性。幸運的是，復雜的機器人是Shadow的專長！

因此，人類戴上一副手套，控制機器人完成任務。完成一些基本的訓練任務后，操作員就掌握了這個過程，而且做得相當好。我們可以從中學到什么呢？

我們可以精確監控發送給機器人的指令并重現它們。這在所有變量保持一致的受控環境中操作時非常理想——這種情況在質量保證實驗室的自動化環境中很常見。過去，我們采用這種技術來構建一個功能齊全的機器人廚房。雖然它允許您執行重復性任務，但它缺乏應對變化的能力。

我們可以捕獲和分析來自大量測試的數據，評估它們的一致性。如果結果大致相似，則可以直接應用。但是，如果結果差異很大，我們可以深入研究我們的算法工具箱，嘗試理解這些差異。這時，從機器人、力、觸覺和關節傳感器獲取廣泛的數據會有所幫助。問題出現了：我們能否利用視覺數據（例如對準工作區域的攝像頭）來辨別不同之處？為了有效，這些視覺數據需要與機器人傳感器數據同步，因此需要為所有數據流共享一個框架。

我們可以從多個測試中收集數據并通過“將其提供給人工智能”來使用 - 即用它來指導機器學習系統如何從類似的數據中復制類似的動作。

這可以通過多種方式實現。

我們可以在數據集上訓練傳統的學習模型，以便相似的輸入產生相似的輸出?；蛘?，如果我們有足夠的數據，我們可以使用變換器模型來生成動作。我們甚至可以將數據分解成更小的片段，并訓練網絡將這些片段組裝成正確的序列。

鑒于現代機器學習系統在生成文本、圖像、視頻甚至代碼方面令人印象深刻的能力，這種方法看起來非常有前景——而且這僅僅是一個開始！