September 10, 2024
李飛飛團隊再造黑科技，機器人自學家務樣樣精通
倒茶、摺衣服、整理書籍、丟垃圾，現在的家事機器人工作真是越來越熟練了。
熟練家務的背後，是李飛飛團隊琢磨出來的新方法。他們把任務動作拆解後標記出幾個關鍵點，再給具體規則讓機器人知道這些點之間有什麼聯繫，要怎麼操作比較好。除此之外，機器人還能自主學習，越練越厲害。
以倒茶為例，機器人會先用攝影機確定茶杯茶壺等的位置、形狀等要素，再辨識出關鍵點，例如茶杯的中心點和把手的中心點，ReKep會為機器人寫出一系列規則，告訴它要用什麼角度、怎麼拿怎麼傾倒、用多大力氣等，機器人只要按照規則行動就能成功倒茶了。
不得不說，這麼簡單的動作想讓機器人做好是真的太難了。要是沒有ReKep技術，想看到機器人熟練地幹各種家務活還不知道要等到猴年馬月。
畢竟今年3月時，李飛飛團隊的家事機器人只會擦桌子、切水果；半年後的今天，就已經進化成全能選手了。
目前，李飛飛團隊關於ReKep技術的論文已在arXiv公開，程式碼也已開源。
論文概述
研究問題和動機
李飛飛團隊旨在解決與機器人操作任務相關的挑戰，這些任務涉及多個空間關係和時間依賴階段，需要對複雜的空間和時間關係進行編碼。
他們希望開發一個廣泛適用的框架，能夠適應需要多階段、野外環境、雙手操作和反應行為的任務，透過基礎模型的進展在獲取約束方面具有可擴展性，並能夠即時優化以產生複雜的操作行為。
難點與挑戰
現有的使用剛體變換表示操作任務約束的方法缺乏幾何細節，要求預先定義的物件模型，並且無法處理可變形物件。
在視覺空間中直接學習限制的資料驅動方法也在收集訓練資料時面臨挑戰，因為約束的數量在物體和任務方面呈現組合成長。
技術創新
李飛飛團隊提出了一種名為關係關鍵點約束（ReKep）的方法，用於機器人操作。
ReKep將操作任務編碼為約束，連接機器人與其環境，而無需手動標註。此方法利用Python函數將一組語意上有意義的三維關鍵點映射為數值成本，從而能夠表示複雜的空間和時間關係。
該框架旨在透過大型視覺模型和視覺-語言模型自動產生約束，實現從自然語言指令和RGB-D觀測中高效地指定任務。
他們還提出了一種演算法實例，可以即時有效地解決最佳化問題。
真實實驗
實驗涉及多個任務，包括倒茶、回收罐、整理書籍、打包盒子、摺疊衣物、裝鞋盒和協作摺疊等。這些任務被設計來測試系統在不同方面的表現，如空間和時間依賴性、對環境的適應性、雙手協調和與人類的互動。
https://technews.tw/2024/09/10/li-feifeis-team-recreates-black-technology/
