KotiUutisetRobotit saavat koulutusta siirtyäkseen videoiden katselusta

Robotit saavat koulutusta siirtyäkseen videoiden katselusta

Työkalu-liitäntä, kaksikamera, vain video-menetelmä, joka opettaa robotit työkalujen käytön, korkealla keskimääräisellä onnistumisasteella ja vähentää tiedonkeruuaikaa.



Illinoisin yliopiston tutkimusryhmä yhteistyössä Columbian yliopiston ja UT Austinin kanssa on julkistanut puitteet, jotka kouluttavat robotteja käyttämään työkaluja oppimalla suoraan tavallisista ihmisvideoista.Menetelmä raportoi korkeamman onnistumisasteen tiettyjen tehtävien ja nopeamman tiedonkeruun suorittamisessa kuin teleoperaatiopohjaiset perusviivat osoittaen dynaamisten taitojen opettamisen halvemmalla reittillä.

Lähestymistapa, jota kutsutaan työkaluksi, robotti oppii tiedoista, jotka kerätään kaksi RGB-kameranäkymää tehtävästä.3D -rekonstruktiomalli (Mast3R) rakentaa kohtauksen geometriaa;3D Gaussin roiskema syntetisoi ylimääräisiä näkymiä kestävyyden parantamiseksi.

Todellinen taikuus tapahtuu, kun ihmiset poistavat videosta.Maadoitettuun-SAM: lla avoimen objektinilmaisin yhdistää segmentin minkä tahansa mallin (SAM) kanssa.Järjestelmä seuraa vain työkalua ja sen vuorovaikutusta kohtauksen kanssa, jättäen siitä ihmisen huomiotta.

Järjestelmä arvioi sitten työkalun 6-DOF, 6-asteen jäljitellä ja oppii työkalukeskeisen politiikan, joka linkittää ristikkäin.

Joukkue validoi viiden tehtävien kehyksen, jotka vaativat nopeutta tai tarkkuutta: kynsien lyöminen, lihapallon kauhaaminen, ruoan kääntäminen pannulla, viinipullon tasapainottaminen ja jalkapallon potkiminen maaliin.Näissä tehtävissä menetelmällä saavutettiin 71% korkeampi keskimääräinen onnistumisaste kuin teleoperaatiotiedoissa koulutetut diffuusiokäytännöt ja lyhentäneet tiedonkeruuaikaa 77%.Jotkut tehtävät ratkaistiin vain tällä kehyksellä ilmoitetuissa testeissä.

Tietoputkilinja käyttää hyödykekameroita, eikä se vaadi robottipuolen operaattoreita tai liikkeen sieppauslaitteita.Tämä vähentää asennuksen monimutkaisuutta ja voi skaalata laboratorion ulkopuolelle tallennettuihin demonstraatioihin.

Rajoitukset ovat edelleen.Nykyinen järjestelmä olettaa jäykän työkalun, joka on kiinnitetty tarttujaan ja voi kärsiä pose-estimointivirheistä;Uudenäkymän synteesi voi heikentyä suurissa näkökulman muutoksissa.Nämä rajoitukset ohjaavat seuraavaa tekniikan kohteita.