Google szkoli swoje roboty dzięki Gemini AI, aby mogły lepiej nawigować i wykonywać zadania. Zespół robotyki DeepMind wyjaśnił w nowy artykuł badawczy jak używać Gemini 1.5 Projest długi okno kontekstowe — który określa, ile informacji może przetworzyć model sztucznej inteligencji — umożliwia użytkownikom łatwiejszą interakcję z nim Roboty R2-T dzięki instrukcji języka naturalnego.
Działa to poprzez filmowanie wycieczki wideo po wyznaczonym obszarze, takim jak dom lub biuro, przy czym badacze używają Gemini 1.5 Pro, aby robot „oglądał” wideo, aby dowiedzieć się czegoś o otoczeniu. Następnie robot może podejmować polecenia na podstawie tego, co zaobserwował, korzystając z danych wyjściowych werbalnych i/lub obrazowych — takich jak kierowanie użytkowników do gniazdka elektrycznego po pokazaniu im telefonu i zapytaniu „gdzie mogę go naładować?”. DeepMind twierdzi, iż jego robot zasilany Gemini osiągnął 90-procentowy wskaźnik sukcesu w ponad 50 instrukcjach użytkownika, które zostały podane na obszarze operacyjnym o powierzchni ponad 9000 stóp kwadratowych.
Badacze znaleźli również „wstępne dowody” na to, iż Gemini 1.5 Pro umożliwił swoim droidom planowanie, jak wypełniać instrukcje wykraczające poza samą nawigację. Na przykład, gdy użytkownik mający na biurku wiele puszek Coca-Coli pyta droida, czy jego ulubiony napój jest dostępny, zespół powiedział, iż Gemini „wie, iż robot powinien przejść do lodówki, sprawdzić, czy są tam Coca-Coli, a następnie wrócić do użytkownika, aby przekazać wynik”. DeepMind twierdzi, iż planuje zbadać te wyniki dalej.
Pokazy wideo udostępniane przez Google są imponujące, choć oczywiste cięcia po tym, jak droid potwierdza każde żądanie, ukrywają, iż przetwarzanie tych instrukcji zajmuje od 10 do 30 sekund, zgodnie z dokumentem badawczym. Może minąć trochę czasu, zanim zaczniemy dzielić nasze domy z bardziej zaawansowane roboty mapujące środowiskoale przynajmniej te mogą znaleźć nasze zgubione klucze lub portfele.
