Naukowcy testowali modele sztucznej inteligencji, pozwalając im sterować Toyotą Corollą na powolnej trasie parkingowej. Większość modeli zawodziła w okolicach pierwszego zakrętu, nawet gdy badacze pozwolili im przeanalizować błędy i spróbować ponownie. GPT-6 Astra był jedynym modelem, który dotarł na miejsce, pokonując trasę za drugim razem.
W nowym teście porównawczym naukowcy przekazali modelom sztucznej inteligencji kontrolę nad Toyotą Corollą, aby sprawdzić ich zdolność do radzenia sobie z wyzwaniami jazdy w świecie rzeczywistym. W teście o nazwie DrivingBench wykorzystano Toyotę Corollę z 2022 roku, wyposażoną w system Comma 4 i oprogramowanie OpenPilot. Modele otrzymały 3 narzędzia MCP: jedno do podglądu obrazu z kamery i danych telemetrycznych samochodu, jedno do sterowania układem kierowniczym i prędkością oraz kolejne do zatrzymywania samochodu. Podczas testów za kierownicą siedział operator z nogą na hamulcu.
Większość modeli poległa na pierwszym zakręcie
Trasa przebiegała przez duży parking i obejmowała proste odcinki, zakręty, skręty w lewo i w prawo oraz oznakowaną metę. Aby utrzymać kontrolę nad testami, naukowcy ograniczyli prędkość samochodu do 0,5–3,5 metra na sekundę, czyli 1,8–12,6 km/h.
GPT-6 Astra jako jedyny pokonał całą trasę
GPT-6 Astra ukończył tor przy drugiej próbie w około 5 minut. Claude Fable 5.1 dotarł mniej więcej do połowy trasy przy trzeciej próbie, podczas gdy pozostałe modele nie zdołały pokonać nawet pierwszego zakrętu. W ramach testu sprawdzono również, czy modele potrafią wyciągać wnioski ze swoich błędów. Po każdej nieudanej próbie naukowcy dawali modelom szansę na refleksję przed kolejną próbą.
„Znowu wybrałem niewłaściwą stronę granicy. Ukośna linia stożków stanowiła lewą krawędź pasa ruchu, a nie prawą” – zastanawiał się Fable.
Grok odkrył również, że widok z kamery mógł sprawiać, że samochód wydawał się węższy niż w rzeczywistości. „Samochód jest szerszy, niż pokazuje to kamera” – stwierdził model po pierwszej próbie. „Prosto przed nami nie było wyraźnego pasa ruchu – wskazywał on na donicę, ścianę lub najbliższy czerwony stożek”.
Astra zmienił swoją strategię jazdy po pierwszym przejeździe, zwalniając na zakrętach i w pobliżu przeszkód. Podczas udanej drugiej próby utrzymywała prędkość poniżej 0,8 m/s i w dużym stopniu polegała na pełnych poleceniach kierowniczych.
AI musi nauczyć się świata fizycznego
W ramach benchmarku sprawdzano również, czy modele potrafią uczyć się na błędach. Po każdej nieudanej próbie badacze dawali modelom szansę na refleksję przed kolejną próbą. Naukowcy spodziewali się, że kurs będzie trudny i przyznali, że byli „zaskoczeni, że jakikolwiek model był w stanie go ukończyć”.
DrivingBench pokazuje problem, który staje się coraz ważniejszy wraz z rozwojem sztucznej inteligencji. Modele językowe świetnie radzą sobie z informacjami dostępnymi na ekranie, lecz sterowanie fizycznym urządzeniem wymaga znacznie więcej.
Samochód trzeba ustawić względem drogi, ocenić odległość od przeszkód, przewidzieć konsekwencje skrętu i odpowiednio dobrać prędkość. Nawet niewielki błąd w interpretacji obrazu może szybko zakończyć przejazd.
Spodobało Ci się? Podziel się ze znajomymi!
Pokaż / Dodaj komentarze do:
AI dostała trzy próby i Toyotę. Dla większości pierwszy zakręt był ostatnim