OpenAI wyszkoliło sztuczną inteligencję za pomocą 70 tys. godzin wideo z rozgrywki w Minecraft

Minecraft odegrać ma istotną rolę w zaawansowanych badaniach nad sztuczną inteligencją. Dobrze wyszkolony bot w grze wydanej ponad dekadę temu ma większe znaczenie dla rozwoju AI, niż większość ludzi może przypuszczać.

OpenAI zawsze koncentrowało się na postępach w zakresie sztucznej inteligencji (AI) i uczenia maszynowego, które przynoszą korzyści ludzkości. Niedawno firma z powodzeniem wyszkoliła bota do gry w Minecrafta, korzystając z ponad 70 000 godzin filmów z rozgrywki. Wbrew temu, co może się wydawać, ma to zdecydowanie większe znaczenie niż tylko wyszkolenie kolejnego bota grającego w grę. Oznacza to ogromny krok naprzód w zaawansowanym uczeniu maszynowym wykorzystującym obserwację i naśladownictwo.

OpenAI wykorzystało dostępne filmy i samouczki z rozgrywki, aby nauczyć swojego bota wykonywania złożonych sekwencji w grze Minecraft.

Bot OpenAI jest doskonałym przykładem imitacji uczenia się (nazywanego też „uczeniem nadzorowanym”) w działaniu. W przeciwieństwie do uczenia się przez wzmacnianie, w którym podmiot uczący się jest nagradzany po osiągnięciu celu metodą prób i błędów, uczenie imitacyjne trenuje sieci neuronowe do wykonywania określonych zadań, obserwując, jak ludzie je wykonują. W tym przypadku OpenAI wykorzystało dostępne filmy i samouczki z rozgrywki, aby nauczyć swojego bota wykonywania złożonych sekwencji w grze, których wykonanie wymagałoby od typowego gracza około 24 000 pojedynczych działań.

Uczenie się przez imitację wymaga odpowiedniego oznaczenia wideo, aby zapewnić kontekst działania i obserwowany wynik. Niestety, takie podejście może być bardzo pracochłonne, co skutkuje ograniczonymi dostępnymi zbiorami danych. Ten niedobór dostępnych zestawów danych ogranicza zaś z kolei zdolność sztucznej inteligencji do uczenia się poprzez obserwację.

Zamiast męczyć się z obszernym ręcznym tagowaniem danych, zespół badawczy OpenAI zastosował specyficzne podejście, znane jako Video Pre-Training (VPT), ​​aby znacznie zwiększyć liczbę dostępnych oznaczonych filmów. Badacze początkowo zarejestrowali 2000 godzin gry Minecraft z adnotacjami i wykorzystali ją do wyszkolenia agenta w kojarzeniu określonych działań z określonymi wynikami na ekranie. Powstały model został następnie wykorzystany do automatycznego generowania oznaczeń dla 70 000 godzin wcześniej nieoznaczonych treści w Minecraft, które były łatwo dostępne online, zapewniając botowi znacznie większy zestaw danych do przeglądania i naśladowania.

Całe ćwiczenie dowodzi potencjalnej wartości dostępnych repozytoriów wideo, takich jak YouTube, jako zasobów szkoleniowych AI. Naukowcy zajmujący się uczeniem maszynowym mogliby wykorzystywać dostępne i odpowiednio oznaczone filmy do szkolenia sztucznej inteligencji w wykonywaniu określonych zadań, od prostej nawigacji w sieci po pomoc użytkownikom w rzeczywistych potrzebach fizycznych.