Intel podkręcił grafikę GTA V dzięki uczeniu maszynowemu. Projekt pozwala na niesamowity fotorealizm

Naukowcy z laboratoriów Intela pracują nad zwiększeniem realizmu obrazów syntetycznych. Stephan R. Richter, Hassan Abu Alhaija i Vladlen Kolten opublikowali efekty swoich prac w formie artykułu oraz załączyli film demonstracyjny przedstawiający w akcji nową technikę opartą na uczeniu maszynowym - zmieniając świetną, ale oczywiście syntetyczną grafikę w GTA V na obrazy znacznie bardziej realistyczne i fotorealistyczne. Nowa metoda renderowania ML (machine learning) jest opisywana jako ulepszenie grafiki w grze poprzez wykorzystanie sieci konwolucyjnej, która została przeszkolona na zestawie danych "Cityscapes". 

Czy tak wygląda przyszłość gier? Nie da się ukryć, że fotorealistyczne GTA V prezentuje się świetnie, choć póki co ulepszenia nie dotyczą (jeszcze) ludzi.

Wyniki dają zupełnie inne doświadczenie, zbliżone do prawdziwego świata. Jednakże wyjaśniono, że dane, którymi karmiono sieć neuronową, nie pochodzą z jazdy po południowej Kalifornii, ale głównie z jazdy po miastach w Niemczech z kamerą samochodową. Niezamierzonym efektem ubocznym korzystania z niemieckich danych jest to, że krajobrazy w San Andreas stają się bardziej zielone, a drogi gładsze. Inne efekty, takie jak cieniowanie i oświetlenie samochodów i budynków, wyglądają świetnie, ale brakuje nieco słonecznego klimatu Kalifornii.

Naukowcy opublikowali diagram przedstawiający proces, przez który przechodzi każda klatka w celu zastosowania nowego procesu "Intel Photorealism Enhancement". Bardzo ważną częścią tego przepływu jest użycie i analiza buforów renderowania gier zwanych "buforami G", które pomagają ML w pracy poprzez kategoryzację. Te bufory ujawniają dane, takie jak odległość obiektu od kamery, materiały sceny, położenie światła i identyfikatory obiektów - dzięki czemu drzewa w scenie będą traktowane i ulepszane inaczej niż samochody. Naukowcy Intela dowiedzieli się wiele o optymalizacji tego typu ulepszania fotorealizmu w procesie wdrażania go w GTA V, co pomogło im udoskonalić tę technikę ML, a także zaproponować nową strategię próbkowania poprawek obrazu podczas szkolenia sieci i wprowadzić wiele ulepszeń architektonicznych w głębokich modułach sieciowych używanych do wzmocnienia fotorealizmu. Jeśli chcecie sami pobawić siew ulepszanie grafiki, to cały projekt jest dostępny na GitHub.