PlayStation chce ulepszyć generowanie klatek. Będzie je przewidywać

Wydajność w grach uzależniona jest od sprzętu, ale Sony pracuje nad rozwiązaniem, które ma zwiększyć płynność w grach bez konieczności inwestowania w mocny układ graficzny. Firma złożyła patent, w którym opisano mechanizm AI przewidujący kolejną klatkę obrazu, zanim sprzęt zakończy jej renderowanie.

Technologia opisana w patencie Sony ograniczy przycięcia animacji, a jednocześnie uniknie dodatkowych opóźnień charakterystycznych dla niektórych metod generowania klatek.

AI przewidzi obraz na podstawie poprzedniej klatki

Opisany system wykorzystuje ostatnią wyrenderowaną klatkę do przewidzenia następnej. Sztuczna inteligencja może dodatkowo analizować wektory ruchu oraz ostatnie działania gracza zarejestrowane przez kontroler.

Sony patentuje rozwiązanie AI, które będzie przewidywać kolejne klatki w grach, co powinno poprawić wydajność w grach.

Dzięki temu algorytm otrzymuje informacje o kierunku poruszania się obiektów i wykonywanych czynnościach. Przewidywany obraz trafia do bufora wyświetlania, podczas gdy układ graficzny nadal renderuje właściwą klatkę.

W porównaniu z metodami interpolacji wymagającymi dwóch gotowych klatek rozwiązanie Sony nie musi czekać na wyrenderowanie kolejnego obrazu, zanim wygeneruje dodatkowy. To właśnie to ma ograniczyć opóźnienia i pomóc utrzymać bardziej równomierne wyświetlanie klatek.

Jak działa technologia Sony?

Podstawą systemu jest wspólnie trenowany enkoder i dekoder. Pierwszy przekształca obraz w zwartą reprezentację numeryczną, a drugi wykorzystuje ją do wygenerowania przewidywanej klatki.

Podczas treningu sieć otrzymuje kolejne klatki. Początkowo jej parametry są losowe, a algorytm stopniowo uczy się przewidywać następny obraz. Wygenerowana klatka jest porównywana z rzeczywistą, a błąd predykcji służy do poprawiania modelu.

Proces nie wymaga ręcznego oznaczania materiałów treningowych. Dekoder może ponadto generować kilka przewidywanych klatek jednocześnie, wykorzystując większą liczbę kanałów wyjściowych. Sony opisuje także alternatywną metodę bez AI, polegającą na przesuwaniu bloków pikseli zgodnie z kierunkiem ich ruchu.

Rozwiązanie to ma pomóc w sytuacji, gdy układ graficzny nie nadążą z renderowaniem klatek, co może prowadzić do spadku płynności w grach. Dzięki temu narzędziu ów problem zostanie wyeliminowany. Warto pamiętać, iż to jedynie patent, a nie gotowa technologia, więc nie ma pewności czy w ogóle i kiedy trafi do gier.