NVIDIA opracowała technologię Audio2Face do automatycznej synchronizacji audio z ruchem warg

NVIDIA od dłuższego czasu coraz mocniej stawia na sztuczną inteligencję, którą wykorzystują choćby jej karty graficzne wyposażone w rdzenie Tensor. Teraz producent pochwalił się kolejnym ciekawym wykorzystaniem tej technologii, tym razem w warstwie audio. 

Tworzenie gier to niezwykle czasochłonny i kosztowny proces, a budżety na grafikę i animacje często pochłaniają sporą część rezerw gotówkowych zespołów. W szczególności jeśli producent celuje w wiarygodną animację twarzy, która ma kluczowe znaczenie w przypadku tytułów z przerywnikami filmowymi (ale nie tylko). Dlatego NVIDIA postanowiła pomóc deweloperom i pracuje nad narzędziem opartym na sztucznej inteligencji, które może odczytywać pliki audio i tworzyć pasujące animacje twarzy w czasie rzeczywistym. Tym samym nie będzie wymagany motion-capture twarzy w takich przypadkach. 

NVIDIA postanowiła pomóc deweloperom i pracuje nad narzędziem opartym na sztucznej inteligencji, które może odczytywać pliki audio i tworzyć pasujące animacje twarzy w czasie rzeczywistym.

Ta technologia o nazwie „Audio2Face” znajduje się od kilku miesięcy w wersji beta. Dotychczas jednak nie zwróciła na siebie uwagi, pomimo potencjalnie rewolucyjnych zastosowań dla twórców gier (lub po prostu animatorów jako całości). Jak można się spodziewać po każdej technologii, która jest zarówno zasilana przez sztuczną inteligencję, jak i wciąż w wersji beta, Audio2Face nie jest doskonałe. Jakość dźwięku źródłowego w dużym stopniu wpłynie na jakość synchronizacji ust, a rejestrowanie emocji na twarzy wciąż pozostawia sporo do życzenia, ponieważ oczy, policzki, uszy i nos pozostają dość statyczne. Jest tu trochę ruchu, ale generalnie jest bardziej stonowany niż animacje ust, na których wyraźnie się skupiono.

Przekazywanie dokładnych emocji w obliczu postaci 3D jest jednak tym, do czego animatorzy trenują przez lata. W zależności od tego, jak łatwe jest zaimplementowanie tego narzędzia w pracy danego programisty, Audio2Face może zapewniać użyteczne, być może zastępcze animacje z synchronizacją ust, jednocześnie pozwalając animatorom skupić się na innych częściach twarzy postaci.

Zapewne część z Was pamięta, że CD Projekt Red wykorzystało podobną technologię o nazwie „JALI” w Cyberpunk 2077. Posłużono się tu sztuczną inteligencją do automatycznej synchronizacji warg we wszystkich głównych obsługiwanych językach gry (zarówno z napisami, jak i głosem), zdejmując ciężar z samych animatorów. Audio2Face nie ma takiej możliwości, o ile wiemy, ale nadal wygląda na użyteczne rozwiązanie. Otwarta beta jest dostępna do pobrania, ale pamiętajcie, że wymaga karty graficznej RTX, aby działała poprawnie.

Zobacz także:

• Facebook ma problem. Znak towarowy "Meta" posiada sklep komputerowy
• Kryptowaluta Squid Game to był scam. Twórcy zapadli się pod ziemię, kradnąc ponad 2 mln dolarów
• Intel Core i9-12900K nawet o 36% szybszy w trybie Maximum Turbo Power