NVIDIA opracowała imponującą technikę slow-motion

Jednym z najgorętszych trendów fotograficznych na rynku mobilnym jest możliwość nagrywania filmów super slo-mo, jednak nawet najbardziej zaawansowane flagowe modele są mocno ograniczone długością nagrania, rozdzielczością czy liczbą kl./s.

Z drugiej strony stosowanie efektów zwolnienia czasu na wcześniej nagranych wideo przeważnie wiąże się z mało realistycznymi rezultatami i nienaturalnym ruchem, co wynika z mało umiejętnego wypełniania przez oprogramowanie przestrzeni pomiędzy zarejestrowanymi klatkami. NVIDIA zdaje się mieć rozwiązanie tego problemu, ponieważ wraz z naukowcami z uniwersytetów z Massachusets oaz Kalifornii udało jej się opracować technologię slow-motion, która zapewnia nawet płynniejszy obraz niż ten nagrywany specjalistycznymi szybkimi kamerami i to bez utraty jakości. W tym celu wykorzystano „sieć neuronową, która jest w stanie generować dowolną liczbę pośrednich klatek wideo, tworząc w ten sposób niezwykle płynny obraz slow-motion”.

NVIDII udało się opracować technologię slow-motion, która zapewniać ma nawet płynniejszy obraz niż ten nagrywany specjalistycznymi szybkimi kamerami i to bez utraty jakości

Wykorzystana tu technika nazwana została „Variable-Length Multi-Frame Interpolation” i bazuje na  maszynowym uczeniu do wypełniania luk pomiędzy klatkami. Co ciekawe, Jan Kautz z NVIDII przekonuje, że „możemy zwolnić wideo 8x lub 15x - nie ma tu górnego limitu”. Technologia ta korzysta z dwóch konwolucyjnych (splotowych) sieci neuronowych pracujących w tandemie. Pierwsza dokonuje szacunków optycznego ruchu do przodu i do tyłu pomiędzy klatkami, a następnie generuje coś, co twórcy określają mianem „flow field”, czyli wektor 2D przewidywanego ruchu umieszczany pomiędzy klatkami. Druga z kolei interpoluje optyczny ruch, redukując także artefakty powstałe wokół obiektów znajdujących się w ruchu. Rezultaty są naprawdę imponujące i możecie je podziwiać na powyższym wideo, a warto dodać, że rozwiązanie Zielonych może być wykorzystywane w nagraniach o płynności 30 kl./s. Trzeba jednak dodać, że NVIDIA posłużyła się tu układami graficznymi Tesla V100 oraz biblioteką programistyczną do maszynowego uczenia się PyTorch, akcelerowaną przez cuDNN. Tym samym nie należy się spodziewać szybkiej komercjalizacji tej technologii. Poza tym duża moc obliczeniowa potrzebna do jej realizacji sprawia, że nawet po komercjalizacji większość przetwarzania wykonywana ma być w chmurze.