Audio bez hałasów w tle. W tym zastosowaniu AI robi robotę

Wielu z nas z politowaniem patrzy na ogłoszenia o kolejnych "rewolucyjnych" zastosowaniach AI, bo wiele z tych rzeczy jest po prostu śmiechu warte, a ich praktyczna przydatność jest znikoma. Nie da się jednak zaprzeczyć, że istnieją przypadki gdzie AI sprawdza się doskonale i faktycznie zmieniło pracę na lepsze.

Mowa oczywiście o modyfikacji audio, a konkretnie w tym przypadku - odszumianiu i usuwaniu zbędnych hałasów tła. Akurat dziś mówimy o działaniu w czasie rzeczywistym, gdzie algorytmy AI w trakcie nagrywania / transmisji audio dbają o to, by czysty i wyraźny dźwięk dotarł do odbiorcy. Działa to oczywiście również w drugą stronę - jeśli dźwięk docierający do ciebie od nadawcy jest niewyraźny, zaszumiony i pełen hałasu tła, możesz za pomocą jednego kliknięcia go oczyścić i słuchać bez irytacji.

W jakich sytuacjach ma to zastosowanie? Oczywiście podczas rozmów wideo, nagrywaniu audio (choćby lektor na potrzeby filmu), czy streamowania na żywo. Jeśli masz ważne spotkanie online a zaskoczył cię sąsiad z wiertarką, to możesz śmiało je kontynuować, bo algorytmy "wytną" wszystkie niepotrzebne hałasy z tła, a do twojego odbiorcy dotrze tylko czysty i melodyjny dźwięk twojego głosu.

Usuwanie hałasów z tła za pomocą AI dla posiadaczy kart Radeon i GeForce

Jak to działa? Tego typu technologie korzystają z algorytmów uczenia maszynowego działających w czasie rzeczywistym - rozpoznają i tłumią szum tła, zostawiając głos możliwie czytelny. Model AI analizuje sygnał audio na bieżąco i próbuje oddzielić głos od dźwięków tła, takich jak rozmowy w tle, stukot klawiszy klawiatury, czy pracujący wentylator.

Najbardziej znaną taką technologią (i aplikacją) jest NVIDIA Broadcast dla posiadaczy kart GeForce RTX (wszystkie modele). AMD jednak posiada analogiczne rozwiązanie o nazwie Noise Suppression dla posiadaczy kart Radeon RX 6000 (lub lepszych - również iGPU zintegrowanych z APU Ryzen serii 6000 w górę). Jak na razie Intel nie ma odpowiednika takiej technologii dla kart Arc, chociaż na laptopach z intelowskimi podzespołami można się z nią spotkać, ale w postaci autorskich technologii producentów OEM - ciężko jednak powiedzieć czy korzystają one z algorytmów sztucznej inteligencji.

AMD Noise Suppression

Funkcja jest zintegrowana ze sterownikami Adrenalin i nie trzeba instalować żadnego dodatkowego oprogramowania.

W odróżnieniu od rozwiązania NVIDII, AMD Noise Supression może działać nie tylko na GPU, ale i CPU - od nas zależy którą opcję wybierzemy. Jak na razie nic nie wiadomo na temat możliwości wykorzystania NPU przez tę funkcję. Zaraz, skoro to działa na CPU, to nie da się tego uruchomić na procesorach Intela z zintegrowaną lub zewnętrzną grafiką Arc? Nie, bo to funkcja zaszyta w sterowniki Adrenalin, a to oprogramowanie zainstalujemy tylko na kartach Radeon. 

Po wyborze fizycznego urządzenia wejściowego i/lub wyjściowego, które ma korzystać z AMD Noise Suppression, pojawi się ono jako wirtualne urządzenie AMD Streaming Audio Device i będzie można je wybrać do nagrywania/odtwarzania (również w dowolnym programie). Nie ma tu żadnych dodatkowych ustawień - AMD Noise Supression możemy po prostu włączyć, lub wyłączyć.

NVIDIA Broadcast (RTX Voice)

Jeśli jesteśmy posiadaczami karty GeForce RTX 2060 lub lepszej, możemy ją zaprząc do takiego samego zadania, a w tym celu będziemy musieli pobrać aplikację NVIDIA Broadcast. Wypada tu zaznaczyć, że NVIDIA Broadcast umożliwia stosowanie efektów AI zarówno w przypadku do audio, jak i wideo, ale dziś skupimy się tylko na tych pierwszych. Broadcast daje nam dostęp do większej liczby opcji, jeśli chodzi o ulepszanie dźwięku. Jest tu zarówno funkcja Usuwanie szumu, jak i Usuwanie echa w pomieszczeniu, które możemy stosować wedle potrzeb. 

Po wyborze urządzenia wejściowego i/lub wyjściowego, które ma korzystać z tej technologii, pojawi się ono na liście sprzętu jako wirtualne urządzenie NVIDIA Broadcast.

To jednak nie wszystko - jeśli jesteś szczęśliwym właścicielem wydajniejszej karty GeForce RTX możesz również pobawić się opcją Głos studyjny / Voice Studio (aktualnie w wersji beta), która ulepsza dźwięk za pomocą rekonstrukcji akustycznej i zaawansowanego korektora dźwięku. A jakie to konkretnie wydajniejsze karty? NVIDIA pisze by sięgnąć po tę funkcję w przypadku posiadania co najmniej GeForce RTX 5070 lub RTX 4080, a więc w grę wchodzi tu już konkretna moc obliczeniowa.

Czy zastosowanie tych technologii ma negatywny wpływ na jakość dźwięku?

Mówiąc o samym odszumianiu, czy eliminacji echa - oczywiście że tak, bo to głęboka ingerencja w dźwięk. Należy spodziewać się zmniejszenia dynamiki audio, ale praktycznie ma to znaczenie wyłącznie przy nagrywaniu dźwięku w jakości studyjnej - przy rozmowach wideo, czy nagrywaniu audio na social media nie ma to żadnego znaczenia i będzie praktycznie niesłyszalne.

Czy AMD Noise Suppression i NVIDIA Broadcast można zastosować do "oczyszczenia" gotowych plików audio?

Teoretycznie oprogramowanie nie ma takiej opcji (czyli wskaż plik i oprogramowanie go oczyści), ale można to obejść z odrobiną kombinacji. Wystarczy w jednym programie odtworzyć dźwięk przy użyciu wirtualnego urządzenia, a w drugim zapisać dźwięk z tego wyjścia. Brzmi głupio, ale działa.

Która z tych technologii jest lepsza?

Niezależne teksty wykazują, że obie technologie dobrze sprawdzają się w zadaniach, do których zostały stworzone - posiadacze sprzętu jednego z producentów nie muszą czuć się gorsi. ALE - NVIDIA Broadcast ma więcej specjalizowanych funkcji do obsługi audio, w tym eksperymentalną Studio Voice ("ulepszającą" głos), czego w oprogramowaniu AMD nie znajdziemy.