Zapomnijcie o prawie Moore'a, NVIDIA mówi o prawie Huanga

Podczas gdy wiele osób debatuje nad tym, czy prawo Moore’a zwalnia, pozostaje w mocy, a może w latach dwudziestych XXI wieku w ogóle przestanie obowiązywać, specjaliści NVIDII wskazują „prawo Huanga”. Uważa się, że w ciągu ostatniej dekady wydajność przetwarzania sztucznej inteligencji na GPU wzrosła 1000-krotnie. Prawo Huanga oznacza, że ​​przyspieszenia, które zaobserwowaliśmy w „wydajności wnioskowania na jednym chipie”, nie wygasną i spodziewać możemy się kolejnych spektakularnych wzrostów.

NVIDIA opublikowała post na blogu na temat prawa Huanga, w którym przedstawiła leżące u jego podstaw założenia i praktyki pracy. To, co główny naukowiec NVIDII, Bill Dally, opisuje jako „przesunięcie tektoniczne w sposobie zapewniania wydajności komputerów w epoce po prawie Moore’a”, opiera się przede wszystkim na ludzkiej pomysłowości. Ta cecha wydaje się nieco nieprzewidywalna, by opierać o nią nowe prawo, ale Dally uważa, że ​​imponujący wykres poniżej wyznacza dopiero początek prawa Huanga.

NVIDIA opublikowała post na blogu na temat prawa Huanga, w którym przedstawiła leżące u jego podstaw założenia i praktyki pracy.

Według niedawnego wystąpienia Dally’ego na konferencji Hot Chips 2023, powyższy wykres pokazuje 1000-krotny wzrost wydajności wnioskowania AI GPU w ciągu ostatnich dziesięciu lat. Co ciekawe, jak zauważył główny naukowiec NVIDII, w przeciwieństwie do prawa Moore'a, kurczenie się procesu ma niewielki wpływ na postęp prawa Huanga. 

Dally pamięta, jak uzyskano 16-krotny wzrost dzięki zmianie podstawowej obsługi liczb przez GPU NVIDII. Kolejny duży impuls nastąpił wraz z pojawieniem się architektury Hopper, wyposażonej w silnik Transformer Engine. Hopper wykorzystuje dynamiczną mieszankę 8- i 16-bitowej matematyki zmiennoprzecinkowej i liczb całkowitych, aby zapewnić 12,5-krotny skok wydajności, a także zaoszczędzić energię. Wcześniej Ampere wprowadziło rzadkość strukturalną w celu dwukrotnego zwiększenia wydajności. Postępy, takie jak technologie NVLink i rozwiązania sieciowe NVIDII, jeszcze bardziej zwiększyły te imponujące zyski.

Jedno z najbardziej zaskakujących twierdzeń Dally'ego odnosi się do tego, że ponad 1000-krotny wzrost wydajności wnioskowania AI wyraźnie kontrastuje z zyskami przypisywanymi ulepszeniom procesów technologicznych. W ciągu ostatniej dekady, gdy GPU Zielonych przeszły z procesów 28 nm na 5 nm, ulepszenia procesów półprzewodnikowych „stanowiły jedynie 2,5-krotność całkowitych zysków” – stwierdził Dally na Hot Chips.

W jaki sposób prawo Huanga będzie nadal szybko działać, mając za sobą takie koncepcje, jak „pomysłowość i wysiłek w wymyślaniu i zatwierdzaniu świeżych składników”? Na szczęście Dally wskazuje, że on i jego zespół nadal widzą „kilka możliwości” przyspieszenia przetwarzania wnioskowań AI. Możliwości, które należy zbadać, obejmują dalsze uproszczenie sposobu przedstawiania liczb czy projektowanie lepszych obwodów pamięci i komunikacji”.