Nowa technika wielowątkowości może podwoić prędkość przetwarzania

Nowe badania szczegółowo opisują proces, który umożliwia płynną równoległą pracę procesora CPU, procesora graficznego i akceleratora AI nad oddzielnymi zadaniami. Ten przełom może zapewnić niesamowicie szybkie i energooszczędne przetwarzanie danych, obiecując podwojenie ogólnej prędkości przetwarzania przy kosztach energii o ponad połowę niższych.

Naukowcy z Uniwersytetu Kalifornijskiego w Riverside opracowali technikę zwaną Simultaneous and Heterogeneous Multithreading  (SHMT), która opiera się na współczesnej jednoczesnej wielowątkowości. Jednoczesna wielowątkowość dzieli rdzeń procesora na wiele wątków, ale SHMT idzie dalej, włączając w ten proces GPU i układy AI.

Nowe badania szczegółowo opisują proces, który umożliwia płynną równoległą pracę procesora CPU, procesora graficznego i akceleratora AI nad oddzielnymi zadaniami.

Kluczową zaletą SHMT jest to, że te komponenty mogą jednocześnie pracować przy zupełnie różnych obciążeniach, zoptymalizowanych pod kątem mocnych stron każdego z nich. Metoda różni się od tradycyjnych obliczeń, w których procesor, układ graficzny i akcelerator AI działają niezależnie. To wymaga przesyłania danych pomiędzy komponentami, co może prowadzić do powstawania wąskich gardeł.

 

Tymczasem SHMT wykorzystuje to, co badacze nazywają „smart quality-aware work-stealing (QAWS) scheduler” do dynamicznego zarządzania heterogenicznym obciążeniem między komponentami. Ta część procesu ma na celu równoważenie wydajności i precyzji poprzez przypisanie między innymi zadań wymagających dużej dokładności procesorowi, a nie bardziej podatnemu na błędy akceleratorowi AI. Ponadto scheduler może bezproblemowo ponownie przypisać zadania innym procesorom w czasie rzeczywistym, jeśli jeden z komponentów zostanie z tyłu.

W testach SHMT zwiększyło wydajność o 95 procent i zmniejszyło zużycie energii o 51 procent w porównaniu z istniejącymi technikami. Rezultatem jest imponujący czterokrotny wzrost wydajności. We wczesnych próbach sprawdzających koncepcję wykorzystano płytę Jetson Nano od NVIDII zawierającą 64-bitowy czterordzeniowy procesor Arm, 128-rdzeniowe GPU Maxwell, 4 GB pamięci RAM i gniazdo M.2 mieszczące jeden z akceleratorów AI Google Edge TPU. Chociaż nie jest to najnowocześniejszy sprzęt, odzwierciedla standardowe konfiguracje. Niestety istnieją pewne zasadnicze ograniczenia.

„Ograniczeniem SHMT nie jest sam model, ale raczej to, czy programista może ponownie przeanalizować algorytm, aby wykazać rodzaj równoległości, który sprawia, że ​​SHMT jest łatwy w wykorzystaniu” – wyjaśnia artykuł. Innymi słowy, nie jest to prosta, uniwersalna implementacja sprzętowa, z której może skorzystać każdy programista. Programiści muszą się nauczyć, jak to zrobić lub opracować narzędzia, które zrobią to za nich.

Jeśli przeszłość jest jakąkolwiek wskazówką, nie jest to łatwe zadanie. Pamiętacie przejście Apple z procesorów Intel na procesory oparte na architekturze ARM w komputerach Mac? Firma musiała znacząco zainwestować w swój zestaw narzędzi dla programistów, aby ułatwić programistom dostosowywanie aplikacji do nowej architektury. Jeśli nie będzie wspólnego wysiłku ze strony dużych firm technologicznych i programistów, SHMT może okazać się jedynie ciekawym pomysłem.