Asus zmieścił sztuczną inteligencję w pendrivie. 40 TOPS na USB

Asus zaprezentował nietypowe urządzenie, które może zainteresować zarówno entuzjastów sztucznej inteligencji, jak i firmy szukające prostych sposobów na lokalne przyspieszenie obliczeń. Nowy akcelerator AI ma formę pamięci USB i nie wymaga ingerencji w konstrukcję komputera. Producent deklaruje wydajność sięgającą 40 TOPS, co w przypadku sprzętu tej klasy brzmi wyjątkowo ambitnie.

Jeszcze niedawno akceleracja modeli AI w komputerach osobistych kojarzyła się głównie z kartami rozszerzeń montowanymi w gniazdach PCI Express albo z potężnymi kartami graficznymi. W ostatnich latach na znaczeniu zyskały również zintegrowane jednostki NPU obecne w nowoczesnych procesorach i układach APU. Rozwiązanie Asusa celuje jednak w inną grupę użytkowników, oferując możliwość rozbudowy istniejących systemów bez otwierania obudowy i bez wymiany kluczowych komponentów.

UGen300 i procesor Hailo 10H2

Sercem akceleratora o nazwie UGen300 jest procesor NPU Hailo 10H. Według specyfikacji układ ten osiąga do 40 TOPS w obliczeniach INT4, przy typowym poborze mocy na poziomie 2,5 W. Tak niskie zapotrzebowanie energetyczne sprawia, że urządzenie może pracować niemal niezauważalnie nawet w laptopach czy kompaktowych komputerach biurkowych. Komunikacja z komputerem odbywa się przez interfejs USB 3.1 Gen 2, co zapewnia wysokie transfery i pozwala łatwo przenosić między różnymi maszynami.

Ograniczona pamięć, konkretne zastosowania

Na pokładzie UGen300 znalazło się 8 GB pamięci LPDDR4. W porównaniu z profesjonalnymi stacjami roboczymi i serwerami AI, które często dysponują setkami gigabajtów RAM, jest to wartość skromna. Urządzenie nie jest więc adresowane do treningu dużych modeli językowych czy skomplikowanych sieci neuronowych, lecz do inferencji i obsługi lżejszych zadań.

Asus wskazuje na zastosowania związane z rozpoznawaniem obrazów, analizą wideo oraz interpretacją wzorców. W takich scenariuszach lokalna akceleracja pozwala uniezależnić się od chmury i zmniejszyć opóźnienia.

Szeroka kompatybilność systemowa

Producent deklaruje zgodność zarówno z platformami x86, jak i ARM. Akcelerator ma działać z systemami Windows, Linux oraz Android. Wsparcie obejmuje popularne frameworki uczenia maszynowego, takie jak TensorFlow, PyTorch oraz ONNX. Asus informuje także o dostępności ponad stu wstępnie wytrenowanych modeli, które można uruchomić bez długiego procesu konfiguracji.

Na razie Asus nie ujawnił informacji o cenie ani dacie rynkowej premiery UGen300.