Apple chce umieścić duże modele językowe (LLM) w pamięci NAND flash smartfonów i laptopów

Duże modele językowe (LLM) wymagają wyjątkowo dużej ilości zasobów procesora i pamięci, ale podobno Apple eksperymentuje z przechowywaniem tej technologii w pamięci flash, co powinno ułatwić dostęp do niej na wielu urządzeniach. Gigant z Cupertino pragnie jednak, aby LLM były wszechobecne na urządzeniach iPhone i Mac i bada sposoby, jak to umożliwić.

W typowych warunkach modele wielkojęzyczne wymagają akceleratorów AI i dużej pojemności pamięci DRAM. Jak donosi TechPowerUp, Apple pracuje nad wprowadzeniem tej samej technologii, ale na urządzenia o ograniczonej pojemności pamięci. Apple opublikowało artykuł, w którym przedstawia cel, jakim jest wprowadzenie LLM do urządzeń o takich jak laptopy czy smartfony. iPhone'y również mają ograniczoną pamięć, dlatego badacze Apple opracowali technikę wykorzystującą chipy flash do przechowywania danych modelu AI.

Gigant z Cupertino chce, aby LLM były wszechobecne na urządzeniach iPhone i Mac, umieszczając je w pamięci NAND flash tych urządzeń.

Ponieważ pamięć flash jest dostępna w dużych ilościach na iPhone'ach i komputerach Mac, istnieje sposób na ominięcie tego ograniczenia za pomocą techniki zwanej Windowsing. W tej metodzie model AI ponownie wykorzystuje część danych, które już przetworzył, zmniejszając potrzebę ciągłego przenoszenia pamięci i przyspieszając cały proces. Drugą techniką jest łączenie wierszy i kolumn; dane można grupować wydajniej, co pozwala modelowi sztucznej inteligencji na szybsze odczytywanie danych z pamięci flash i przyspiesza ich zrozumienie.

Metody te umożliwiają uruchamianie modeli nawet dwukrotnie większych niż dostępna pamięć DRAM, co przełoży się na nawet 5-krotny wzrost szybkości w przypadku standardowych procesorów i do 25-krotny wzrost w przypadku procesorów graficznych. Istnieje wiele dowodów sugerujących, że Apple poważnie podchodzi do sztucznej inteligencji, zaczynając od własnego chatbota, który wewnętrznie nazywa się Apple GPT. Krążą także pogłoski, że przyszłoroczny iPhone 16 będzie wyposażony w ulepszone mikrofony, które będą kosztowne dla firmy, ale pozwolą na lepsze zrozumienie mowy, co będzie niezbędne, aby Siri mogła wykonywać wiele zadań.

Krążą również pogłoski, że jakaś forma generatywnej sztucznej inteligencji zostanie wbudowana w iOS 18, gdy oficjalnie pojawi się on w przyszłym roku, więc chociaż Apple pozostaje w tyle za OpenAI, Google, Amazon i innymi, jeśli chodzi o AI, różnica ta może znacznie zmniejszyć się w 2024 r. wraz z wprowadzeniem tej technologii na iPhone'y, iPady i komputery Mac. Najpierw jednak będziemy musieli zobaczyć, jak w praktyce LLM działa przechowywane w pamięci NAND flash.