Własny chatbot na procesorze Intela? Biblioteka akceleracji NPU dostępna w formie open-source

Intel wypuścił bibliotekę akceleracji NPU, która pozwala na uruchamianie lekkich modeli językowych, jak chociażby TinyLlama. W sieci udostępniono przykład napisanego dzięki niej chatbota.

Nowe narzędzie od Intela

Temat sztucznej inteligencji nie cichnie. Wręcz przeciwnie, działania firm technologicznych tylko go podsycają. Intel wypuścił teraz otwartoźródłową bibliotekę akceleracji NPU. Sam skrót NPU odnosi się wbudowanego w procesor układu przetwarzania neuronowego (Neural Processing Unit), który w dużym skrócie specjalizuje się w obliczeniach związanych z AI. Opublikowanie wspomnianej biblioteki pozwala użytkownikom procesorów Meteor Lake (z NPU) na uruchamianie lżejszych modeli językowych.

Opublikowanie biblioteki pozwala użytkownikom procesorów Meteor Lake (z NPU) na uruchamianie lżejszych modeli językowych.

Architekt oprogramowania Intela który zdążył rzecz jasna już wypróbować bibliotekę napisał, że da się uruchomić TinyLlama oraz Gemma-2b, czyli lekkie modele językowe. Co więcej udostępnił również przykład działania chatu TinyLlama w wersji 1.1B. Komputer był w stanie odpowiedzieć na pytanie czy smartfon jest lepszy od telefonu z klapką, podając zalety oraz wady obu z nich. Warto dodać, że jako sprzęt w tym eksperymencie wykorzystany został laptop MSI Prestige 16 z układem Meteor Lake. Dowiedzieliśmy się również, że biblioteka działa nie tylko na systemie Windows, ale również wspiera Linuxa.

Intel zapewne doda jeszcze ulepszenia

Biblioteka akceleracji NPU wymaga procesora Meteor Lake, co na tę chwilę jest dość sporym ograniczeniem. Kolejne generacji procesorów Intela, kiedy już wejdą na rynek, poszerza jednak listę kompatybilnych urządzeń. Co więcej, nowe CPU powinny także zwiększyć wydajność samego NPU względem obecnie dostępnych Meteor Lake'ów. Deweloperzy będą zatem mogli przykładowo wykorzystywać lepsze modele językowe.

Biblioteka zapewne za jakiś czas doczeka się też usprawnień, ponieważ na tę chwilę nie oferuje jeszcze wszystkich funkcji. Chociaż została ona stworzona z myślą o twórcach oprogramowania to zapewne nie będzie brakowało osób, które zwyczajnie zechcą zobaczyć jak to działa. I nic dziwnego, bo posiadanie własnego chatbota w systemie to co najmniej interesująca sprawa.