Intel i Weizmann Institute przyspieszają AI. Nowa technika działa z dowolnym modelem

Na konferencji ICML w Vancouver naukowcy z Intel Labs oraz Instytutu Weizmanna zaprezentowali nową technikę przyspieszającą działanie dużych modeli językowych AI. Rozwiązanie opiera się na tzw. spekulacyjnym dekodowaniu, które znacząco zwiększa szybkość generowania odpowiedzi przez modele, bez utraty jakości.

W uproszczeniu – metoda polega na tym, że mniejszy i szybszy model tworzy wstępną wersję odpowiedzi, a większy oraz bardziej precyzyjny model ją sprawdza. Dzięki temu cały proces działa szybciej i zużywa mniej mocy obliczeniowej.

AI przyspiesza. Intel i Weizmann Institute prezentują nową metodę

Nowością w tym podejściu jest to, że można teraz łączyć dowolne modele, nawet jeśli pochodzą od różnych twórców oraz korzystają z różnych „słowników”. Oznacza to większą elastyczność i niższe koszty wdrażania AI, zarówno w chmurze, jak i na urządzeniach lokalnych.

Na konferencji ICML w Vancouver naukowcy z Intel Labs oraz Instytutu Weizmanna zaprezentowali nową technikę przyspieszającą działanie dużych modeli językowych AI. Rozwiązanie opiera się na tzw. spekulacyjnym dekodowaniu, które znacząco zwiększa szybkość generowania odpowiedzi przez modele, bez utraty jakości.

Według badaczy, technika może przyspieszyć działanie modeli nawet 2,8 raza bez wpływu na jakość generowanych tekstów. Co ważne, rozwiązanie nie pozostaje jedynie w sferze badań.

Nowe algorytmy zostały już udostępnione w popularnej bibliotece open source Hugging Face Transformers, z której korzystają miliony programistów na całym świecie.

Dzięki temu można z nich korzystać bez pisania dodatkowego kodu.

Zdaniem autorów pracy, to przełom, który może otworzyć drogę do szybszych i tańszych rozwiązań AI, również dla mniejszych firm i zespołów badawczych, które wcześniej nie miały dostępu do takich możliwości.