Bard nie wypalił, ale Gemini może pokonać ChatGPT. Google wystawia nowego zawodnika

Generatywna sztuczna inteligencja Google Bard nie jest tak skuteczna jak ChatGPT. W porównaniu z nim pokazała o wiele więcej błędów, brak zrozumienia pytań i tym podobnych. Google chce teraz to naprawić dzięki nowemu multimodalnemu modelowi Gemini.

W minionym roku generatywne systemy AI doświadczyły znaczącego rozwoju. Po wydaniu chatbota ChatGPT, wszyscy starają się stworzyć własne systemy oparte na GPT lub wykorzystujące własne modele. Google wprowadziło jakiś czas temu system o nazwie Bard, jednakże nie osiągnął on znaczącego sukcesu. Nie był ani pierwszy ani lepszy od innych. W rzeczywistości, mimo że systemy GPT są dalekie od doskonałości, Bard często źle rozumiał tekst, popełniał więcej błędów i miał ograniczone możliwości. Oczekuje się, że te niedoskonałości zostaną poprawione poprzez nowy model generatywnej sztucznej inteligencji, znanego jako Google Gemini.

Gemini Pro jest już dostępny w 170 różnych krajach, a Gemini Ultra ma się pojawić w przyszłym roku. Gemini Nano z kolei zostanie wprowadzony w telefonie Google Pixel 8.

Gemini 1.0 będzie dostępny w trzech różnych wersjach, dopasowanych do różnych zastosowań i skalowalności systemu, do którego jest przeznaczony. Gemini Ultra - Największy model przeznaczony do bardzo złożonych zadań. Gemini Pro - Średni model umożliwiający łatwe dostosowanie do różnorodnych zastosowań. Gemini Nano - Model przeznaczony do uruchamiania na urządzeniach końcowych.

Google pochwaliło się bardzo dobrymi wynikami benchmarku. Gemini Ultra osiągnął wynik 90,0% w ogólnym teście MMLU (Massive Multitask Language Understanding), przewyższając 86,4% osiągnięte przez GPT-4. Ten test obejmuje 57 różnych zagadnień (w szerokim zakresie znaczeń) i według Google wynik ten przewyższa nawet możliwości człowieka. Jeśli spojrzymy na bardziej szczegółowe obszary, Gemini Ultra uzyskał wyniki od 82,4% do 87,8% w zakresie rozumowania, zbliżone do osiągnięć GPT-4 (w dwóch testach nieznacznie go przewyższył).

Wyniki w dziedzinie matematyki również były solidne, gdzie Gemini Ultra nieznacznie wyprzedził konkurencję, uzyskując 94,4% w GSM8K (92,0% w przypadku GPT-4) i 53,2% w teście MATH (52,9% dla GPT-4). Podobnie, lepsze wyniki zostały osiągnięte w dziedzinie programowania (74,4% w porównaniu do 67,0% w HumanEval i 74,9% w stosunku do 73,9% w Natural2Core).

Również w testach multimodalnych, gdzie system współpracuje z informacją tekstową, obrazami, sekwencjami wideo czy dźwiękiem, Gemini odnosi świetne rezultaty. W większości testów osiąga o kilka punktów procentowych lepsze wyniki (średnio 70,1% w obrazie i wideo, w porównaniu do 66,0% w GPT-4), wykazując znaczne polepszenie w obszarze dźwięku. Szczególnie interesujące są wyniki błędów w teście FLEURS w 62 językach. Gemini uzyskał wynik na poziomie 7,6%, podczas gdy GPT-4 aż 17,6%.