Chatbot Bard od Google nie jest jeszcze zbyt bystry. Takie testy to podstawa...

Chatbot o nazwie Bard AI nie jest w stanie odpowiedzieć na podstawowe pytania egzaminacyjne w Stanach Zjednoczonych. Choć Google zawzięcie goni ChatGPT i OpenAI, Bard wciąż pozostaje w tyle.

Google nie miało dobrego startu ze swoim chatbotem. Gigant stracił miliardy dolarów wartości rynkowej, gdy chatbot błędnie odpowiadał na imprezie pokazowej. Dyrektor generalny Google, Sundar Pichai, wydaje się być spokojny co do postępu firmy w dziedzinie sztucznej inteligencji, twierdząc, że Bard jest wciąż na wczesnym etapie rozwoju. Chatbot jest teraz testowany przez społeczeństwo, po tym jak był wcześniej używany głównie przez pracowników Google. Fortune przeprowadził test możliwości chatbota, przed nadchodzącymi egzaminami SAT, ustandaryzowanym testem szeroko stosowanym przy przyjęciach na studia w Stanach Zjednoczonych. Egzamin sprawdza przede wszystkim umiejętności, takie jak czytanie, pisanie i matematyka.

Początki chatbota Bard od Google nie wyglądają obiecująco. Najpierw system zawstydził twórców podczas pokazu, co doprowadziło do straty 100 mld USD na wartości Google, a teraz niezależne testy mówią, że do poziomu ChatGPT (który wcale idealny nie jest) jeszcze bardzo daleko.

Bard nie zawsze poprawnie odpowie na pytania...

Zaraz po zalogowaniu testerów powitał komunikat, że "Bard nie zawsze poprawnie odpowie na pytania. Może udzielić niedokładnych lub nieodpowiednich odpowiedzi. W razie wątpliwości, użyj przycisku 'Google it', aby sprawdzić odpowiedzi Barda. Twoja opinia na temat odpowiedzi jest dla nas ważna. Oceń odpowiedzi i oznacz wszystko, co może być obraźliwe lub niebezpieczne". Magazyn uzyskał próbkę pytań matematycznych z egzaminu SAT z internetowych źródeł do nauki i odkryła, że Bard odpowiedział nieprawidłowo na 50-75% z nich, nawet gdy oferowano rozwiązania wielokrotnego wyboru. Kiedy te same pytania zostały mu ponownie zadane, jego odpowiedzi nie znajdowały się nawet w opcjach wielokrotnego wyboru.

I do dobrej uczelni się nie dostanie...

Bard został poproszony o odpowiedzenie na kilka pytań, w tym o wyjaśnienie dziewięciolatkowi, czym jest Kosmiczny Teleskop Jamesa Webba. Pomimo potwierdzenia ze strony NASA, że Bardzo Duży Teleskop w Chile (VLT) uzyskał pierwszy obraz egzoplanety w 2004 roku i zidentyfikował ją jako taką w 2005 roku, Bard odpowiedział, że teleskop uzyskał „pierwsze zdjęcia planety poza naszym własnym układem słonecznym”. Co więcej, w pierwszym pisemnym teście językowym Barda dla Fortune, uzyskał on tylko około 30% poprawnych odpowiedzi, często wymagało to zadawania pytań dwa razy, aby zrozumiał, o co chodzi. W testach czytania Bard wypadł lepiej niż w matematyce, uzyskując około połowy poprawnych odpowiedzi. Pomimo tylu problemów Bard uzyskał 1200 punktów, co pozwoliłoby mu dostać się na Howard University, San Diego State University i Michigan State University, co niekoniecznie dobrze świadczy o tych uczelniach.

Zaledwie kilka dni temu Bard był gwiazdą sporego skandalu. Według raportu The Information, były badacz Google AI, Jacob Devlin ostrzegł dyrektora generalnego Alphabet, Sundara Pichai, że Bard pośrednio pobiera dane z ChatGPT. Devlin twierdził, że zespół programistów Bard uzyskał dostęp do witryny ShareGPT, gdzie rozmowy użytkowników ChatGPT są publikowane w celu weryfikacji. Jednak rzecznik Google, Chris Pappas, natychmiast wydał oświadczenie dla The Verge, w którym jasno stwierdził, że „Bard nie jest szkolony na żadnych danych z ShareGPT ani ChatGPT”.