Zabrakło czystego internetu do trenowania AI. Giganci masowo skupują stare książki

Wyścig o rozwój sztucznej inteligencji wszedł w zupełnie nową fazę. Tym razem nie chodzi o najwydajniejsze procesory, gigantyczne centra danych ani kolejne modele językowe. Najbardziej pożądanym towarem stały się stare papierowe książki. Laboratoria rozwijające AI skupują je hurtowo, a następnie rozcinają i skanują milionami stron, bo dla branży to ostatnie duże źródło tekstów napisanych wyłącznie przez ludzi.

Za tym biznesem stoi amerykańska firma ISBNdb, która otwarcie przekonuje, że najlepsze dane treningowe dla sztucznej inteligencji od lat stoją na bibliotecznych półkach. W praktyce oznacza to masowe pozyskiwanie drukowanych książek, ich digitalizację i sprzedaż przygotowanych zbiorów największym laboratoriom AI.

Internet przestał być wiarygodnym źródłem danych

Jeszcze kilka lat temu twórcy modeli językowych mogli bez większych ograniczeń wykorzystywać ogromne zasoby internetu. Dziś sytuacja wygląda zupełnie inaczej. Coraz większa część treści publikowanych w sieci powstaje z pomocą sztucznej inteligencji. Wpisy na blogach, opisy produktów czy komentarze są często generowane przez chatboty lub mocno przez nie wspierane.

Dla firm rozwijających AI oznacza to poważny problem. Model uczący się na tekstach wygenerowanych przez inne modele może stopniowo tracić jakość. Zjawisko to określane jest jako „model collapse”, czyli degradacja wynikająca z trenowania algorytmów na danych syntetycznych i w kolejnych generacjach modele zaczynają powielać własne błędy, upraszczać wiedzę i stopniowo oddalać się od oryginalnych źródeł informacji.

Dlatego uwagę branży przyciągnęły książki wydane przed 2022 rokiem. Powstały jeszcze przed eksplozją popularności chatbotów i generatywnej AI. Ich zawartość została napisana, zredagowana i zweryfikowana przez ludzi.

„Najlepsze na świecie dane szkoleniowe dotyczące sztucznej inteligencji leżą na półce” – czytamy na stronie ISBNdb. Książki są „gęste, zredagowane i miarodajne”.

Papier stał się cenniejszy niż internet

ISBNdb przekonuje, że właśnie dlatego drukowane książki mają dziś wyjątkową wartość dla laboratoriów sztucznej inteligencji. Firma określa je jako teksty gęste, starannie opracowane i wiarygodne.

Dodatkowym atutem jest ich niezmienność. Treści opublikowanych wiele lat temu książek nie można po cichu edytować ani zastąpić nowymi wersjami. Dla twórców modeli językowych oznacza to stabilny zbiór danych, którego pochodzenie można łatwo udokumentować.

W efekcie stare wydania zaczynają pełnić rolę cyfrowego surowca. To już nie tylko publikacje dla czytelników, lecz także materiał wykorzystywany podczas trenowania kolejnych generacji sztucznej inteligencji.

Miliony książek trafiają do skanerów

Proces digitalizacji wygląda jednak bardziej brutalnie niż mogłoby się wydawać. Przy skanowaniu na przemysłową skalę książki zazwyczaj nie są delikatnie fotografowane strona po stronie. Znacznie szybszą metodą jest odcięcie grzbietu, rozdzielenie kartek i przepuszczenie ich przez automatyczne skanery.

Oznacza to, że ogromna część egzemplarzy ulega bezpowrotnemu zniszczeniu. Papierowa książka staje się jedynie źródłem danych cyfrowych. ISBNdb nie ukrywa tego procesu. Firma przyznaje, że masowa digitalizacja w większości przypadków kończy się fizycznym zniszczeniem egzemplarza.

Klienci pozostają anonimowi

Równie interesujące jest podejście do samych odbiorców tych danych. ISBNdb oferuje każdemu klientowi umowy o zachowaniu poufności i deklaruje, że nigdy nie ujawnia nazw firm kupujących zeskanowane zbiory. Powód jest bardzo prosty.

Jak przyznaje sama spółka, nagłówki informujące o tym, że laboratorium AI zniszczyło dwa miliony książek, mogłyby wywołać ogromne kontrowersje. Dlatego przedsiębiorstwo sugeruje przedstawianie całego procesu jako działań związanych z cyfrową ochroną wiedzy.

To wszystko powoduje kolekne konsekwencje, bo coraz więcej autorów korzysta z narzędzi utrudniających trenowanie modeli AI. Inspiracją stały się rozwiązania znane z projektów takich jak Nightshade, które wprowadzają do tekstów niewidoczne dla człowieka modyfikacje dezorientujące algorytmy.

Według analiz przywoływanych przez ISBNdb nawet niewielka liczba odpowiednio przygotowanych dokumentów może wpływać na jakość ogromnych zbiorów treningowych wykorzystywanych przez modele językowe. Publikacje wydane przed pojawieniem się takich metod pozostają wolne od podobnych zabezpieczeń, dlatego ich wartość stale rośnie.

Sądy otwierają drogę do masowego skanowania

Cały rynek rozwija się równolegle z trwającymi sporami dotyczącymi praw autorskich. Niedawno amerykański sąd zatwierdził ugodę Anthropic dotyczącą wykorzystania książek podczas trenowania modeli AI. Jednocześnie uznał, że skanowanie legalnie zakupionych egzemplarzy może mieścić się w granicach dozwolonego użytku.

Orzeczenie zostało odebrane przez część branży jako ważny sygnał dla firm rozwijających sztuczną inteligencję. Kupowanie papierowych książek i tworzenie ich cyfrowych kopii zyskało znacznie mocniejsze podstawy prawne niż korzystanie z pirackich zbiorów lub nieautoryzowanych kopii.