Cloudflare chce zmusić boty AI do płacenia za przeglądanie stron

Cloudflare wprowadza nowe rozwiązania, które mają ograniczyć działalność botów AI przeszukujących internet w poszukiwaniu treści. Firma chce w ten sposób wesprzeć twórców i wydawców, których materiały są masowo wykorzystywane przez modele sztucznej inteligencji, często bez żadnych korzyści finansowych dla autorów.

Od teraz każdy nowy klient Cloudflare, który rejestruje domenę i korzysta z usług firmy do obsługi ruchu na stronie, zostanie zapytany, czy chce zezwolić botom AI na indeksowanie swoich treści, czy całkowicie je zablokować. To istotna zmiana, bo wcześniej konieczne było ręczne konfigurowanie blokad w panelu.

Cloudflare już w 2024 roku wprowadził darmowe narzędzie umożliwiające blokowanie botów AI, ale nowy mechanizm pozwala na ochronę treści domyślnie, bez potrzeby dodatkowych działań ze strony właściciela witryny. Z nowych możliwości blokowania skorzystali już duzi wydawcy, m.in. Condé Nast, TIME oraz The Associated Press.

Bardzo ciekawym rozwiązaniem jest nowy eksperyment Cloudflare o nazwie „pay per crawl”.

Nowy model: „Pay per crawl”

Jeszcze bardziej przełomowym rozwiązaniem jest nowy eksperyment Cloudflare o nazwie „pay per crawl”. W jego ramach boty AI mogłyby uzyskać dostęp do treści tylko wtedy, gdy za to zapłacą. To pierwsza tak otwarta próba wprowadzenia monetyzacji dla wydawców w kontekście botów generatywnej AI.

Cloudflare wyjaśnia, że za każdym razem, gdy bot AI próbuje pobrać treść ze strony, serwer może sprawdzić, czy w nagłówkach żądania widnieje informacja o chęci dokonania płatności. Jeśli tak, dostęp zostaje przyznany (kod odpowiedzi HTTP 200). W przeciwnym razie serwer zwraca kod 402 Payment Required, wraz z informacją o wymaganej opłacie. Cloudflare zajmuje się obsługą całej infrastruktury oraz rejestrowaniem transakcji.

Co istotne, wydawcy będą mogli decydować, które boty mogą mieć darmowy dostęp, a które muszą płacić. Mogą też ustalić jednolitą stawkę za każde żądanie lub w przyszłości różnicować ceny w zależności od rodzaju treści.

Ochrona internetu i twórców

W wypowiedzi dla mediów Matthew Prince, CEO Cloudflare, podkreślił, że twórcy treści i wydawcy stają dziś przed egzystencjalnym zagrożeniem. „Oryginalne treści to fundament, dzięki któremu internet stał się jednym z największych wynalazków ostatniego stulecia. Konieczne jest, aby twórcy mogli je nadal tworzyć. Boty AI od dłuższego czasu bez ograniczeń pobierają treści z sieci. Naszym celem jest przywrócenie kontroli w ręce twórców, przy jednoczesnym wspieraniu innowacji w branży AI. To kwestia ochrony przyszłości wolnego i dynamicznego internetu poprzez nowy model, który będzie korzystny dla wszystkich” – powiedział Prince.

Cloudflare deklaruje także wsparcie dla budowy rynku treści udostępnianych botom AI. W takowym wydawcy mogliby ustalać dynamiczne ceny zależnie od rodzaju publikacji czy jej popularności. Choć rozwiązanie „pay per crawl” jest jeszcze we wczesnej fazie beta, firma zapowiada dalszy rozwój i kolejne innowacje w tym zakresie.