Eksperymentalne narzędzie tufazip, opracowane przez Tufa Labs, potrafi zmniejszyć objętość gigabajta tekstu z anglojęzycznej Wikipedii do około 105 MB, zachowując wszystkie oryginalne informacje. Tak imponujący wynik ma jednak swoją cenę - potrzebna do tego dwóch kart Nvidia B200, a samo kompresowanie i późniejsze rozpakowywanie danych zajmuje ponad tydzień na każdą z tych czynności.
Projekt wykorzystuje model Transformer o 163 mln parametrów, który przewiduje kolejne fragmenty tekstu. Zamiast polegać na zestawie ręcznie przygotowanych reguł kompresji, system uczy się podczas przetwarzania danych. Każdy kolejny fragment jest przewidywany, a następnie wykorzystywany do aktualizacji modelu. Podczas dekompresji wykonywane są te same operacje, dzięki czemu możliwe jest dokładne odtworzenie pierwotnej zawartości.
Bezstratność jest tutaj kluczowa. Po rozpakowaniu otrzymujemy identyczne dane, bez utraty znaków czy informacji. Wymaga to jednak pełnej powtarzalności obliczeń, ponieważ model musi podejmować dokładnie takie same decyzje podczas kompresowania i odtwarzania tekstu.
105 MB zamiast gigabajta
Według wyników opublikowanych przez Tufa Labs skompresowany zbiór zajmuje 100 958 324 bajty. Do tego trzeba doliczyć 4 430 029 bajtów na pliki niezbędne do dekompresji. Łączny rozmiar wynosi więc 105 388 353 bajty, czyli około 105,39 MB.
Rezultat pozwolił tufazip zająć 13. miejsce w rankingu Large Text Compression Benchmark, aktualizowanym 19 listopada 2026 roku. To najlepszy wynik wśród metod, które wykorzystują sieć neuronową jako jedyny mechanizm przewidywania danych. Dwanaście wyżej sklasyfikowanych rozwiązań łączy natomiast modele Transformer z tradycyjnymi metodami kompresji.
Największą blokadą pozostaje czas. Gdy kompresowanie zajmuje około 631 548 sekund (czyli 7,3 dnia), dekompresja trwa jeszcze dłużej - 645 748 sekund (około 7,5 dnia), widać duże pole do poprawy. Mimo to sam eksperyment jest wart uwagi - może w przyszłości podobne mechanizmy pomogą ograniczyć ilość miejsca potrzebnego do przechowywania ogromnych zbiorów informacji. Na razie jest to jednak ciekawy eksperyment badawczy.

Pokaż / Dodaj komentarze do:
Gigabajt zmniejszony do 105 MB. To się nazywa kompresja