Krótka rzecz o testowaniu CPU w grach, czyli co czytelnik powinien wiedzieć

Wymienianie i analizowanie najczęściej popełnianych przez testerów błędów rozpocznę od tego, co zasygnalizowałem już we wstępie, czyli dokładności pomiarów. Istotnym faktem jest tutaj, że w ramach konkretnej gry często możemy znaleźć zarówno miejsca charakteryzujące się niewielką niepewnością pomiarową, jak i takie, w których poszczególne przebiegi testu wyglądają, jakby były wykonywane w sposób losowy i to pomimo prawidłowego ich przeprowadzania. Niech za przykład posłuży ostatnia część przygód Sama Fishera, czyli Splinter Cell: Blacklist. Kiedyś, kiedy poszukiwałem w niej odpowiedniego miejsca do testów procesorów, naprawdę nieźle się naciąłem na ostatnią misję zatytułowaną Obiekt F. Trochę to ironiczne, ale właśnie w tym rozdziale odnalazłem istotnie najbardziej wymagającą pod względem CPU miejscówkę i początkowe pomiary nie wskazywały niczego niepokojącego. Niestety, po przetestowaniu kilka pierwszych procesorów "sprawa się rypła" i na jaw wyszła duża losowość tej lokacji. Na nic zdały się wszelakie eksperymenty z wczytywaniem punktu kontrolnego na różne sposoby (bezpośrednio z rozgrywki, z menu startowego, czy też z pokładu Paladyna), Obiekt F do testów się po prostu nie nadawał. Żeby to lepiej uzmysłowić, na poniższym wykresie zamieściłem przykładowe przebiegi testowe.

Cóż, sytuacja była nie do przyjęcia. Przy tak dużym rozrzucie między poszczególnymi pomiarami nawet wykonywanie dziesięciu powtórzeń i branie z nich średniej było wątpliwym sposobem na precyzyjne zbadanie osiągów poszczególnych jednostek. Jest to o tyle istotne, że niejednokrotnie przychodzi testować niemal identyczne modele, ale różniące się tylko zegarem i to często na poziomie 100 MHz. Za przykład niech posłuży ostatni test Ryzenów 3 od AMD, gdzie oba modele po OC dzieliło właśnie 100 MHz. W takiej sytuacji niepowtarzalne miejsce testowe mogłoby doprowadzić do anomalii, gdzie wolniejsza jednostka nagle okazałaby się szybsza. Wracając do Splinter Cell: Blacklist, problem rozwiązała zmiana misji na Fortecę partyzantów. Nowa lokacja nie była co prawda tak wymagająca jak poprzednia, ale przynajmniej nie stwarzała problemów podczas przeprowadzania pomiarów. Przykładowe przebiegi testowe wyglądały w niej tak:

Widać różnicę, czyż nie? Od razu jest o niebo lepiej i w takim wariancie testów nie trzeba się już przejmować tym, że mogą nam wyjść totalne głupoty. Tak profilaktycznie dodam jeszcze, że jeden i drugi wykres to zupełnie inna platforma testowa i procesory, przy identycznym sprzęcie Forteca partyzantów była tylko o kilka klatek łaskawsza dla sprzętu od Obiektu F. To jednak tylko przykład z mojego własnego podwórka i mała pokazówka czegoś, czego osobiście nigdy w życiu bym nie dopuścił do publikacji. Niestety, niektórzy "profesjonalni" testerzy nie mają problemów z takimi "błahostkami" i puszczają wszystko jak leci. Za przykład niech posłuży tutaj test procesora Intel Core i7-7740X w wykonaniu portalu Vortez, który to zresztą test był wykorzystany przez jednego z czytelników jako argument przemawiający za tym, że ITHardware "kłamie". Popatrzcie sami, bo jest na co.

Lecimy po kolei. AMD Ryzen 7 1700X szybszy od Ryzena 7 1800X (tyle samo rdzeni, wyższy zegar), Ryzen 5 1400 wydajniejszy od Ryzena 5 1600 (więcej rdzeni, wyższy zegar), Core i7-7740X w magiczny sposób znacząco lepszy od Core i7-7700K (to dokładnie te same procesory!), Core i7-5960X potężniejszy od Core i7-6900K (lepsza architektura, wyższy zegar)... Serio? Czy ktoś sobie tutaj robi jaja, bo całość wygląda jak niesmaczny żart? Wszystkie procesory wymienione jako drugie, z różnicą parametrów na ich korzyść pokazaną w nawiasach, okazały się wolniejsze, chociaż w praktyce jest to po prostu niemożliwe! Co więcej, część modeli osiąga ~78 klatek na sekundę i nagle mamy przedziwny skok i wszystkie kolejne mocno przekraczają 80 FPS. To się po prostu w ogóle kupy nie trzyma, tak jakby ktoś w trakcie wykonywania testów po prostu zmienił detale lub wręcz zaczął wykorzystywać inną lokację. Bądźmy poważni, używanie tak "profesjonalnych" testów jako argument mający świadczyć za czymkolwiek jest po prostu niepoważne i zakrawa na kiepski trolling.