SoC od MediaTek przyłapane na oszukiwaniu benchmarkach

Oszukiwanie w syntetycznych benchmarkach to stara praktyka, na której przyłapano już wielu producentów, w tym i największych graczy na rynku smartfonów. Ostatnio np. Huawei oskarżone zostało o tego typu sztuczki, które zwiększały wyniki jego smartfonów w 3DMarku aż o 47%, co zmusiło chińskiego giganta do przeprosin i zaprzestania tego typu kombinowania. Teraz jednak chodzi nie o konkretnego producenta telefonów, ale firmę MediaTek, która dostarcza procesory do urządzeń mobilnych. Swoiste śledztwo przeprowadził portal AnandTech, który odkrył, że MediaTek stosuje dziwne praktyki w zakresie SoC Helio P95, wykorzystywanego choćby w smartfonie Oppo Reno 3 Pro. Układ ten jest niemal identyczny jak Helio P90, ale zapewnia blisko 10% lepszą wydajność w zakresie sztucznej inteligencji, a dodatkowo wsparcie dla 64 MP aparatów. Jest to procesor ze średniej półki oferujący dwa wysokowydajne rdzenie Cortex-A75 (2,2 GHz) i sześć energooszczędnych Cortex-A55 (2 GHz).

Śledztwo przeprowadzone przez AnandTech ujawniło, że MediaTek stosuje dziwne praktyki w zakresie SoC Helio P95, wykorzystywanego choćby w smartfonie Oppo Reno 3 Pro.

AnandTech w swoich testach odkryło jednak, że Helio P95 uzyskuje w PCMark wyniki wyraźnie ponad swoją klasę. Ten średniopółkowy SoC pochwalić mógł się bowiem rezultatami na granicach flagowych procesorów, co oczywiście wzbudziło podejrzliwość redaktorów. MediaTek przesadziło w tym przypadku tak bardzo, że Helio P95 wypadł tu lepiej nawet od ich nowego flagowca, czyli Dimensity 1000 5G. AnandTech postanowił więc skontaktować się z twórcami PCMark, czyli firmą UL i w taki sposób odkryto skalę oszustwa tajwańskiego przedsiębiorstwa. Oszukane wyniki odnotowane praktycznie we wszystkich indywidualnych benchmarkach, a największe przekręty dostrzeżono w testach Writing 2.0 i Web Browsing 2.0, co przełożyło się na rezultat o 30% wyższy w porównaniu do Oppo Reno3 Pro, w którym nie zastosujemy nieuczciwe praktyki.    

Kiedy zainteresowani pokopali jeszcze głębiej, to w pliku power_whitelist_cfg.xml w ramach firmware’u urządzenia odkryli kod zawierający odniesienia do trybu „Sports”, który można zastosować w PCMark (oraz innych syntetycznych benchmarkach). Ten, jak opisuje AnandTech, „poprawia” niektóre charakterystyki DVFS w SoC, takie jak praca kontrolera pamięci z maksymalną częstotliwością przez cały czas. Ponadto scheduler także ustawiony jest w taki sposób, by być bardziej agresywnym, przez co w trakcie obciążenia rdzenie CPU szybciej się rozpędzają i pracują z wysokim taktowaniem przez dłuższy czas. Następnie okazało się, że takie wpisy w power_whitelist_cfg.xml znajdują się nie tylko w urządzeniach Oppo, ale także smartfonach innych producentów korzystających z usług MediaTek, w tym Xiaomi, Vivo i Sony. Wynika z tego więc, że to nie twórcy telefonów są odpowiedzialni za oszukiwanie w benchmarkach, ale sam MediaTek.

Firma skonfrontowana z zarzutami tłumaczyła, że „że wiele przedsiębiorstw projektuje urządzenia w taki sposób, by pracowały z najwyższą możliwą wydajnością w trakcie przeprowadzania testów w benchmarkach, by pokazać pełnię możliwości chipsetu. Pokazuje to jaką szczytową wydajność można uzyskać na danym chipsecie” - dodał przedstawiciel MediaTek. AnandTech podkreśla jednak, że oszukiwanie w przypadku benchmarku poziomu systemowego jakim jest PCMark, który nie tylko obciąża SoC, ale i inne komponenty w smartfonie, nie jest rzeczywistym scenariuszem. Nie da się ukryć, że sytuacja jest niejasna, tym bardziej, że ostatnio próbowano nawet zaciemnić kod odnoszący się do trybu Sports w firmwarze. Partnerzy współpracujący z MediaTek na pewno zaś nie będą zadowoleni z wciągania ich w tę sytuację.