UL reaguje na manipulacje MediaTek i usuwa z PCMark ponad 50 smartfonów

Przed tygodniem pisaliśmy o tym, że MediaTek przyłapany został na oszukiwaniu w benchmarkach, a to za sprawą procesora Helio P95, który zastosowany został w smartfonie Oppo Reno 3 Pro. Tajwański producent stosował sztuczki z wykorzystaniem „specjalnego” trybu Sports, dzięki którym wynik jego SoC w teście PCMark od UL był zawyżony o nawet 30%. Co ciekawe, rezultaty uzyskiwane przez Helio P95 były tak wysokie, że okazywały się nawet lepsze od flagowego układu MediaTek, czyli Dimensity 1000 5G, co oczywiście wzbudziło podejrzenia, więc portal AnandTech przeprowadził śledztwo prowadzące do wspomnianego odkrycia. Producent układów mobilnych nie widzi jednak w całej sprawie nic złego, tłumacząc, że wszyscy tak robią, po to, by pokazać „pełnię możliwości swoich chipsetów”, dzięki czemu konsument otrzymuje „precyzyjny obraz wydajności urządzenia”. Tego typu zabiegi zdają się jednak prowadzić do czegoś zgoła odmiennego, czyli zakłamywania rzeczywistych możliwości sprzętu w realnych zastosowaniach.

UL nie zamierza pobłażać nieuczciwym praktykom, dlatego usunęli oni z rankingu PCMark przeszło 50 urządzeń od 25 producentów, które bazują na SoC z rodziny MediaTek Helio.

Na całą sprawę zareagowała właśnie firma UL, której benchmark wykorzystywany jest przez układy Helio. Twórcy narzędzia do testowania nie zamierzają pobłażać takim praktykom, dlatego usunęli oni z rankingu programu przeszło 50 urządzeń od 25 producentów, które bazują na SoC z rodziny Helio. Jak podaje UL, urządzenia te widnieć będą teraz jako „nieklasyfikowane” w PCMark i umieszczane będą na samym końcu zestawienia androidowych telefonów. Jeśli zaś chodzi o konkretnie procesory, które stosowały nieuczciwe praktyki podczas testowania, to mowa tu o następujących modelach:

• MediaTek Helio G90
• MediaTek Helio G70
• MediaTek Helio P95
• MediaTek Helio P90
• MediaTek Helio P65
• MediaTek Helio P60
• MediaTek Helio P20
• MediaTek Helio A22

UL praktycznie potwierdziło to, co wcześniej odkryło w swoim śledztwie AnandTech i postanowiło upomnieć MediaTek za wprowadzające w błąd wyjaśnienia. „Wykorzystywanie ukrytego mechanizmu do wykrywania aplikacji benchmarków i wprowadzanie specjalnych optymalizacji pod te aplikacje nie jest akceptowalną praktyką w tej branży. Jest to w rzeczywistości przeciwieństwo akceptowalnych standardów. Co więcej, wyniki benchmarków bazujące na tego typu ukrytych optymalizacjach i ustawieniach pod konkretne aplikacje, które ustawione są domyślnie i niedostępne dla użytkownika, nie odzwierciedlają dokładnie prawdziwej wydajności urządzenia w codziennym użytkowaniu” - tłumaczy UL. Warto przypomnieć, że rzeczywiście tego typu praktyki stosowane są przez firmy nagminnie i wiele firm przyłapanych zostało wcześniej na ich stosowaniu, ale dotychczas chodziło o producentów smartfonów, a nie samych procesorów.