Nach einem recht umfangreichen Bericht von Anandtech.com scheint es, als befände sich das Becnhmarking auf Android-Geräten in eher ungünstigen Situation, da die meisten, wenn nicht sogar alle, Hersteller mittlerweile ein vergleichbares Ergebnis zerstören indem sie bei Tests icht die alltägliche Performance mit ihren Geräten zeigen, sondern die sogenannten "CPU/GPU-Optimierungen" zum Einsatz bringen um ihr Gerät vor der Konkurrenz zu platzieren.

Benchmark-Hersteller sind allerdings ebenfalls zu einem Teil dafür verantwortlich, da sie dafür verantwortlich wären Updates ihrer Produkte zu veröffentlichen, die ein Betrügen durch die Hersteller verhindern. So hat beispielsweise Rightware kürzlich ein Update veröffentlicht, mit dem Betrug durch Samsungs neuestes Galaxy Note 3 beim eigenen Basemark-X-Benchmark nicht mehr möglich ist.

Nicht nur Samsung sind an der Situation beteiligt, auch wenn das Unternehmen hinsichtlich solcher Betrüge in letzter Zeit sehr stark aufgefallen ist. Auch LG unternahm praktisch gleiche Betrüge mit dem LG-G2-Smartphone. Als einzige Ausnahme stehen derzeit Apple, die keine Konkurrenz auf dem iOS-Markt fürchten müssen und Motorola, die allerdings auch kein großer Spieler auf dem Markt sind.

Während sich im Bericht hauptsächlich auf AndEBench und Vellamo konzentriert wurde, merkte Anandtech.com an, dass es bestimmte andere Benchmarks gäbe, die von keinem Hersteller beeinflusst würden. Es gäbe zudem einige Unterschiede mit GPU-Benchmarks, die in Offscreen-Benchmarks sichtbar würden. Während die Onscreen-Benchmakrs stark vom Bildschirm abhängen, sollten die Offscreens eigentlich auf zwei gleichen GPUs identisch ausfallen.

Die Situation ist recht kritisch und wenn sich nichts ändert haben wir Benchmarks vorliegen, die einzig zeigen, wie gut einzelne Hersteller bei der Optimierung für die spezielle Software sind. Natürlich gibt es noch immer Unterschiede bei Treibern, allerdings beeinflussen diese nicht in einem solchen Ausmaß das Ergebnis, weshalb diese nicht als Ausrede herangezogen werden dürfen.

Wir hoffen, dass zumindest die Benchmark-Entwickler etwas unternehmen und wir mit zukünftigen Revisionen vergleichbare und alltagsnahe Ergebnisse sehen werden.



Quelle: Anandtech.com.