Selon un rapport assez conséquent sur Anandtech.com, il apparaît que l'analyse comparative des Smartphones Android se trouve plutôt dans une mauvaise situation considérant le fait que la plupart des fabricants, si ce n'est pas tous, trichent dans quasiment tous les benchmarks, rendant ainsi impossible de faire une review représentant la performance réelle d'un Smartphone. La plupart des fabricants utilisent ce soi-disant "CPU/GPU optimisation" dans le but de placer leurs Smartphones au-dessus de toute concurrence.

Les créateurs de benchmark ont aussi leur part de responsabilité dans cette histoire car ils se doivent de les mettre à jour, quelque chose qu'a d'ailleurs fait Rightware plutôt cette semaine lorsqu'ils ont remarqué que le dernier Galaxy Note 3 de Samsung ciblait leur propre benchmark Basemark X.

La situation n'est pas limitée à Samsung, bien qu'ayant été attrapé à le faire un peu plus largement que les autres fabricants, mais LG fait pratiquement la même chose avec son Smartphone LG G2. La seule exception à l'heure actuelle est Apple, qui n'a pas de concurrence dans le marché iOS et qui n'a donc pas vraiment besoin d'optimisation tout comme Motorola, qui n'est pas vraiment un gros concurrent de toute manière.

Dans ce rapport il est surtout question des benchmarks AndEBench et Vellamo et Anandtech.com a noté qu'il y a certainement encore d'autres benchmarks qui sont influencés par certains fabricants.

La situation est à un point critique à présent et si cela continue ainsi nous aurons des benchmarks qui nous montrerons comment le fabricant a réussi à optimiser son Smartphone pour un certain benchmark et rien concernant les véritables performances de l'appareil. Bien sûr, il y a toujours des différences dans les drivers ainsi que dans d'autres petites choses mais tout ceci ne devrait pas influencer les benchmarks aussi significativement que ces optimisations ne le font.

Nous espérons que les créateurs des benchmarks vont essayer de freiner ces tentatives afin de rendre cela trop difficile pour les fabricants de Smartphones de faire leurs petites optimisations et que finalement ils se voient contraint à abandonner cette mauvaise pratique.




Source: Anandtech.com.