Alors que le Galaxy Note 3 commence à être testé un peu partout, nos confrères d'Ars Technica tirent la sonnette d'alarme : les scores issus des outils de mesures de performances sont faussés. En clair, Samsung triche à nouveau en modifiant le comportement du SoC qui prend place au cœur du smartphone.

Alors que le Galaxy Note 3 est disponible chez les revendeurs et opérateurs depuis la semaine dernière, il ne cesse de faire parler de lui... et pas forcément en bien. Il y a quelques jours nous vous indiquions que le smartphone était zoné géographiquement. Maintenant que les premiers tests apparaissent sur la toile, il semble que le constructeur ait eu la mauvaise idée d'inclure un mécanisme combinant le logiciel et le matériel lui permettant de passer devant les concurrents dans les résultats de nombreux outils de mesure de performances.

Un changement de comportement du SoC en fonction des applications...

Ce sont nos confrères d'Ars Technica qui dévoilent ce qui a été mis en place par la marque coréenne, et qui lui permet de gagner 20 % environ dans certains benchmarks. Le principe de fonctionnement est relativement simple. Une détection des applications est mise en place et si l'une de celles référencées par Samsung est trouvée, le comportement du SoC de Qualcomm change totalement.

Avec triche / Sans triche. Crédit image : Ars Technica

En effet, par défaut et afin de ne pas dévorer trop rapidement la batterie, un seul cœur est actif et fonctionne à 300 MHz au repos. C'est notamment le cas lorsqu'une application de test au nom modifié est lancée (ici Stealthbench). Seulement voilà, si cette dernière fait partie de la liste de Samsung, le SoC passe directement en mode performance et les quatre cœurs sont activés à 2,3 GHz, soit le maximum possible dans le cas du Snapdragon 800.

... qui donne Samsung grand vainqueur partout

Mais une fois le test lancé, quel est le résultat ? Pour l'exemple, nos confrères ont utilisé Geekbench 3.0 tel que distribué par le Play Store de Google. Ensuite, ils ont modifié l'application pour lui donner un autre nom (Stealthbench 3) afin que Samsung ne puisse pas le repérer. Et si lorsqu'un seul cœur exploité, les résultats sont seulement légèrement plus élevés, il en est tout autrement lorsque tous sont mis à contribution. Ars Technica rapporte alors des écarts de 20 % sont en faveur du Galaxy Note 3. Dans le cas de Linpack, c'est même jusqu'à 50 % de mieux.

Et la pilule passerait sans doute mieux si quelques applications utiles et autres jeux profitaient de cette « optimisation ». Mais non. On peut y voir que ce sont uniquement des benchmarks comme AnTuTu, GLBenchmark, Linpack, Quadrant, etc. qui sont concernés. Jusqu'ici la marque communiquait sur le fait que ces propres applications pouvaient aussi en tirer parti, ce qui ne semble pas le cas ici puisque les seuls outils Samsung référencés sont aussi des benchmarks.

La liste publiée par Ars Technica 

Une pratique qui questionne ceux qui ont à tester les produits de Samsung

Pour rappel, le Galaxy S4 équipé d'une puce Exynos avait déjà montré ce même type de triche. De quoi jeter un discrédit important sur la plupart des tests d'ores et déjà publiés qui ne tiennent pas compte de ce comportement, et qui n'ont d'ailleurs pas relevé les écarts évoqués. Anandtech en fait d'ailleurs déjà les frais et a eu à s'en expliquer au sein de ses commentaires.

Anand Lai Shimpi a d'ailleurs évoqué une large exploitation de cette pratique chez les marques qui intègrent Android, précisant qu'il avait déjà traité de cette problématique notamment dans le cas du Galaxy S4 et qu'il souhaite et incite les constructeurs à cesser ce genre de pratiques. Il semble en effet nécessaire que cela finisse par être le cas, à moins que l'on veuille revivre les pires années des tests CPU / GPU au sein du monde du mobile.

Une bidouille inutile : quel avenir pour les outils de mesure de performances ?

Quoi qu'il en soit, sans ce type de mécanisme, le Galaxy Note 3 obtient des scores équivalents au G2 de LG, ce qui est logique puisqu'ils exploitent la même puce. Reste qu'au final, cela jette un discrédit sur le fabricant coréen et sur le produit, alors que le smartphone en lui-même semble plutôt réussi et n'a pas vraiment besoin de ce type de choses pour sortir du lot.

C'est d'autant plus regrettable que Samsung vient de créer un consortium de constructeurs où l'on retrouve Broadcom, Huawei ou encore OPPO et qui aura pour but de produire un outil de mesure de performances : MobileBench. Vous retrouverez une présentation détaillée sur cette page. Ce n'est d'ailleurs pas sans rappeler l'initiative de Qualcomm sur ce même sujet. Espérons que cela ne soit pas dans le but de mieux pouvoir tricher.