Alors que le Galaxy Note 3 commence à être testé un peu partout, nos confrères d'Ars Technica tirent la sonnette d'alarme : les scores issus des outils de mesures de performances sont faussés. En clair, Samsung triche à nouveau en modifiant le comportement du SoC qui prend place au cœur du smartphone.
Alors que le Galaxy Note 3 est disponible chez les revendeurs et opérateurs depuis la semaine dernière, il ne cesse de faire parler de lui... et pas forcément en bien. Il y a quelques jours nous vous indiquions que le smartphone était zoné géographiquement. Maintenant que les premiers tests apparaissent sur la toile, il semble que le constructeur ait eu la mauvaise idée d'inclure un mécanisme combinant le logiciel et le matériel lui permettant de passer devant les concurrents dans les résultats de nombreux outils de mesure de performances.
Un changement de comportement du SoC en fonction des applications...
Ce sont nos confrères d'Ars Technica qui dévoilent ce qui a été mis en place par la marque coréenne, et qui lui permet de gagner 20 % environ dans certains benchmarks. Le principe de fonctionnement est relativement simple. Une détection des applications est mise en place et si l'une de celles référencées par Samsung est trouvée, le comportement du SoC de Qualcomm change totalement.
Avec triche / Sans triche. Crédit image : Ars Technica
En effet, par défaut et afin de ne pas dévorer trop rapidement la batterie, un seul cœur est actif et fonctionne à 300 MHz au repos. C'est notamment le cas lorsqu'une application de test au nom modifié est lancée (ici Stealthbench). Seulement voilà, si cette dernière fait partie de la liste de Samsung, le SoC passe directement en mode performance et les quatre cœurs sont activés à 2,3 GHz, soit le maximum possible dans le cas du Snapdragon 800.
... qui donne Samsung grand vainqueur partout
Mais une fois le test lancé, quel est le résultat ? Pour l'exemple, nos confrères ont utilisé Geekbench 3.0 tel que distribué par le Play Store de Google. Ensuite, ils ont modifié l'application pour lui donner un autre nom (Stealthbench 3) afin que Samsung ne puisse pas le repérer. Et si lorsqu'un seul cœur exploité, les résultats sont seulement légèrement plus élevés, il en est tout autrement lorsque tous sont mis à contribution. Ars Technica rapporte alors des écarts de 20 % sont en faveur du Galaxy Note 3. Dans le cas de Linpack, c'est même jusqu'à 50 % de mieux.
Et la pilule passerait sans doute mieux si quelques applications utiles et autres jeux profitaient de cette « optimisation ». Mais non. On peut y voir que ce sont uniquement des benchmarks comme AnTuTu, GLBenchmark, Linpack, Quadrant, etc. qui sont concernés. Jusqu'ici la marque communiquait sur le fait que ces propres applications pouvaient aussi en tirer parti, ce qui ne semble pas le cas ici puisque les seuls outils Samsung référencés sont aussi des benchmarks.
La liste publiée par Ars Technica
Une pratique qui questionne ceux qui ont à tester les produits de Samsung
Pour rappel, le Galaxy S4 équipé d'une puce Exynos avait déjà montré ce même type de triche. De quoi jeter un discrédit important sur la plupart des tests d'ores et déjà publiés qui ne tiennent pas compte de ce comportement, et qui n'ont d'ailleurs pas relevé les écarts évoqués. Anandtech en fait d'ailleurs déjà les frais et a eu à s'en expliquer au sein de ses commentaires.
Anand Lai Shimpi a d'ailleurs évoqué une large exploitation de cette pratique chez les marques qui intègrent Android, précisant qu'il avait déjà traité de cette problématique notamment dans le cas du Galaxy S4 et qu'il souhaite et incite les constructeurs à cesser ce genre de pratiques. Il semble en effet nécessaire que cela finisse par être le cas, à moins que l'on veuille revivre les pires années des tests CPU / GPU au sein du monde du mobile.
Une bidouille inutile : quel avenir pour les outils de mesure de performances ?
Quoi qu'il en soit, sans ce type de mécanisme, le Galaxy Note 3 obtient des scores équivalents au G2 de LG, ce qui est logique puisqu'ils exploitent la même puce. Reste qu'au final, cela jette un discrédit sur le fabricant coréen et sur le produit, alors que le smartphone en lui-même semble plutôt réussi et n'a pas vraiment besoin de ce type de choses pour sortir du lot.
C'est d'autant plus regrettable que Samsung vient de créer un consortium de constructeurs où l'on retrouve Broadcom, Huawei ou encore OPPO et qui aura pour but de produire un outil de mesure de performances : MobileBench. Vous retrouverez une présentation détaillée sur cette page. Ce n'est d'ailleurs pas sans rappeler l'initiative de Qualcomm sur ce même sujet. Espérons que cela ne soit pas dans le but de mieux pouvoir tricher.
Commentaires (75)
CCL : rien ne vaut simplement un vrai test dans des conditions réels ( jeux, navigation, … ) . Le benchmark c’est vraiment juste pour avoir le kikoo tout dur devant les autres …
En fait ils ne font que utiliser la techniques des constructeurs de voitures qui annoncent une consommation de 3L au 100 en roulant en sous-régime et en mettant 4 minutes à monter à 50 km/H et ne font pas de test de condition de conduite réelle
" />
" />
Bienvenue dans la société du culte des chiffres, des statistiques et du marketing
C’est comme dans les JT : on vous montre de belles courbes impressionnantes facile à comprendre, mais sans les unités ou échelles !
Entre les sim locké par région et la “triche” ds les bench, ils veulent vraiment soigner leur image chez Samy
" />
Je n’aimais déja pas Samsung, mais alors là, c’est de mal en pis.
" />
Comme dit par d’autres, ce qui prime je pense n’est pas le score dans les benchmark mais bien le ressenti dans les différentes applications : fluidité, graphismes aboutis dans les jeux, etc.
Pour le reste, si les constructeurs “s’amusent” à modifier ainsi le comportement du SoC sur tel ou tel soft, pourquoi ne pas faire des tests d’autonomie sur ces softs ? Ce genre d’astuces serait alors clairement visible…
OSEF des benchmarks.
Sur les tests de smartphones (et pas que…), je ne les regarde même pas.
Si les testeurs se sortaient les doigts pour faire des tests en utilisation réelle, Samsung ne s’embêterait pas à pondre des bidouilles de ce genre.
heueu, pas sure de tout piger là…
Leur super SoC à quatre cœurs, il tourne quand à 4*2,3Ghz alors ? si je comprend bien la news, il ne passerait en mode “perf” que pour les benchs… Même pas/plus pour les app Samsung utiles…
Genre super SmartPhone avec un processeur 4 coeurs@2,3Ghz ! Mais il est bridé en permanence à 1*300Mhz… lol
Juste pour le fun, qqn sait quelle autonomie il a avec les 4 coeurs à fond ? 15minutes ?
SVP, dites moi que j’ai rien pigé, paske sinon je vois vraiment pas l’intérêt d’un tel CPU dans un SmartPhone….
il serait surtout sympa que les utilisateurs puissent choisir eux-même quelles applications ils veulent lancer en mode “gaffe à la batterie” et lesquels lancer en mode “balance toute la sauce”.
Je vois pas où ils trichent en fait…. Sur mon pc quand je fais un bench mark, je stress mon hard pour connaître son potentiel maximum, pas savoir si pendant que je regarde un PowerPoint, seulement 1 coeur tourne. La pour moi c’est pareil, ça délivré le max de puissance dispo pour stresser les composants et connaître leur potentiel maximum !
Tout ça montre clairement que cette course effrénée aux spec techniques est un abération… Mon Z10 est bien plus rapide que mon ex S3 qui a pourtant des spec supérieures; simplement parce que BBOS n’est pas codé avec les pieds…
2 cores sont à l’heure actuelle largement suffisants pour tout, excepté ces bench à la con.
@dr_plans
Non tu n’as pas tout compris. En fait tu as bien 4 cœurs. Mais au repos un seul fonctionne à 300Mhz. Lorsqu’une application gourmande est lancée le téléphone augmente la vitesse du processeur graduellement puis arrivé au max il réveille les autres cœurs et les fait progressivement monter en fréquence pour rester dans une idée d’économie d’énergie. A terme les 4 cœurs seront à fond.
Le principe du test est de calculer des fonctions mathématique en un temps donné. Plus ce temps est court plus le mobile est performant. Donc le temps de la montée en charge des processeurs est une perte de performance qui impacte le score mais non les performances réelle de l’appareil.
En mettant directement les processeurs à fond Samsung améliore son score en évitant le temps de montée en charge.
En fait les applications de tests devraient fonctionner différemment en lançant des calculs de montés en charge avant d’enchainer avec les vrais calculs qu’il notera. Et la plus de triche pour personne.
[fail]
Cela montre intérêt des Benchmark ca ne calme personnes quand ont voit déjà les bench du futur nexus 5 .
" />
Bref tous les fabricants de puce ont bidouiller leur drivers pour avoir de beau score dans les tests .
Bref avec ou sans ce Benchmark truquer le note 3 est vraiment bien et pourtant je voulais plus de Samsung.
J’aimais bien la série bref lol
Si ça permet de troller les fanboy d’apple c’est pour la bonne cause.
[HS]
Moi je suis bien content que ma voiture reconnaisse le test anti pollution si c’est le cas. Si ça peut éviter à ces ahuris du contrôle technique de couler le moteur…
[/HS]
Ben c’est pas justement le but d’un benchmark, de voir ce que l’appareil peut realiser à son maximum ? … Forcément ca tourne pas à fond tout le temps… Enfin je ne vois pas le soucis.
Ouais bon perso je ne qualifierai pas la pratique de samsung de triche. S’il s’agit de bencher un matériel, il faut le pousser dans les derniers retranchements, donc enlever les bridages nécessaires au fonctionnement quotidien.
Ceci étant dit, les vrais fautifs sont certains clients qui ne jurent que par Antutu et autres Quadrant pour acheter un téléphone. On constate en plus qu’à processeur équivalent ils ont globalement le même niveau de performances.
Quand les accrocs aux benchs auront compris qu’aujourd’hui, tous les processeurs (Mediatek, Qualcomm, Samsung, Nvidia) sont bien assez puissant pour faire tourner Android y compris des jeux gourmands, on arrêtera de mettre cet argument en avant. Et en plus les joueurs sur mobile ce n’est vraiment pas la majorité.
Cela ressemble à ce qu’il se passait dans le monde du PC où il fallait avoir le processeur et la carte vidéo la plus puissante sinon on ne pouvait pas de servir du Notepad. Heureusement ce temps semble révolu, même un simple celeron/pentium est bien assez puissant pour ce que font 99% des gens avec leur PC.
Moi qui suis en train de me chercher un nouveau smartphone, les benchs me laissent froid. Par rapport à mon cahier des charges, le premier argument est le prix, ensuite la disponibilité, la version d’Android (sans surcouche) et le look. Le processeur, la marque, la mode je m’en fous comme l’an 14.
A+
C’est assez amusant: samsung est pris sur android, donc ce n’est pas normal.
Dans le monde du PC ca fait des années que ça dure, mais la il ne faut pas critiquer…
Ayez un peu de constance.
Pour moi, cela n’est pas normal dans les deux cas, tout simplement!
Aprés avoir eu affaire au SAV de Samsung, je suis pas prés de reprendre un de leur téléphone car quand je suis passé chez Free ils m’ont raccrocher au nez deux fois car il ne voulais pas m’aider à configuré les trois portable de ma famille, du coup ont à changer de marque et leur téléphone il peuvent se les coller ou je pense pour l’avenir.
les benchs on s’en fout ! le plus important c’est le ressenti utilisateur.
L’ayant en poche depuis bientot une semaine, rien qu’en mode économie d’énergie, je n’ai aucun lag, c’est pour dire, mon S3 laggait méchamment une fois bien chargé d’applis et avec le mode d’économie d’énergie désactivé…
du coup mon Note 3 reste constamment en économie d’énergie. Pas besoin de tant de puissance … pour le moment !