Connexion
Abonnez-vous

Futuremark adapte ses benchmarks au X99 et dénonce la triche de Huawei

Et ça continue, encore et encore...

Futuremark adapte ses benchmarks au X99 et dénonce la triche de Huawei

Le 05 septembre 2014 à 12h00

Suite à l'arrivée du nouveau chipset X99 et des processeurs Haswell-E sur le marché, Futuremark vient de publier une mise à jour pour ses outils de mesure de performances. Dans le même temps, la société continue de dénoncer la triche de certains fabricants, et a pénalisé l'Ascend P7 de Huawei.

De manière régulière, Futuremark met à jour son outil SystemInfo qui permet de récupérer des informations sur les composants de la machine et qui permet à ses benchmarks de fonctionner correctement. Avec la mouture 4.30 qui vient d'être publiée, le but est de supporter officiellement la nouvelle plateforme d'Intel basée sur le chipset X99 (voir notre analyse). En effet, sans cette mise à jour, ses outils plantent, ce qui peut être problématique.

 

Notez que cela ne change rien au score et que ce module séparé peut être téléchargé de manière indépendante de façon assez rapide, puisqu'il pèse moins de 3 Mo. 

 

Il y a quelques jours, la société avait déjà fait parler d'elle, mais pour un motif plus grave. En effet, il semblerait que certains constructeurs continuaient de tricher afin d'obtenir de meilleurs scores, ceux-ci servant souvent de sujet principal d'analyse et de comparaison parmi la multitude d'appareils mobiles sur le marché. Certaines marques se sont déjà fait prendre la main dans le sac, comme Samsung ou bien d'autres. Futuremark avait ainsi déjà exclu plusieurs modèles de ses résultats.

 

Aujourd'hui, c'est au tour de l'Ascend P7 de Huawei d'être visé et dénoncé dans une annonce publique. On y apprend que suite à un article d'Anandtech, la société a pu constater une augmentation du score de près de 30 % qui ne se constate pas lorsque l'application est renommée. Une pratique interdite par les règles de 3DMark imposées aux constructeurs. En effet, détecter un logiciel spécifique par son nom est une manière de ne pas refléter l'usage rencontré dans d'autres applications largement utilisées au quotidien, tout en maximisant ses chances d'être en tête des comparatifs et de faire le buzz en amont de l'arrivée du produit sur le marché.

 

Espérons que cela serve de leçon à Huawei, mais aussi aux testeurs et autres éditeurs d'outils de mesure de performances qui doivent rester vigilants face à de telles pratiques.

Commentaires (34)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar







Arnaud3013 a écrit :



Les 4 points sur 5 se réfèrent à ta connexion pour les appels par la connexion pour la data. Enfin sauf si je me trompe. Du coup tu ne peux pas estimer ta connexion avec ça.









digital-jedi a écrit :



Bonjour,

Ce serait complétement con alors qu’il t’affiche H ou H+ ou 3G ou 4G vu qu’une simple connexion 2G permet de passer un appel. Cette distinction de bande est justement intéressante pour du débit de data !







Les bandes c’est lié à la qualité du signal (rapport signal sur bruit, force…). A la base rien a voir avec de la data ou autre. C’est juste un indicateur de la qualité de la connection avec l’antenne.



Il me semble nénamoins que en 4G, la modulation fluctue en fonction de la qualité de signal pour offrir plus débit ou plus de robustesset.


votre avatar







dam1605 a écrit :



Les bandes c’est lié à la qualité du signal (rapport signal sur bruit, force…). A la base rien a voir avec de la data ou autre. C’est juste un indicateur de la qualité de la connection avec l’antenne.





Sauf que de la 2G suffit et a toujours suffi pour passer un appel sans perturbations. Les autres bandes sont arrivées pour augmenter la bande passante et le débit et permettre de la data.


votre avatar







dam78 a écrit :



Tu n’es pas Parisien mais moi si, et malgré un iPhone 5s affichant 4 points sur 5 en 4G, rechercher “toto” sur google prenait 20 à 30s, google maps impossible …

Je suis retourné chez Bouygues moins de 8 jours après mon arrivée chez Free.



PS: ça date de juillet 2014 ! Pas des 1ères semaines de Free



<img data-src=" />







Les 4 points sur 5 se réfèrent à ta connexion pour les appels par la connexion pour la data. Enfin sauf si je me trompe. Du coup tu ne peux pas estimer ta connexion avec ça.


votre avatar







athlon64 a écrit :



oui donc le problème n’est pas le logiciel, mais les acheteurs et les constructeurs qui veulent toujours faire moins cher (pas cher c’est trop cher). Suivant les tests, tu en as qui te mettent les Bench, ca te donne un ordre de grandeur. Mais quand ils testent l’interface, la fluidité, la ils précisent généralement si ca va ou non. Faut pas juste lire un tableau de bench, mais les tests en entier. De plus, si une personne fait une recherche de test pour un produit, tu peux aussi trouver des avis de consommateurs qui te décrivent plus facilement l’usage quotidien.







<img data-src=" /> c’est son fond de commerce à ce logiciel, dire qu’il n’y est pour rien, c’est assez amusant. C’est lui le pousse au crime. Les devs de ce logiciel sont aussi coupable que les fabricants, les testeurs et les acheteurs.


votre avatar







metaphore54 a écrit :



<img data-src=" /> c’est son fond de commerce à ce logiciel, dire qu’il n’y est pour rien, c’est assez amusant. C’est lui le pousse au crime. Les devs de ce logiciel sont aussi coupable que les fabricants, les testeurs et les acheteurs.





oui il permet d’avoir les perfs brutes d’une machine, il ne se prétend pas te dire si ton téléphone sera optimisé et si il sera fluide. Si tu vois que le score est au niveau d’un Samsung Galaxy Sx par exemple, alors normalement ca devrait être fluide. Mais le mieux reste le test en utilisation réelle et pas juste se fier a un bench. Les gens devraient un peu réfléchir.



Personnellement, je m’y connais très peu en système audio, je demande donc a mes connaissances qui s’y connaissent plus et cherchent pas mal sur Internet. (Bon Ok, y a pas de logiciels de bench, mais sur le principe c’est le même, recouper les tests et pas se fier juste a une “fiche technique”)


votre avatar

C’est quoi cette histoire de renommage ?

votre avatar

oui, il faut vraiment que Huawei revoie la façon de détecter qu’un benchmark est en cours. Le nom de l’application, c’est trop basique !

<img data-src=" />

votre avatar







Inny a écrit :



Nope, ça a été démontré.





Le <img data-src=" /> c’est la manière de le sortir :) À partir du moment où un bench est pris pour référence, tous tricheront de manière plus ou moins discrète.


votre avatar







Ddrimene a écrit :



Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?







J’habite dans une zone où l’on reçoit peu… selon les cas !

Souvent le tel affiche un joli H comme type de connexion mais impossible d’obtenir la moindre data… Il suffit de lancer un speedtest et, ho magie, la data est rétablie pour un temps…



… maintenant, est-ce Free ou l’antenne orange sur laquelle je suis ?


votre avatar







YesWeekEnd a écrit :



J’habite dans une zone où l’on reçoit peu… selon les cas !

Souvent le tel affiche un joli H comme type de connexion mais impossible d’obtenir la moindre data… Il suffit de lancer un speedtest et, ho magie, la data est rétablie pour un temps…



… maintenant, est-ce Free ou l’antenne orange sur laquelle je suis ?





Pareil, tant que j’ai le H+ pas de soucis, mais dès que ça tombe en H ou pire, en 3G, c’est fini, pas la moindre donnée (et je détaille pas pour le E c’est uniquement décoratif).


votre avatar







Kethounet a écrit :



C’est quoi cette histoire de renommage ?





Et bien dans leur tel, ils mettent un petit bout de code du style:



if nom_de_lappli_kitourne==“benchmark_machin” then



  processeur.tourne\_a\_fond(); // durée de vie de la batterie: 1h   



else



  processeur.tourne\_normal(); // durée de vie de la batterie: 8h   



end



Et si tu renomme l’appli “benchmark_machin” en “facebook” ou “toto” par exemple, ben tu retrouve le vrai score du mode normal du processeur.


votre avatar

Ce genre de test ne veut rien dire sans rapporter les résultats à l’autonomie : combien de temps le bench peut-il tourner est une information précieuse et qui mettrait à mal les tricheurs.



Ensuite le résultat ne reflète en rien sur la fluidité et la réactivité de l’appareil (honnêtement mon téléphone ne me sert pas a lancer des calculs mais bien à passer de l’appli mail à Facebook et revenir sur NXi)

votre avatar







Toea a écrit :



[…]





D’acc’ou’d’acc, merci bien.


votre avatar







arcetnathon a écrit :



Y a pas besoin d’être Futurmark pour voir les tricheurs.

Un simple bench Onscreen vs Offscreen permet de voir les tricheurs. Quand tu vois les différences délirantes sur ces tests, c’est pas trop compliqué.



Quand un Smartphone a un écran de 1080p, qu’ils soit Off ou On screen, il est censé obtenir… le meme score !



Mais c’est normal, les Chinois ont bien compris que le seul truc qui occupe l’esprit, c’est le rapport puissance / prix, ils affichent le score que les utilisateurs veulent voir, meme si c’est au prix de petits arrangements.





Non. Le rendu Onscreen est généralement plus rapide que le rendu Offscreen. Le GPU ne le traite pas de la même façon.


votre avatar







Arnaud3013 a écrit :



Les 4 points sur 5 se réfèrent à ta connexion pour les appels par la connexion pour la data. Enfin sauf si je me trompe. Du coup tu ne peux pas estimer ta connexion avec ça.





Bonjour,

Ce serait complétement con alors qu’il t’affiche H ou H+ ou 3G ou 4G vu qu’une simple connexion 2G permet de passer un appel. Cette distinction de bande est justement intéressante pour du débit de data !





Toea a écrit :



Et bien dans leur tel, ils mettent un petit bout de code du style:

if nom_de_lappli_kitourne==“benchmark_machin” then



  processeur.tourne\_a\_fond(); // durée de vie de la batterie: 1h   



else



  processeur.tourne\_normal(); // durée de vie de la batterie: 8h   



end

Et si tu renomme l’appli “benchmark_machin” en “facebook” ou “toto” par exemple, ben tu retrouve le vrai score du mode normal du processeur.





<img data-src=" /> pour l’explication <img data-src=" />


votre avatar







MasterDav a écrit :



Numéricable (ils ont même leur propre serveur speedtest à Massy).





Ils le font toujours ?


votre avatar







Zulgrib a écrit :



Ils le font toujours ?





Ca m’étonnerait… Sur ma connexion 100 Mbps descendant, speedtest m’indique 4.89 Mbps… Et je tourne souvent entre 10 et 20 Mbps.

Pourtant j’ai bien le débit : j’ai déjà approché le maximum sur des torrents bien actifs.


votre avatar







vampire7 a écrit :



Ca m’étonnerait… Sur ma connexion 100 Mbps descendant, speedtest m’indique 4.89 Mbps… Et je tourne souvent entre 10 et 20 Mbps.

Pourtant j’ai bien le débit : j’ai déjà approché le maximum sur des torrents bien actifs.





Merci


votre avatar

C’est du dopage numérique <img data-src=" />

votre avatar

Comme si on pouvait se fier à ces tests

votre avatar

Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?

votre avatar







Ddrimene a écrit :



Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?





Numéricable (ils ont même leur propre serveur speedtest à Massy).


votre avatar







Ddrimene a écrit :



Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?





on est vendredi toussa toussa <img data-src=" />


votre avatar

Au lieu de simplement exclure les appareils, ils devraient les laisser avec une mention “tricheur” bien visible de tous, ça serait plus dissuasif.

votre avatar







sebcap26 a écrit :



Au lieu de simplement exclure les appareils, ils devraient les laisser avec une mention “tricheur” bien visible de tous, ça serait plus dissuasif.







pas bête en effet

C’est pire pour l’image de marque.

Après attention aux éventuels poursuite…. :-/


votre avatar







Ddrimene a écrit :



Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?







Ca me rappelle ma mésaventure d’il y a 2 mois.

J’étais devant mon bureau de banque à attendre désespérément qu’une pauvre page web s’ouvre sur mon Note3 (recherche google mettant 4mn à repondre (montre en main), l’accès au fofo d’HFR a mis 8mn montre en main)), je me décide à vérifier la H+ qui me narguait en haut à droite de mon appareil.



Ni une, ni deux, je lance speedtest, et là, le verdict tombe =&gt; j’ai 9Mb en download mais je ne peux afficher une seule page web avant de m’endormir d’ennui.



Du coup, je me dis que j’aimerai un VPN directement relié à l’adresse de Speedtest histoire d’avoir mieux qu’un quart de la puissance de la data EDGE avec Free.



*edit: oui, je ne suis pas Parisien ni résidant des 10 plus grosses villes de France.

*edit2: mon histoire se termine bien car après plus de 15mn dans la rue, j’ai pu accéder à mes MP du fofo pour faire mon virement extérieur.


votre avatar







feuille_de_lune a écrit :



on est vendredi toussa toussa <img data-src=" />





Nope, ça a été démontré.


votre avatar

30% ! Les mecs sont pas discrets en même temps… Un petit 10% c’est déjà plus filou.



Les gars du marketing doivent tellement mettre de pression que certains développeurs doivent craquer… <img data-src=" />

votre avatar







Pepes003 a écrit :



Ca me rappelle ma mésaventure d’il y a 2 mois.

J’étais devant mon bureau de banque à attendre désespérément qu’une pauvre page web s’ouvre sur mon Note3 (recherche google mettant 4mn à repondre (montre en main), l’accès au fofo d’HFR a mis 8mn montre en main)), je me décide à vérifier la H+ qui me narguait en haut à droite de mon appareil.



Ni une, ni deux, je lance speedtest, et là, le verdict tombe =&gt; j’ai 9Mb en download mais je ne peux afficher une seule page web avant de m’endormir d’ennui.



Du coup, je me dis que j’aimerai un VPN directement relié à l’adresse de Speedtest histoire d’avoir mieux qu’un quart de la puissance de la data EDGE avec Free.



*edit: oui, je ne suis pas Parisien ni résidant des 10 plus grosses villes de France.

*edit2: mon histoire se termine bien car après plus de 15mn dans la rue, j’ai pu accéder à mes MP du fofo pour faire mon virement extérieur.









Tu n’es pas Parisien mais moi si, et malgré un iPhone 5s affichant 4 points sur 5 en 4G, rechercher “toto” sur google prenait 20 à 30s, google maps impossible …

Je suis retourné chez Bouygues moins de 8 jours après mon arrivée chez Free.



PS: ça date de juillet 2014 ! Pas des 1ères semaines de Free



<img data-src=" />


votre avatar

Y a pas besoin d’être Futurmark pour voir les tricheurs.

Un simple bench Onscreen vs Offscreen permet de voir les tricheurs. Quand tu vois les différences délirantes sur ces tests, c’est pas trop compliqué.



Quand un Smartphone a un écran de 1080p, qu’ils soit Off ou On screen, il est censé obtenir… le meme score !



Mais c’est normal, les Chinois ont bien compris que le seul truc qui occupe l’esprit, c’est le rapport puissance / prix, ils affichent le score que les utilisateurs veulent voir, meme si c’est au prix de petits arrangements.

votre avatar

En même temps ce genre de petit logiciel oblige les fabricants à tricher, gare à ceux qui se font/feront prendre le doigt dans le pot de confiture.

votre avatar







metaphore54 a écrit :



En même temps ce genre de petit logiciel oblige les fabricants à tricher, gare à ceux qui se font/feront prendre le doigt dans le pot de confiture.





<img data-src=" /> pourquoi obliger ? Tu fais des téléphones pourris c’est ton problème, pas celui des editeur de ce logiciel.



Après, faut toujours le répéter mais le bench donne un ordre d’idée, mais le mieux c’est de voir la fluidité dans les menus etc. (surtout sur Android avec les surcouche <img data-src=" />)


votre avatar







athlon64 a écrit :



<img data-src=" /> pourquoi obliger ? Tu fais des téléphones pourris c’est ton problème, pas celui des editeur de ce logiciel.



Après, faut toujours le répéter mais le bench donne un ordre d’idée, mais le mieux c’est de voir la fluidité dans les menus etc. (surtout sur Android avec les surcouche <img data-src=" />)







Le but est d’être adopté et les performances sont mis dans certains tests et pris pour argent comptant par beaucoup d’acheteurs influant de smartphone. Donc si tu veux vendre il montrer que ce soit vrai ou non que ton appareil est très bon en performance.


votre avatar







metaphore54 a écrit :



Le but est d’être adopté et les performances sont mis dans certains tests et pris pour argent comptant par beaucoup d’acheteurs influent de smartphone. Donc si tu veux vendre il montrer que ce soit vrai ou non que ton appareil est très bon en performance.





oui donc le problème n’est pas le logiciel, mais les acheteurs et les constructeurs qui veulent toujours faire moins cher (pas cher c’est trop cher). Suivant les tests, tu en as qui te mettent les Bench, ca te donne un ordre de grandeur. Mais quand ils testent l’interface, la fluidité, la ils précisent généralement si ca va ou non. Faut pas juste lire un tableau de bench, mais les tests en entier. De plus, si une personne fait une recherche de test pour un produit, tu peux aussi trouver des avis de consommateurs qui te décrivent plus facilement l’usage quotidien.


Futuremark adapte ses benchmarks au X99 et dénonce la triche de Huawei

Fermer