3DMark : une nouvelle version pour Android qui exclut les tricheurs

3DMark : une nouvelle version pour Android qui exclut les tricheurs

Quand on fait des bêtises, il ne faut pas se faire pincer

Avatar de l'auteur

Damien Labourot

Publié dansSociété numérique

26/11/2013
25
3DMark : une nouvelle version pour Android qui exclut les tricheurs

Futuremark vient de publier une nouvelle version de 3DMark pour Android. Estampillée 1.2.01232, celle-ci apporte quelques améliorations qui permettent une comparaison plus simple entre les différents terminaux. Mais la société en profite surtout pour supprimer les terminaux qui sont suspectés d'avoir triché pour maximiser leurs scores.

Au début du mois, Ars Technica dévoilait que Samsung trichait ouvertement dans les benchmarks avec son Galaxy Note 3. S'en est suivait alors un bilan complet chez AnandTech qui montrait que le géant coréen n'était pas le seul à abuser de telles pratiques, mais que d'autres constructeurs faisaient de même avec la plupart de leurs terminaux haut de gamme.

3DMark pour Android : de nouvelles options et des tricheurs en moins

Ensuite ce sont les développeurs qui ont commencé à réagir en publiant de nouvelles versions de leurs applications de mesure de performances, comme pour Basemark X, alors qu'AnTuTu promettait un tout nouvel outil. Futuremark, qui nous avait à l'époque indiqué s'être penché sur le problème, n'avait pas encore réagit. C'est désormais chose faite.

 

3DMark Android 3DMark Android

 

La société vient en effet de publier une nouvelle version de 3DMark pour Android qui est disponible sur le Play Store de Google. On peut voir que quelques améliorations sont présentes du côté du « Device Channel ». Tout d'abord, chaque système d'exploitation (Android, iOS, Windows) est affublé d'une couleur différente (bleu, vert ou violet) permettant une identification plus rapide, mais aussi d'effectuer des tris plus simplement. En outre, un meilleur support des puces NVIDIA et de certains Galaxy SIII de Samsung est de la partie.

 

Mais le plus intéressant avec cette nouvelle mouture est que les terminaux qui ont été identifiés comme « tricheurs » avec des scores trop élevés ont été retirés de la liste du « Device Channel ». Futuremark ne donne aucun exemple concret de terminal impacté, ni de détails sur sa procédure, mais l'on peut voir que les LG G2 ou Galaxy Note 3 de Samsung ont disparu des premières places du classement. 

 

3DMark Android

 

On retrouve à la place des smartphones comme le Galaxy S4 Advanced, les Xperia Z Ultra et Z1 de Sony avant la Kindle Fire HDX d'Amazon, qui sont tous équipés d'une puce Snapdragon 800 de Qualcomm. Viennent ensuite la SHIELD de NVIDIA (Tegra 4) ou encore le Nexus 5 (voir notre test). Cependant, un écart de plus de 1000 points sépare encore le smartphone haut de gamme de Samsung et celui de Google alors qu'ils disposent du même matériel... ce qui laisse à penser qu'un abus est peut-être encore de la partie.

 

Reste maintenant à savoir si Futuremark a ajouté un mécanisme de protection contre les abus des constructeurs ou si la base de données sera mise à jour régulièrement pour démasquer les éventuels fraudeurs. Nous avons interrogé la société pour en savoir plus.

25
Avatar de l'auteur

Écrit par Damien Labourot

Tiens, en parlant de ça :

Un Sébastien transformé en lapin par Flock pour imiter le Quoi de neuf Docteur des Looney Tunes

Quoi de neuf à la rédac’ #11 et résumé de la semaine

11:47 Next 0
Carte graphique AMD GeForce

Cartes graphiques : 30 ans d’évolution des GPU

Ha… la bonne époque d’un CF de 4870 X2 !

18:10 Hard 15

Google lance son opération de communications Gemini pour rivaliser avec OpenAI

Preprint not PR-print

17:31 IA 6

Sommaire de l'article

Introduction

3DMark pour Android : de nouvelles options et des tricheurs en moins

Un Sébastien transformé en lapin par Flock pour imiter le Quoi de neuf Docteur des Looney Tunes

Quoi de neuf à la rédac’ #11 et résumé de la semaine

Next 0
Carte graphique AMD GeForce

Cartes graphiques : 30 ans d’évolution des GPU

Hard 15

Google lance son opération de communications Gemini pour rivaliser avec OpenAI

IA 6
Ecran bleu de Windows

Linux : le composant systemd se dote d’un écran bleu de la mort

Soft 31
Une petite fille en train d'apprendre à programmer et hacker logiciels et appareils électroniques

Un roman graphique explique les logiciels libres aux enfants

SoftSociété 17
Nouveautés pour Messenger

Meta lance (enfin) le chiffrement de bout en bout de Messenger, entre autres

Socials 5

#LeBrief : cloud européen, OSIRIS-REx a frôlée la catastrophe, CPU AMD Ryzen 8040

Windows en 2024 : beaucoup d’IA, mais pas forcément un « 12 »

Soft 19
Einstein avec des qubits en arrière plan

Informatique quantique, qubits : avez-vous les bases ?

HardScience 9
Notifications iPhone

Surveillance des notifications : un sénateur américain demande la fin du secret

DroitSécu 17

En ligne, les promos foireuses restent d’actualité

DroitWeb 19

#LeBrief : modalité des amendes RGPD, cyberattaque agricole, hallucinations d’Amazon Q, 25 ans d’ISS

Logo Twitch

Citant des « coûts prohibitifs », Twitch quitte la Corée du Sud

ÉcoWeb 29
Formation aux cryptomonnaies par Binance à Pôle Emploi

Binance fait son marketing pendant des formations sur la blockchain destinées aux chômeurs

Éco 10
Consommation électrique du CERN

L’empreinte écologique CERN en 2022 : 1 215 GWh, 184 173 teqCO₂, 3 234 Ml…

Science 6
station électrique pour voitures

Voitures électriques : dans la jungle, terrible jungle, des bornes de recharge publiques

Société 75

#LeBrief : intelligence artificielle à tous les étages, fichier biométrique EURODAC

KDE Plasma 6

KDE Plasma 6 a sa première bêta, le tour des nouveautés

Soft 13
Un homme noir regarde la caméra. Sur son visage, des traits blancs suggèrent un traitement algorithmique.

AI Act et reconnaissance faciale : la France interpelée par 45 eurodéputés

DroitSociété 4
Api

La CNIL préconise l’utilisation des API pour le partage de données personnelles entre organismes

SécuSociété 3
Fouet de l’Arcep avec de la fibre

Orange sanctionnée sur la fibre : l’argumentaire de l’opérateur démonté par l’Arcep

DroitWeb 23
Bombes

Israël – Hamas : comment l’IA intensifie les attaques contre Gaza

IA 22

#LeBrief : bande-annonce GTA VI, guerre électronique, Spotify licencie massivement

Poing Dev

Le poing Dev – Round 7

Next 102
Logo de Gaia-X sour la forme d’un arbre, avec la légende : infrastructure de données en forme de réseau

Gaia-X « vit toujours » et « arrive à des étapes très concrètes »

WebSécu 6

Trois consoles portables en quelques semaines

Hard 37
Une tasse estampillée "Keep calm and carry on teaching"

Cyberrésilience : les compromis (provisoires) du trilogue européen

DroitSécu 3

#LeBrief : fuite de tests ADN 23andMe, le milliard pour Android Messages, il y a 30 ans Hubble voyait clair

next n'a pas de brief le week-end

Le Brief ne travaille pas le week-end.
C'est dur, mais c'est comme ça.
Allez donc dans une forêt lointaine,
Éloignez-vous de ce clavier pour une fois !

Commentaires (25)


Vanilys
Le 26/11/2013 à 10h23

Normal.
Je trouve déplorable les tricheries de Samsung et consorts pour grapiller des points.
Si je puis me permettre, ils feraient mieux de consacrer toute cette énergie à réellement optimiser leur OS, au lieu d’aller à la course au hardware et à la course aux benchmarks …

D’autres OS, comme Windows Phone, n’ont pas besoin d’une telle débauche de puissance pour être fluides… <img data-src=" />

Enfin, heureusement il semble que les nouvelles versions d’Android soient au fur et à mesure plus optimisées. Mais nécessitent quand même une puissance de base plus importante.


Charly32 Abonné
Le 26/11/2013 à 10h29

Honnêtement, j’achète pas un smartphone sur le critère de son score à 3Dmark. Pour une carte graphique à la limite…
Mais je préfère téléphone avec une bonne grosse autonomie (d’une journée? <img data-src=" />) plutôt qu’un téléphone qui va m’afficher des pixels dans un jeu de merde.
Le tout est qu’il soit suffisamment véloce pour le mail, surf et video.

Par contre une question sur la “tricherie” : les téléphones concernées n’augmentent leur fréquence que sur des benchs, ou aussi sur des grosses appli comme des jeux?

[edit] réponse à ma question avec le premier lien de l’article


NeoYoH
Le 26/11/2013 à 11h09

Dommage que pour Android la rom/kernel ne puisse pas être différencier :/

Sur mon Nexus 5 avec le kernel franco et la rom Cataklysm sans toucher aux fréquences je suis a 17600…

Bon après ça change RIEN niveau utilisation, ça reste ultra fluide même en rom stock donc bon c’est juste la guerre du “j’ai la plus grosse” :)


pyro-700
Le 26/11/2013 à 11h14

je trouve ca ridicule de comparer des smatphones. <img data-src=" />


Angelus69
Le 26/11/2013 à 11h19

<img data-src=" />note 3 et le LG 2 exclue s’est dur s’etait optimisation <img data-src=" /> enfin si il devrait le faire aussi sur nos pc oc comme des porcs .


molotofmezcal
Le 26/11/2013 à 11h26

En même temps dans les mobiles les benchs sont utiles pour différencier les différents soc et pas les smartphones entre eux. .
Du moment que l’on voit ce que vaut un S800 on s’en tamponne un peu des écarts ensuite, c’est pas comme s’il y avait 10000 soc possibles sur le segment haut de gamme.


Angelus69
Le 26/11/2013 à 11h30

Je viens de tester avec le note 3 c’est vrai ils ont retirer les scores enfin ont va dire que mon bidule est hors norme <img data-src=" />


yeagermach1
Le 26/11/2013 à 11h50






Angelus69 a écrit :

Je viens de tester avec le note 3 c’est vrai ils ont retirer les scores enfin ont va dire que mon bidule est hors norme <img data-src=" />


Ton français l’est c’est sur.



Charly32 Abonné
Le 26/11/2013 à 11h52






pyro-700 a écrit :

je trouve ca ridicule de comparer des smatphones. <img data-src=" />



Tu veux dire la puissance? Il faut bien pouvoir comparer pour pouvoir se décider à l’achat. Mais je te rejoins sur le fait que ce genre de benchs ne servent qu’au kikoomètre. Je préfèrerais des tests plus pratiques, du genre temps de calcul d’un itinéraire sur GPS, exécution d’un site complexe etc.



Angelus69 a écrit :

:enfin si il devrait le faire aussi sur nos pc oc comme des porcs .



L’OC PC tu as la main dessus. Si les constructeurs se contentaient d’augmenter la fréquence pour TOUS les usages lourds et non seulement les benchs, ça ne poserait pas de problème, ce serait juste de l’optimisation (comme les fréquences turbo des processeur PC finalement).



Zerbus
Le 26/11/2013 à 12h01

Perso l’intéret principal que je vois à la puissance pour un téléphone (à partir d’un certain niveau) c’est de l’émulation de nintendo DS.
Il y a des jeux qui me font envie dessus mais je n’ai pas l’intention d’acheter la console juste pour ça. Mais sur mon note 2 ça rame vraiment trop <img data-src=" />


levhieu
Le 26/11/2013 à 12h01






Charly32 a écrit :

…Si les constructeurs se contentaient d’augmenter la fréquence pour TOUS les usages lourds et non seulement les benchs, ça ne poserait pas de problème…



Euh, et la batterie ?



d4rkf4b
Le 26/11/2013 à 12h05






PCInpact a écrit :

3DMark : un nouvelle version pour Android qui exclut les tricheurs



Ils ont supprimé la Surface Pro et la Surface 2 Pro?

Sur la version précédente, elles étaient en tête du classement avec leur core i3/5 et leur GPU Intel HD <img data-src=" />



yeagermach1
Le 26/11/2013 à 12h13






d4rkf4b a écrit :

Ils ont supprimé la Surface Pro et la Surface 2 Pro?

Sur la version précédente, elles étaient en tête du classement avec leur core i3/5 et leur GPU Intel HD <img data-src=" />


Ben ils peuvent virer les surfaces pro et surface 2 pro de l’application android, cela généra pas trop.

Sinon, ils trichent pas, ils disent clairement quel est leur proc et a quelle fréquence il fonctionne.



Charly32 Abonné
Le 26/11/2013 à 12h20






levhieu a écrit :

Euh, et la batterie ?


C’est bien pour elle qu’on augmente la fréquence que dans les usages lourds ;)



d4rkf4b
Le 26/11/2013 à 13h28






yeagermach1 a écrit :

Ben ils peuvent virer les surfaces pro et surface 2 pro de l’application android, cela généra pas trop.

Sinon, ils trichent pas, ils disent clairement quel est leur proc et a quelle fréquence il fonctionne.


Et le PC gamer dernier cri il est à mettre dans le même classement alors ( archi x86, win8.1,etc… comme les surfaces pro et surface 2 pro)



yeagermach1
Le 26/11/2013 à 13h34






d4rkf4b a écrit :

Et le PC gamer dernier cri il est à mettre dans le même classement alors ( archi x86, win8.1,etc… comme les surfaces pro et surface 2 pro)


Y a une légère différence entre une tablette X86 et un ordi gamer …



d4rkf4b
Le 26/11/2013 à 13h57






yeagermach1 a écrit :

Y a une légère différence entre une tablette X86 et un ordi gamer …


Et entre un smartphone ARM et une tablette X86?

Disons une énorme différence… C’est bien le problème!



yeagermach1
Le 26/11/2013 à 14h13






d4rkf4b a écrit :

Et entre un smartphone ARM et une tablette X86?

Disons une énorme différence… C’est bien le problème!


Ça reste la même gamme de produit : les tablettes/smartphones. Alors que dans ton précédent com, tu comparais deux produits de gammes vraiment différentes.



dematbreizh Abonné
Le 26/11/2013 à 14h37






Charly32 a écrit :

Mais je préfère téléphone avec une bonne grosse autonomie (d’une journée? <img data-src=" />) plutôt qu’un téléphone qui va m’afficher des pixels dans un jeu de merde.


Tu n’as qu’à choisir que des bon jeux ;)



d4rkf4b
Le 26/11/2013 à 15h16






yeagermach1 a écrit :

Ça reste la même gamme de produit : les tablettes/smartphones.Ça reste la même gamme de produit


Tout depend du point de vue…
Sur la form factor, OK…
Sur l’architecture, non!


yeagermach1 a écrit :

Alors que dans ton précédent com, tu comparais deux produits de gammes vraiment différentes.


<img data-src=" />… C’est 3Dmark!



Kethounet
Le 26/11/2013 à 16h32

Et en attendant on a toujours pas le score 3dmark du large pixel collider…


trshbn
Le 27/11/2013 à 07h15






Charly32 a écrit :

Je préfèrerais des tests plus pratiques, du genre temps de calcul d’un itinéraire sur GPS, exécution d’un site complexe etc.


+1 <img data-src=" />

Tout à fait d’accord avec toi : même si on peut se douter qu’un score élevé signifie que les applis vont tourner plus vite, ça reste à démontrer en pratique (surcouche logicielle constructeur, matériel différent, efficacité des antennes, optimisation des drivers, etc…).
Par exemple, mon smartphone capte très difficilement le signal GPS… du coup, Google Navigation n’est pas du tout efficace ni pratique, contrairement au téléphone de ma copine, bien moins puissant sur le papier, mais qui accroche un satellite en moins de deux (et ne le lâche pas en cours de route, en plus…).
Et en plus, les benches pourraient servir et être compris par tout le monde du coup!



dam1605 Abonné
Le 27/11/2013 à 07h38






Charly32 a écrit :

Je préfèrerais des tests plus pratiques, du genre temps de calcul d’un itinéraire sur GPS, exécution d’un site complexe etc.




trshbn a écrit :

Tout à fait d’accord avec toi : même si on peut se douter qu’un score élevé signifie que les applis vont tourner plus vite, ça reste à démontrer en pratique (surcouche logicielle constructeur, matériel différent, efficacité des antennes, optimisation des drivers, etc…).
Par exemple, mon smartphone capte très difficilement le signal GPS… du coup, Google Navigation n’est pas du tout efficace ni pratique, contrairement au téléphone de ma copine, bien moins puissant sur le papier, mais qui accroche un satellite en moins de deux (et ne le lâche pas en cours de route, en plus…).
Et en plus, les benches pourraient servir et être compris par tout le monde du coup!



Un bench qui évalue des temps de calculs d’applications spécifiques ça sert pas à grand chose: ça dépend plus de l’application (ou de la version de l’application) que du téléphone. Il suffit d’un indicateur de performance global pour se faire une idée.
Surtout que dans bien des cas le calcul est pas fait sur le smartphone.

Par contre quelque chose qui évalue vraiment le hardware:
par exemple la qualité de la reception des différents modules (gps, wifi, etc..) et leur gourmandise en W serait beaucoup plus intéressant.



Charly32 Abonné
Le 27/11/2013 à 11h21






dam1605 a écrit :

Un bench qui évalue des temps de calculs d’applications spécifiques ça sert pas à grand chose: ça dépend plus de l’application (ou de la version de l’application) que du téléphone. Il suffit d’un indicateur de performance global pour se faire une idée.
Surtout que dans bien des cas le calcul est pas fait sur le smartphone.

Par contre quelque chose qui évalue vraiment le hardware:
par exemple la qualité de la réception des différents modules (gps, wifi, etc..) et leur gourmandise en W serait beaucoup plus intéressant.



La gourmandise en W c’est assez complexe à relever, et ça ne va pas parler à grand monde. Mieux vaut parler en autonomie (5h en comm, 7h en lecture vidéo etc).
On trouve également trop peu d’indications sur la capacité des téléphone à accrocher un réseau. Le nombre de fois où je suis obligé de passer mon 4S en mode avion pour qu’il raccroche la 3G (bon je suis chez Free aussi, ça l’aide pas le pauvre <img data-src=" />)

Tout ça pour dire que les chiffres théoriques c’est bien beau, mais ça ne reflète pas forcement l’usage. Exactement ce qu’il se passe pour la couverture réseau : la méthode ARCEP et la méthode UFC-Que Choisir. L’une est adaptée pour ce qui est contractuel/Ingénierie (définition claire, mesurable) et l’autre intéressera réellement l’utilisateur.



yeagermach1
Le 27/11/2013 à 14h24






dam1605 a écrit :

Un bench qui évalue des temps de calculs d’applications spécifiques ça sert pas à grand chose: ça dépend plus de l’application (ou de la version de l’application) que du téléphone. Il suffit d’un indicateur de performance global pour se faire une idée.
Surtout que dans bien des cas le calcul est pas fait sur le smartphone.

Par contre quelque chose qui évalue vraiment le hardware:
par exemple la qualité de la reception des différents modules (gps, wifi, etc..) et leur gourmandise en W serait beaucoup plus intéressant.


Franchement on pourrait imaginer que le test consiste a utiliser le tel pendant une semaine et en donner les points positifs et négatifs après coup. L’autonomie dans une vrai utilisation, l’efficacité du GPS, … En gros sortir des laboratoires de test …

Si c’est la même personne qui fait le test a chaque fois, l’écart type d’utilisation entre deux semaines de travail sera négligeable.

MS avait communiqué sur cela dans ses pubs : le temps de faire des opérations courantes entre ses téléphones et ceux de ses concurrents. C’est a mon sens bien plus intelligent que les bagarres de chiffres autours des benchs et des spécifications.