Connexion
Abonnez-vous

Autonomie : Consumer Reports change son fusil d’épaule et recommande les MacBook pro

Free hug

Autonomie : Consumer Reports change son fusil d'épaule et recommande les MacBook pro

Le 16 janvier 2017 à 13h00

Consumer Reports estime désormais que le problème avec les batteries des nouveaux MacBook Pro est désormais réglé. Les tests affichant des résultats cohérents désormais, les machines obtiennent le fameux statut « Recommandé » du magazine.

La polémique n’aura finalement duré que trois semaines. Le magazine Consumer Reports, équivalent américain de 60 Millions de consommateurs en France, avait publié peu avant Noel un article indiquant que les derniers MacBook Pro d’Apple n’étaient pas recommandés. En cause, des autonomies incohérentes en fonction des tests. Le résultat était sans appel : des machines non recommandés, l’autonomie retenue étant systématiquement la plus basse.

Des conseils qui avaient fait réagir Apple. La firme s'est ainsi penchée sur le protocole de test de Consumer Reports et a découvert qu’une option spécifique pour la mise en cache des pages web avait été activée. Ce réglage est normalement disponible en mode développeur sous Safari, l’avis de l’entreprise étant qu’il ne s’agit donc pas d’une configuration standard. Par ailleurs, un bug a été détecté, provoquant un rafraîchissement constant des icônes. Le magazine avait donc indiqué qu’il referait ses tests.

De nouveaux tests aux résultats uniformes...

Maintenant que ces derniers sont en ligne, la conclusion est totalement différente : les MacBook Pro sont désormais recommandés. Les temps moyens relevés sont :

  • MacBook Pro 13 pouces avec Touch Bar : 15h45
  • MacBook Pro 13 pouces sans Touch Bar : 18h45
  • MacBook Pro 15 pouces avec Touch Bar : 17h15

Les temps ne correspondent pas à des utilisations « classiques » dans le sens où les tests de Consumer Reports ne font qu’afficher un lot de sites web en boucle, les ressources étant chargées depuis un serveur local. Cependant, à la grande différence du mois dernier, les résultats obtenus sont cohérents entre les trois passes réalisées à chaque fois.

Notez cependant que le protocole, s’il n’a pas changé (le même pour tous les portables testés par le magazine), a impliqué cette fois l’installation d’un correctif fourni par Apple dans la dernière bêta de macOS. Il est étrange d’ailleurs que Consumer Reports ait quand même publié ses premiers chiffres en décembre, puisqu’il indique que leur incohérence avait été signalée à Apple, les testeurs se doutant d’un problème de ce type.

... qui ne répondent pas à toutes les questions

Signalons enfin que même si Consumer Reports recommande désormais ces machines, cela ne répond pas pour autant à toutes les questions. Les forums d’Apple contiennent de nombreux témoignages au sujet d’une autonomie qui peut varier fortement en fonction des cas. Quand le vice-président Phil Schiller avait annoncé sur Twitter travailler avec Consumer Reports pour comprendre les premiers résultats, la plupart des réponses concernaient de tels problèmes. Plusieurs sites, comme The Verge et Engadget, avaient par ailleurs relevé d’étranges variations, même si beaucoup moins importantes que chez Consumer Reports.

Commentaires (40)

Vous devez être abonné pour pouvoir commenter.

Abonnez-vous
votre avatar







Cartemere a écrit :



Ou optimiser Safari pour qu’il ne sorte que 30Fps sur les sites web spécialement utilisés pour le test.

On a bien vu jusqu’où les constructeurs sont prêts à aller pour sortir les meilleures perfs.





On parle d’un navigateur Web qui doit charger une page et l’afficher, pas de doom.


votre avatar

Mouuuuuais.



Je pense surtout que tu es tombé sur de bons compaq de 1992, parce qu’entre temps et en même temps il y a eu de nombreux Packard Bell et autres machines soit disant haut de gamme sous Windows 95, 98, etc. bien moins stables que durant l’âge d’or Win XP/7. La décennie sans écran bleu c’était 2002-2012 ; et depuis je n’en ai pas vu beaucoup non plus.



Le prix des machines a énormément baissé depuis 1992, sur des machines portables à 500€ on ne peut pas tout avoir… la qualité a un coût.



De plus, le nombre de machines produites n’a plus rien à voir avec 1992. Sur des millions de Macbook vendus il y aura forcément quelques dizaines/centaines de milliers défaillants là où en proportion identique il n’y aurait eu que quelques milliers de compaq défectueux à l’époque. A ça il faut ajouter qu’il est beaucoup plus difficile d’instaurer un contrôle qualité de haut niveau sur une production aussi massive que ce qu’on trouve communément en 2017.

votre avatar







VoucyusDo a écrit :



L’OS pourrait (en théorie) détecter qu’il est en train de subir au test automatique et se met en mode “économie d’énergie” : nettement plus lent mais moins de conso…



Même principe que les diesels Volkswagen.





En fait ça ne marche pas je pense, car une des clés de la longévité des portables c’est l’exécution rapide des tâches pour que le CPU repasse le plus vite possible dans les modes basse consommation (les C-states C2 et plus). AnandTech l’avait expliqué dans un article.

Et puis à supposer, quand tu regardes le test se dérouler au début, tu verrais qu’il est bizarrement lent.


votre avatar







OlivierJ a écrit :



On parle d’un navigateur Web qui doit charger une page et l’afficher, pas de doom.





et ?

le rendering de la page influe beaucoup sur l’autonomie.



Ex: http://www.clubic.com/navigateur-internet/google-chrome/actualite-715647-comment-google-chrome-affecte-batterie-ordinateurs-portable.html


votre avatar







Cartemere a écrit :



et ?

le rendering de la page influe beaucoup sur l’autonomie.



Ex:&#160http://www.clubic.com/navigateur-internet/google-chrome/actualite-715647-comment…





Aucun rapport avec une histoire de FPS, là il s’agit de l’ordonnanceur Windows. D’ailleurs je n’ai jamais entendu que sous Linux un programme utilisateur pouvait (ou avait besoin de) changer ça.

Je répète : un navigateur n’est pas un jeu vidéo chargé de calculer et d’afficher 30 ou 60 images par seconde, il n’y a pas de notion de fps.

Et quand il affiche une vidéo, il ne fait pas grand chose en tant que navigateur HTML/CSS/JS, il utilise le codec vidéo et la vidéo doit être jouée à vitesse nominale sinon ça se voit tout de suite.


votre avatar







Cartemere a écrit :



Ou optimiser Safari pour qu’il ne sorte que 30Fps sur les sites web spécialement utilisés pour le test.

On a bien vu jusqu’où les constructeurs sont prêts à aller pour sortir les meilleures perfs.





Ils chargent des pages web custom à partir de leur propre serveur si j’ai bien compris. C’est dur d’optimiser pour ça.


votre avatar







Cartemere a écrit :



Il n’y a jamais eu autant de volatilité sur l’autonomie des Mac.

Habituellement ils sont reconnus pour avoir une “bonne autonomie”… là le bilan est TRES mitigé





Il est TRES mitigé parce qu’un site internet a trouvé un bug dans Safari ? 



 Faut arreter le clickbait et faire le tri dans l’information. Apple est une cible facile du Clickbait, l’affaire Consumer Reports est un modèle du genre. Comment générer des articles dans la presse entière sur un faux probleme, juste parce que les mots clefs Apple + “insérer le problème” fait mouche à chaque fois.



Le gros avantage de ces articles chocs, ca permet de faire un tri dans l’actualité. Tu vois assez rapidement la différence entre un torchon et un site ou il reste encore des journalistes.


votre avatar







Loch a écrit :



Il est TRES mitigé parce qu’un site internet a trouvé un bug dans Safari ? 



 Faut arreter le clickbait et faire le tri dans l’information. Apple est une cible facile du Clickbait, l’affaire Consumer Reports est un modèle du genre. Comment générer des articles dans la presse entière sur un faux probleme, juste parce que les mots clefs Apple + “insérer le problème” fait mouche à chaque fois.



Le gros avantage de ces articles chocs, ca permet de faire un tri dans l’actualité. Tu vois assez rapidement la différence entre un torchon et un site ou il reste encore des journalistes.





va voir sur le net, sur les forums… il y a beaucoup d’utilisateurs fidèles de MacBook Pro qui se trouvent désorientés par l’autonomie de ce modèle…


votre avatar







gjdass a écrit :



Apple a toujours fait attention à la durée de vie de ses appareil loin de la prise de courant et c’est bien (faut le dire aussi quand c’est bien !)





Alors autant les produits Apple sont durables dans le temps en terme de conservation de performances (merci iOS/mac OS, autant l’autonomie, c’est loin d’être le truc réputé chez Apple et ses Iphone, après peut être que les macs sont des exemples de durée en usage, là dessus faudrait voir avec les gestionnaires de parc pour éviter l’effet “chez moi ça marche”.



 


votre avatar







KP2 a écrit :



C’est pas du tout ce qu’il s’est passé… Apple a dit “Vos résultats ne correspondent pas du tout aux notres, pouvons nous étudier avec vous d’ou ca vient”. Ensuite, ils ont dit “nos macs tiennent bien la charge mais un bug dans safari peut amener a des resultats très variables, on fait un correctif”.



Ils ont fournit le correctif a Consumer Report qui a indiqué que c’etait OK puis ils ont dit qu’ils allaient proposer le patch d’ici qq semaines (après des tests complémentaires j’imagine).





donc c’est ce que je dis, apple conteste les résultats mais sait qu’il a un soucis avec safari et donc fournit un patch



 



gjdass a écrit :



Matériellement parlant honnêtement je suis pas un expert.




Mais logiciellement, l'OS et la machine sont bien intégrés c'est certain pour atteindre cette autonomie tout en offrant une performance digne. C'est un peu comme iOS sur un iPhone (encore une fois, qu'on aime ou pas la marque/le téléphone/le marketing autour) : avec moins de 2K Mah il tiendra autant qu'un Android muni de 3K voir davantage. C'est de la pure intégration logicielle. Moins difficile qu'Android qui doit gérer plein de devices mais tout de même, faut saluer la perf :)    





Apple a toujours fait attention à la durée de vie de ses appareil loin de la prise de courant et c’est bien (faut le dire aussi quand c’est bien !)





matériellement les retinas sont pas mal si seulement ils n’avait pas un soucis de revêtement anti-reflet de l’écran qui se barre


votre avatar







Cartemere a écrit :



Ce qui m’embête, c’est qu’Apple connait maintenant PRECISEMENT le protocole de test de Consumer Reports, et qu’il peut donc faire un patch spécialement optimisé pour CE test…



Un peu comme AMD et nVidia qui sortent des drivers optimisés pour sortir un gros score sur 3Dmark & autres benchs, mais qui bizarrement font bien moins d’étincelles une fois dans le PC de Mr tout le monde…







Bof… le protocole de test de CR est loin d’être secret défense… et il est même plutot très basique…

Et des sites de tests de portables, y’en a des centaines ou des milliers à l’échelle de la planète, CR n’en est qu’un parmi d’autres (et même pas le plus réputé en plus).

C’est pas un organisme de contrôle officiel qui délivre des agréments…



Au dela de ça, Apple a toujours eu des niveaux d’autonomie très corrects et plus très fiables entre ce qui est annoncé et la réalité (contrairement à des Dell ou des Acer par exemple qui gonflent très souvent +20% par rapport à la réalité). Y’a jamais ou presque de tests qui “découvre” que les 10h d’autonomie proposés par Apple sont 2x moins importants dans le test, c’est même assez régulièrement l’inverse (le test tombe sur une autonomie meilleure qu’annoncée). Sauf dans ce cas là donc ça dénote plutot un bug qqpart…







Adhrone a écrit :



Alors autant les produits Apple sont durables dans le temps en terme de conservation de performances (merci iOS/mac OS, autant l’autonomie, c’est loin d’être le truc réputé chez Apple et ses Iphone, après peut être que les macs sont des exemples de durée en usage, là dessus faudrait voir avec les gestionnaires de parc pour éviter l’effet “chez moi ça marche”.







Les macs sont très réputés pour leur autonomie. Ce sont pas les meilleurs mais ils font partie du haut du panier, c’est indéniable. Et plus important, l’autonomie tient bien dans les cycles aussi… Un mac annoncé à 10h neuf qui fait encore du 5 ou 6h au bout de 3 ans d’utilisation quotidienne est très courant.



votre avatar







darkbeast a écrit :



donc c’est ce que je dis, apple conteste les résultats mais sait qu’il a un soucis avec safari et donc fournit un patch







Ils ne contestent pas les résultats, ils disent que ça correspond pas avec leurs propres tests et qu’ils veulent plus d’info… à aucun moment, ils ont dit a CR “vous racontez n’imp”.


votre avatar







KP2 a écrit :



Ils ne contestent pas les résultats, ils disent que ça correspond pas avec leurs propres tests et qu’ils veulent plus d’info… à aucun moment, ils ont dit a CR “vous racontez n’imp”.





apple a contesté donc pour eux les résultats étaient n’importe quoi


votre avatar







KP2 a écrit :



Les macs sont très réputés pour leur autonomie. Ce sont pas les meilleurs mais ils font partie du haut du panier, c’est indéniable. Et plus important, l’autonomie tient bien dans les cycles aussi… Un mac annoncé à 10h neuf qui fait encore du 5 ou 6h au bout de 3 ans d’utilisation quotidienne est très courant. 



 

Merci du Feedback =)


votre avatar







coket a écrit :



“MacBook Pro 13 pouces avec Touch Bar : 15h45MacBook Pro 13 pouces sans Touch Bar : 18h45MacBook Pro 15 pouces avec Touch Bar : 17h15”Ca consomme vachement l’OLED en fait <img data-src=" />





Haha je me suis dit la même chose <img data-src=" /> .







vince120 a écrit :



Le titre qui parle de “changer son fusil d’épaule” faut comprendre qu’ils ont reçu un chèque ou des menaces pour changer si vite d’avis ???





Que le 7e commentaire, vous n’êtes pas en forme aujourd’hui.


votre avatar







gjdass a écrit :



avec moins de 2K Mah il tiendra autant qu’un Android muni de 3K voir davantage





Tu as un souci de choix de casse, c’est 2k mAh (k = kilo en unité SI et A = Ampère :-) )

<img data-src=" />







Cartemere a écrit :



Ce qui m’embête, c’est qu’Apple connait maintenant PRECISEMENT le protocole de test de Consumer Reports, et qu’il peut donc faire un patch spécialement optimisé pour CE test…





A part concevoir un matériel+OS qui consomme peu, je vois mal comment tricher à un test de consommation de batterie, à part optimiser un peu plus le navigateur ou les drivers, ce qui fait gagner tout le monde.


votre avatar







darkbeast a écrit :



apple a contesté donc pour eux les résultats étaient n’importe quoi







Ben, tu annonces 10h à tes clients et y’a un site qui dit que c’est de la merde avec une autonomie de 5h, bien sur que tu vas chercher pourquoi ils en sont arrivés là ! Ca t’étonne toi ? Tu y vois l’influence du coté obscur de la force ?



Après, je repete : Apple n’a pas dit “vous racontez n’importe quoi”, ils ont dit “vos résultats divergent fortement des notres, peut on travailler ensemble pour savoir de quoi il retourne ?”

Je trouve la démarche très saine puisqu’au final un bug a été détecté et les résultats d’autonomie finaux sont excellents (rappel : Apple annonce officiellement 10h et CR trouve entre 16h et 19h)


votre avatar

My bad <img data-src=" />

votre avatar

Je suis assez d’accord avec lui, je trouve que le rapport autonomie / capacité de la batterie plutôt bon sur les derniers iPhones.

votre avatar

C’est pas vraiment le retour que j’ai de mes amis sur des 7 par rapport à mon GS7 Edge. A utilisation égale ils sont toujours entrain de chercher un chargeur :/ C’est quand même triste cette course à la finesse alors que l’autonomie est l’un des critères majeurs des utilisateurs…

votre avatar







OlivierJ a écrit :



A part concevoir un matériel+OS qui consomme peu, je vois mal comment tricher à un test de consommation de batterie, à part optimiser un peu plus le navigateur ou les drivers, ce qui fait gagner tout le monde.



Ou optimiser Safari pour qu’il ne sorte que 30Fps sur les sites web spécialement utilisés pour le test.

On a bien vu jusqu’où les constructeurs sont prêts à aller pour sortir les meilleures perfs.


votre avatar







darkbeast a écrit :



apple a contesté donc pour eux les résultats étaient n’importe quoi





lache cette mouche, elle ne t’a rien fait.



Apple a eu une approche constructive sur ce problème : ils se sont pas contentés de dire “you’re testing it wrong”

(tout lien avec des faits existants ou ayant existé seraient fortuits et involontaires)


votre avatar

L’OS pourrait (en théorie) détecter qu’il est en train de subir au test automatique et se met en mode “économie d’énergie” : nettement plus lent mais moins de conso…



Même principe que les diesels Volkswagen.

votre avatar

Autant mesurer les rejets de CO2 n’est pas à la portée de tout le monde et la triche peut passer un temps, autant l’autonomie d’un PC et ses variations peut être ressentit par tous les clients. Donc tricher chez Consumer Reports puis se prendre les retours d’utilisateurs mécontents ensuite n’est pas une bonne idée.

votre avatar

apple :” vous dites n’importe quoi mais on va quand même vous filez un patch qui corrige le soucis”

votre avatar

“MacBook Pro&nbsp;13 pouces avec Touch Bar&nbsp;: 15h45MacBook Pro&nbsp;13 pouces sans Touch Bar&nbsp;: 18h45MacBook Pro&nbsp;15 pouces avec Touch Bar : 17h15”Ca consomme vachement l’OLED en fait&nbsp;<img data-src=" />

votre avatar

J’ai toujours été impressionné par l’intégration quasi-parfaite de MacOS aux machines d’Apple en terme de batterie. Font quand quand même de sacrés prouesses ces dernières années, qu’on aime ou pas le produit en lui-même (les goûts et les couleurs …).

&nbsp;Mon Macbook Air de 2013 tient encore aujourd’hui près de 10h en mode “dev web” (à jour sous la dernière mouture d’OS X)

votre avatar

C’est tellement ça&nbsp;<img data-src=" />

votre avatar







gjdass a écrit :



J’ai toujours été impressionné par l’intégration quasi-parfaite de MacOS aux machines d’Apple en terme de batterie. Font quand quand même de sacrés prouesses ces dernières années, qu’on aime ou pas le produit en lui-même (les goûts et les couleurs …).

&nbsp;Mon Macbook Air de 2013 tient encore aujourd’hui près de 10h en mode “dev web” (à jour sous la dernière mouture d’OS X)





ouais même branché quasiment tout le temps les batteries apple tiennent alors que chez hp les gens qui travaillent avec un dock, la batterie meurt au bout d’un an et demi&nbsp;


votre avatar

Comparé du bas de gamme HP, avec du très haut de gamme Apple, il y a que les pro apple qui font ça.

Pour ceux qui gérent un park de machines apple et Windows, à gamme équivalente, un apple ça tombe autant si ce n’est plus d’un ordi windows. Il y a 20 ans ce n’était pas le cas. Mais c’est totalement faux de nos jour (mais les idée reçu sont encore présent dans la têtes des gens).

votre avatar

Le titre qui parle de “changer son fusil d’épaule” faut comprendre qu’ils ont reçu un chèque ou des menaces pour changer si vite d’avis ???

votre avatar

“Consumer Reports estime désormais que le problème avec les batteries des nouveaux MacBook Pro est désormais réglé. Les tests affichant des résultats cohérents désormais, les machines obtiennent le fameux statut « Recommandé » du magazine.”



<img data-src=" />

votre avatar







darkbeast a écrit :



apple :” vous dites n’importe quoi mais on va quand même vous filez un patch qui corrige le soucis”







C’est pas du tout ce qu’il s’est passé… Apple a dit “Vos résultats ne correspondent pas du tout aux notres, pouvons nous étudier avec vous d’ou ca vient”. Ensuite, ils ont dit “nos macs tiennent bien la charge mais un bug dans safari peut amener a des resultats très variables, on fait un correctif”.



Ils ont fournit le correctif a Consumer Report qui a indiqué que c’etait OK puis ils ont dit qu’ils allaient proposer le patch d’ici qq semaines (après des tests complémentaires j’imagine).


votre avatar

Tu sais au labo ou je bosse on a des compaq de 92 qui tourne toujours h24, de temps en temps ça plante mais&nbsp; pas de gros&nbsp; souci un boot et c’est reparti :p

Alors que les machines plus récentes plante pour un rien, il y’a un notion de qualité qui s’est perdu à un moment.



Pour revenir à l’actualité c’était fort probable comme déjà dis dans des commentaires sur l’histoire de la batterie qu’il y’avait un souci avec le pr

votre avatar



Il est étrange d’ailleurs que Consumer Reports ait quand même publié ses premiers chiffres en décembre, puisqu’il indique que leur incohérence avait été signalée à Apple, les testeurs se doutant d’un problème de ce type.





Ouais, la tentation du buzz à pas cher a été trop forte…





… qui ne répondent pas à toutes les questions



Signalons enfin que même si Consumer Reports recommande désormais ces machines, cela ne répond pas pour autant à toutes les questions. Les forums d’Apple contiennent de nombreux témoignages au sujet d’une autonomie qui peut varier fortement en fonction des cas.





L’avantage du problème remonté par CR est la reproductibilité… Je pense que s’adresser à un particulier pour voir pourquoi il a des prob d’autonomie doit amener a une quantité de cas particuliers absolument ingérable.

Surtout dans les forums quand la seule notion de bug reporting est de dire “ca maaaarche paaaaaaas”

votre avatar

Matériellement parlant honnêtement je suis pas un expert.



Mais logiciellement, l’OS et la machine sont bien intégrés c’est certain pour atteindre cette autonomie tout en offrant une performance digne. C’est un peu comme iOS sur un iPhone (encore une fois, qu’on aime ou pas la marque/le téléphone/le marketing autour) : avec moins de 2K Mah il tiendra autant qu’un Android muni de 3K voir davantage. C’est de la pure intégration logicielle. Moins difficile qu’Android qui doit gérer plein de devices mais tout de même, faut saluer la perf :)



Apple a toujours fait attention à la durée de vie de ses appareil loin de la prise de courant et c’est bien (faut le dire aussi quand c’est bien !)

votre avatar







coket a écrit :



“MacBook Pro&nbsp;13 pouces avec Touch Bar&nbsp;: 15h45MacBook Pro&nbsp;13 pouces sans Touch Bar&nbsp;: 18h45MacBook Pro&nbsp;15 pouces avec Touch Bar : 17h15”Ca consomme vachement l’OLED en fait&nbsp;<img data-src=" />





La batterie est plus petite sur les modèles avec TouchBar

Les CPU ont des TDP plus élevés sur les modèles avec TouchBar.



&nbsp;


votre avatar







KP2 a écrit :



C’est pas du tout ce qu’il s’est passé… Apple a dit “Vos résultats ne correspondent pas du tout aux notres, pouvons nous étudier avec vous d’ou ca vient”. Ensuite, ils ont dit “nos macs tiennent bien la charge mais un bug dans safari peut amener a des resultats très variables, on fait un correctif”.



Ils ont fournit le correctif a Consumer Report qui a indiqué que c’etait OK puis ils ont dit qu’ils allaient proposer le patch d’ici qq semaines (après des tests complémentaires j’imagine).





Ce qui m’embête, c’est qu’Apple connait maintenant PRECISEMENT le protocole de test de Consumer Reports, et qu’il peut donc faire un patch spécialement optimisé pour CE test…



Un peu comme AMD et nVidia qui sortent des drivers optimisés pour sortir un gros score sur 3Dmark & autres benchs, mais qui bizarrement font bien moins d’étincelles une fois dans le PC de Mr tout le monde…


votre avatar

“Les forums d’Apple contiennent de&nbsp;nombreux témoignages&nbsp;au sujet d’une autonomie qui peut varier fortement en fonction des cas”Incroyable mais vrai, l’autonomie d’un portable peu varier fortement en fonction des cas… vous êtes en train de me dire que si je laisse mon portable en veille j’aurai plus de batterie que sur WoW luminosité à fond ??&nbsp;Truc de ouf !

votre avatar







Loch a écrit :



“Les forums d’Apple contiennent de&nbsp;nombreux témoignages&nbsp;au sujet d’une autonomie qui peut varier fortement en fonction des cas”Incroyable mais vrai, l’autonomie d’un portable peu varier fortement en fonction des cas… vous êtes en train de me dire que si je laisse mon portable en veille j’aurai plus de batterie que sur WoW luminosité à fond ??&nbsp;Truc de ouf !





Il n’y a jamais eu autant de volatilité sur l’autonomie des Mac.

Habituellement ils sont reconnus pour avoir une “bonne autonomie”… là le bilan est TRES mitigé


Autonomie : Consumer Reports change son fusil d’épaule et recommande les MacBook pro

  • De nouveaux tests aux résultats uniformes...

  • ... qui ne répondent pas à toutes les questions

Fermer