L'ARCEP publie régulièrement des observatoires sur le monde des télécoms. Après celui sur la qualité du service mobile, c'était au tour du fixe d'y avoir droit pour la première fois il y a quelques mois, mais en version bêta. Le second bilan est désormais en ligne et le régulateur semble avoir tiré des leçons du passé.

Contesté. C'est bien le mot qu'il convient pour qualifier le premier observatoire, en version bêta, de la qualité des services du fixe de l'ARCEP (voir notre analyse). Pour rappel, Bouygues Telecom avait rapidement communiqué sur ces résultats, ce qui avait poussé Free à mettre en demeure son concurrent ainsi que l'ARCEP. De plus, et malgré les réticences de cette dernière, Bouygues Telecom dégainait quelques jours plus tard une publicité, avant de finalement la retirer pour « couper court à toute polémique » nous précisait alors le FAI.

Mises en garde liées à la méthodologie : d'une recommandation à une obligation 

Six mois plus tard, le régulateur des télécoms revient sur ce sujet et dévoile son second observatoire de la qualité du service fixe d'accès à Internet. Comme précédemment, un avertissement accompagne cette publication afin de préciser que cela « correspond à un exercice test (version bêta) ».

Mais l'ARCEP a décidé d'être plus direct dans son rapport, probablement afin d'éviter que la situation de la dernière fois ne se répète. Il est ainsi précisé que « toute diffusion, réutilisation ou référence aux données publiées doit être accompagnée des précisions et mises en garde méthodologiques figurant dans le présent rapport », alors que ce n'était qu'une recommandation auparavant. Le ton n'est plus vraiment le même.

Comme toujours avec les observatoires de l'ARCEP, les opérateurs concernés sont ceux qui totalisent plus de 100 000 clients dans l'une des six catégories visées : les lignes ADSL (courtes, moyennes et longues), la fibre optique avec terminaison coaxiale à 30 ou 100 Mb/s (FTTLA) ainsi que de la fibre FTTH. Sur l'ADSL, on retrouve Bouygues Telecom, Free, Orange et SFR. Les deux derniers sont également présents sur les indicateurs du FTTH, tandis que Bouygues Telecom et Numericable sont les seuls sur le FTTLA (pour rappel, le premier exploite le réseau du second sur cette technologie).

Quand la comparabilité s'oppose aux conditions réelles

La méthodologie reste identique et on retrouve donc les mêmes huit sites de test (voir cette actualité pour plus de détails). L'ARCEP indique que « le service de télévision est éteint (sauf pour Numericable et Bouygues Telecom dans la configuration fibre optique avec terminaison coaxiale, le service de télévision n’ayant aucun impact sur la qualité du service d’accès à l’internet avec cette technologie) ». Le but pour le régulateur est de « s’affranchir d’un grand nombre de biais et à assurer la meilleure comparabilité possible. Les mesures peuvent en contrepartie s’écarter des conditions de connexion d’un utilisateur réel ».

Du côté des indicateurs techniques, « la phase de rodage du dispositif » se poursuit avec ce second observatoire, et on ne dispose donc toujours que d'indicateurs regroupant tous les opérateurs. Impossible de les départager, mais pour le régulateur cela permet tout de même « d’illustrer les écarts de performances entre les différentes catégories d’accès ». Les mesures ont été effectuées durant le second trimestre 2014.

Débit et latence : une moyenne globale et toujours pas de détail

Cette première partie des résultats ne présente donc qu'un intérêt relatif pour un public averti, montrant simplement que l'ADSL et le VDSL2 sont, en moyenne, moins rapides que le câble. Ce dernier est lui-même dépassé par la fibre optique avec plus de 300 Mb/s en moyenne lors de téléchargements sur des serveurs proches.

La différence est encore plus marquée sur les débits montants où le FTTH se démarque largement de toutes les autres techniques. Toujours en upload, on remarque également le peu de différence entre du câble à 30 Mb/s et de l'ADSL. L'ARCEP rappelle d'ailleurs que l'upload « théorique commercialisé par Bouygues Telecom est de 1 Mbit/s alors qu’il est de 2 Mbit/s pour Numericable ».

Alors que le taux de perte de paquets n'avait pas été publié lors du premier bilan à cause d'une  « saturation des robots », il en est de même pour ce second observatoire. Comme « cette défaillance a augmenté artificiellement et significativement les pertes de paquets et n’a pas affecté de manière comparable tous les opérateurs (la sensibilité à cette défaillance dépend de certains équipements réseaux de l’opérateur) », le régulateur a décidé de ne pas en dévoiler les résultats. Espérons que ce bug à répétition soit corrigé pour la prochaine publication qui devrait intervenir vers la fin de l'année.

Navigation web : Bouygues et Orange devant, Free et SFR derrière

Passons ensuite aux indicateurs d'usage qui, eux, font la distinction entre les opérateurs. Il est tout d'abord question de navigation web sur 14 sites parmi les plus visités en France : Google, Facebook, MSN, Wikipédia, Yahoo, Le Bon Coin, Pages Jaunes, Amazon, Au Féminin, L’internaute, Comment ça marche, Le Figaro, Fnac et Cdiscount.

Lors de chaque mesure, le cache est vidé et les publicités sont éliminées « afin d’éviter de créer des biais liés à des publicités géolocalisées ou ciblant spécifiquement les clients de certains opérateurs ». Comme précisé plus haut, cela implique donc parfois de « s’écarter des conditions de connexion d’un utilisateur réel », mais permet comparer les FAI entre eux : 

Sur l'ADSL, Bouygues Telecom et Orange sont en tête, tandis que SFR se place en troisième position et que Free ferme la marche. Si ce dernier est dans la moyenne sur des lignes longues (et donc avec un débit moins important), le fournisseur d'accès se fait dépasser sur des lignes plus courtes et donc avec plus de débit en théorie. Une situation qui est finalement identique à celle observée avec le premier bilan de la qualité du service d'accès fixe à Internet.

Streaming vidéo : Orange et SFR en baisse, Free reste en dernière position

Autre point intéressant à analyser, le streaming vidéo. Pour cela, quatre services ont été utilisés : Dailymotion, YouTube, Metacafe et Vimeo. Même si Dailymotion appartient pour le moment à Orange, l'ARCEP indique que « le comité technique, conscient de ce lien, a choisi de conserver cette plateforme en raison de sa part de marché importante sur le marché français ».

Puisque les plateformes adaptent souvent la qualité de la vidéo de manière automatique, l'ARCEP a décidé d'effectuer les mesures en forçant « une résolution HD Ready (720p, correspondant à un débit d’environ 4 Mbit/s) à l’exception des lignes ADSL longues qui ne permettent pas de lire de manière fluide des vidéos avec une telle résolution ».

Au total, cinq critères sont mesurés : la disponibilité (taux de réussite d'accès au flux vidéo), le temps de négociation (délai avant le début de la lecture vidéo), la fluidité (taux de lecture avec au moins 23 images par seconde), le nombre d'interruption de la lecture (taux de rupture) et enfin durée des éventuelles ruptures.

Chacun des points est noté entre 0 et 1 et le total (entre 0 et 5 donc) est repris dans le tableau ci-dessous :

Sur l'ADSL, Bouygues est de nouveau en tête, avec un score stable par rapport au premier observatoire. Orange est encore en deuxième position, mais avec une baisse de près 0,5 point tout de même par rapport à l'année dernière. La moyenne de SFR est également en diminution avec moins de quatre points, tandis que Free ferme la marche, ce qui était déjà le cas sur le premier observatoire.

Entre rupture et fluidité : le cas de Free s'améliore, mais il reste du travail

Dans le détail, trois indicateurs tirent le score final de Free vers le bas : la fluidité, le nombre de ruptures ainsi que leur durée. Pour rappel, ce sont exactement les mêmes points noirs que l'année dernière et, cette fois encore, c'est le seul des quatre FAI à avoir enregistré des interruptions du service vidéo.

On note par contre une certaine amélioration puisque la durée des ruptures était de 0,2 à 0,6 seconde lors du précédent bilan, contre 0,1 à 0,2 seconde aujourd'hui, et que la fluidité ne dépassait pas les 80 %, contre près de 90 % maintenant. Ces mesures ont par contre été effectuées avant le lancement de la Freebox mini 4K et les accords liant notamment Free, Google et YouTube (voir notre analyse). Il sera donc intéressant de voir ce qu'il en sera lors du prochain observatoire. 

Si l'on compare les technologies cette fois-ci, on remarque que ce sont les lignes avec du câble coaxial qui s'en sortent le mieux, devançant la fibre optique d'Orange et de SFR. De plus, Numericable a une légère avance sur Bouygues Telecom bien que le réseau soit le même : celui de Numericable. Nous scruterons avec attention le prochain bilan pour voir si le rachat de SFR par Numericable viendra changer la donne sur cet indicateur.

Téléchargement P2P : peu de différence sur le xDSL

Terminons enfin avec le téléchargement de fichiers en P2P : « le comité a retenu le protocole BitTorrent, testé en initiant le téléchargement d’un fichier populaire et partagé par un grand nombre d’utilisateurs (dernière version officielle de la distribution Ubuntu28). Le fichier est téléchargé pendant 60 secondes et l’indicateur publié est le débit moyen constaté pendant le téléchargement ». Malgré les réticences de certains sur la durée de téléchargement trop courte pour être représentative, le régulateur n'a donc pas souhaité revoir sa copie sur ce point. Là encore, il est question de mettre en avant la comparabilité, quitte à laisser un peu de côté l'utilisation réelle.

Les résultats sont relativement proches sur l'ADSL, bien que Bouygues soit tout de même très légèrement en tête, suivi par Free et Orange, SFR se retrouvant un peu en retrait. Bien évidemment, FTTLA et FTTH donnent de meilleurs résultats, mais avec de fortes disparités pour Orange et SFR puisque les résultats vont du simple au double. Dans tous les cas, on est loin des débits descendants moyens mesurés par l'ARCEP : entre 140 et 325 Mb/s suivant l'éloignement des serveurs.

Quelle influence lors du passage au VDSL2 ?

L'ARCEP a également décidé de se pencher sur l'influence du VDSL2 sur ses indicateurs. Pour cela, le régulateur nous propose un graphique du « gain de performances maximal (valeur médiane tous opérateurs confondus) observé sur les lignes les plus courtes du dispositif, ayant migré en VDSL2 pour l’ensemble des opérateurs au cours du S2 2014 ».

Sans surprise, trois critères en profitent : les débits montants et descendants, ainsi que le téléchargement en P2P. Pour le reste des indicateurs, le VDSL2 n'apporte de toute façon pas grand-chose. Cela ne signifie pas que le VDSL2 n'a pas d'autres avantages, simplement que l'usage n'a pas été testé par l'ARCEP (plusieurs flux vidéos HD par exemple).

Quoi qu'il en soit, le gendarme des télécoms ne tire aucune conclusion de son observatoire et rappelle que « compte tenu du recul limité et des risques inhérents au lancement de tout dispositif de ce type, l’ARCEP invite le lecteur à la prudence quant à l’interprétation des données publiées dans le présent rapport de synthèse, qui correspond à un exercice test (version bêta) ». Il ajoute qu'il « poursuit les travaux entamés avec l’ensemble des parties prenantes (associations de consommateurs, opérateurs, experts techniques) en vue d’améliorer et de compléter ce dispositif de mesure ». 

L'ARCEP annonce par ailleurs qu'il lance « une phase d'évaluation et d'enrichissement du dispositif de mesure et du format de publication ; elle pourrait notamment réexaminer à cette occasion les modalités d'exploitation des données obtenues directement auprès des utilisateurs finaux sur la qualité de leur connexion individuelle (principe de crowdsourcing) ». Rendez-vous est donc pris pour la fin de l'année où un nouvel observatoire devrait être publié. Une fois qu'il sera sorti de bêta, il viendra compléter celui sur la qualité de l'accès aux services fixes, dont nous avons récemment fait le bilan.

Enfin, on peut se demander si Bouygues Telecom, qui arrive cette fois encore à tirer légèrement son épingle du jeu, en fera mention via un communiqué de presse ou des publicités.