Qualité de services mobiles : entre autocongratulation et recadrage d’Orange

Hier, l’Arcep a mis en ligne son observatoire sur la qualité des services mobiles en France métropolitaine. Les données sont issues de sa campagne annuelle, avec plus d’un million de mesures. Comme à chaque nouvelle version de cet observatoire, les opérateurs passent en mode « l’école des fans », en se vantant des compliments à grand renfort de communiqués.

Les opérateurs sont 625 fois 1ᵉʳ ou 2ᵉ ex æquo

Premier tombé dans notre boite aux lettres virtuelle, celui de l’opérateur à la marque rouge ouvre le bal : « SFR poursuit sa progression et se place 2ᵉ meilleur réseau mobile selon l’Arcep. SFR est ainsi 1ᵉʳ ou 2ᵉ ex æquo sur 230 des 258 critères de la campagne de mesures, soit 89 % des critères », affirme l’opérateur. C’était 65 % il y a trois ans.

Free était le deuxième à communiquer : « l’Arcep confirme ce jour l’excellente qualité des services mobiles de Free au T2 2024 […] Free se classe à la 1ʳᵉ ou 2ᵉ place ex æquo sur plus de la moitié des indicateurs, soit 147 indicateurs sur 258 au total ».

Quelques minutes plus tard, Bouygues Telecom déboule à son tour : « Bouygues Telecom affirme sa position de meilleur réseau mobile en zones denses sur le total des indicateurs mesurés dans l’enquête annuelle de qualité de service de l’Arcep 2024 ». Pas un mot sur les zones moins denses et rurales, ni sur le nombre de fois où il est numéro 1.

Orange ferme la marche : « Pour la 14ᵉ fois, l'enquête de l'Arcep reconnait le savoir-faire des équipes Orange et confirme que les clients Orange bénéficient de la meilleure qualité de réseau mobile, sur tout le territoire ». Orange affirme au passage rester « leader sur la voix opérateur, les SMS, la data et arrive 1ᵉʳ ou 1ᵉʳ ex aequo sur 248 des 258 des critères mesurés ».

Si on fait le compte des quatre opérateurs (enfin trois puisque Bouygues Telecom ne revendique rien à ce niveau-là), on arrive donc à 625 (230 + 147+248) fois où les opérateurs revendiquent être 1er ou 2eme ex aequo. Avec 258 indicateurs (Free, Orange et SFR sont d’accord sur ce chiffre) et quatre concurrents en lice, cela donne 1 032 places au total.

Dans plus de 60 % des cas, les opérateurs sont donc à la première ou seconde place ex æquo. Cela laisse peu de champ pour les troisièmes et quatrièmes places. Un bel hommage à l’école des fans… Mais cette campagne de mesure n’avait pour autant rien d’un long fleuve tranquille.

L’Arcep « neutralise » 8 indicateurs d’Orange

Le cas d’Orange mérite en effet qu‘on s’y attarde quelques minutes. L’opérateur annonce prendre note « de la décision de l’Arcep de neutraliser huit indicateurs relatifs à la qualité des appels voix réalisés avec une application de messagerie instantanée (voix OTT) ». Une neutralisation pour Orange seulement, pas les trois autres comme en atteste le graphique ci-dessous.

C’est la deuxième année uniquement que cet indicateur est publié, pour rappel. Sur l’observatoire de 2023 – l’Arcep y a d’ailleurs ajouté un encadré précisant les soucis avec les mesures –, le classement pour les appels en qualité parfaite (maintenus pendant deux minutes, sans perturbation audible) faisait état d’écarts importants : « 92% de taux de succès pour Orange, 86% pour SFR, et 82% pour Bouygues Telecom. Free est en retrait sur cet indicateur toutes zones et tous usages avec 54% de succès ». Free s’améliore en 2024, mais reste à la traine.

La cause de l’absence d’Orange en 2024 ? « Une optimisation des réglages du réseau pour fournir la meilleure expérience client », selon Orange. Le régulateur des télécoms « a considéré que le déploiement de ces réglages réseaux était de nature à affecter la comparabilité entre opérateurs et a donc souhaité retirer ces mesures pour la campagne 2024 ».

L’Arcep confirme : « l’activation par Orange sur son réseau d’un paramétrage spécifique de mise en veille pour les terminaux utilisés lors des campagnes de 2023 et 2024 a été de nature à affecter la représentativité des mesures ». D’où aussi la présence d’un message d’alerte pour la campagne 2023.

La Discontinuous Reception de la discorde

Une décision de l’Arcep revient sur les dessous techniques de cette affaire. En décembre, l’Autorité prévenait que « des analyses complémentaires s'avér[aient] nécessaires afin de s’assurer que les résultats des mesures soient représentatifs de l’expérience utilisateur », sans plus de détails. Traditionnellement mis en ligne en fin d’année, l’observatoire était décalé sine die.

Le gendarme a interrogé les opérateurs et leur a notamment demandé « des journaux détaillés (logs) ainsi que les conditions exactes d’activation » de certains mécanismes afin de vérifier l’ensemble des paramètres avant de prendre sa décision.

Le cœur du problème se trouve au niveau d’un « ajustement spécifique d’un paramètre de gestion de la mise en veille des terminaux (activation et gestion du mode veille DRX - Discontinuous Reception) appliqué aux terminaux T1, T2 et T3 utilisés lors des enquêtes Arcep 2023 et 2024 ». Un ajustement par type de terminal donc, qui ne concerne pas tous les smartphones.

Or, « les éléments recueillis dans le cadre de l’enquête administrative ont montré que les terminaux concernés (T1, T2 et T3) ont bénéficié d’un ajustement spécifique du mode de mise en veille DRX, visant à régler un problème de latence dans les premiers instants d’une communication audio VoIP OTT via des applications comme WhatsApp ».

En conclusion, « l’activation de ce paramétrage pourrait en conséquence avoir une incidence sur la comparabilité entre opérateurs et la représentativité de l’expérience utilisateur pour ce service ». La représentativité étant un des piliers de l’observatoire, le gendarme a pris des mesures.

Pas de problème selon le régulateur pour les performances Internet dont les tests reposent « sur des échanges de données continus » qui « rendent très improbable l’entrée en mode veille des terminaux mobiles activant le DRX ».

Pour la campagne de mesure 2025, un cadre de contrôle renforcé a été mis en place : « les opérateurs ont été invités à transmettre à l’Autorité au préalable les informations relatives à la configuration de leur réseau ».

Il n’y a pas de bonnes ou de mauvaises situations

Terminons enfin avec quelques mots sur l’observatoire en lui-même.

Sur les appels sans coupure (maintenus pendant deux minutes), « Orange affiche à l’échelle nationale 96% de succès devant Bouygues Telecom (94%), SFR et Free Mobile (92%) ». Sur la réception des SMS en moins de 10 secondes, tous les opérateurs sont entre 94 et 96 %. Tout va bien pour les quatre opérateurs.

Sur les axes de transports, « la qualité des services reste élevée sur les axes routiers. Elle est en revanche toujours à un niveau moyen dans les TGV, dans les trains des réseaux Intercités et dans les TER ». Orange tire largement son épingle du jeu dans le taux de communications réussies et maintenues dans les TGV, et conserve une avance confortable dans les TER.

Tous les détails sont dans le PDF de l’observatoire.