Derrière les publicités 4G, les mécaniques de la mesure de débit

Après la couverture, les débits 4G font leur chemin dans la communication des opérateurs mobiles. À l'heure de lourds investissements réseau et d'une mobilité (presque) sans précédent des clients, les marques mettent en avant des podiums tiers attestant de leurs performances. Derrière la publicité, tout est-il vraiment transparent ?

La semaine dernière, SFR annonçait être « n°1 des débits descendants sur le fixe toutes technologies confondues », une manière de se mettre en avant tout en évitant les critiques sur le débit montant de sa « fibre à terminaison coaxiale ». La source de cette affirmation ? L'application nPerf. Il faut dire que les mesures de débit envahissent la communication des opérateurs ces derniers temps, notamment dans le mobile. 

Après la couverture 4G, les classements s'appuient maintenant bien plus sur la qualité de service, fer de lance commercial des groupes télécom. De nombreux baromètres publics existent, comme 4G Monitor ou nPerf, et l'on constate des liens assez forts entre les sociétés qui les éditent et les opérateurs.

Qualité des mesures, pondération des résultats, divergences de méthodologie ou relation client... les podiums peuvent varier du tout au tout, sur la base de certains de ces paramètres. Du géant mondial Speedtest (Ookla) à des sociétés d'origine française comme 4GMark et nPerf, il s'agit d'un marché avec une forte concurrence qui alimente celle des opérateurs, via la revente des mesures effectuées par les mobinautes.

Mais comment sont mesurées ces données ? Quels sont les rapports contractuels avec les opérateurs ? Y a-t-il des tentatives de manipulation ? Nous avons discuté avec certains des principaux acteurs du secteur pour comprendre comment il fonctionne et produit des chiffres pleinement intégrés à la stratégie technique et commerciale de certains groupes, à l'instar d'Altice ou Iliad.

Le besoin d'algorithmes antitriche

L'enjeu est important pour les opérateurs. « Le premier à s'afficher était Free, qui mettait en avant ses débits 4G dans les abribus. Bouygues Telecom a ensuite frappé un grand coup avec des pubs télévisés et les autres ont suivi » se souvient Arik Benayoun, responsable des ventes et du développement commercial chez nPerf. Depuis, il est désormais habituel de trouver ces chiffres (ou ceux du régulateur, l'Arcep) jusque dans les documents financiers de ces groupes.

Après leur lancement aux environs de 2013, les services interrogés ont vite mis en place des algorithmes et règles de pondération, pour éviter les distorsions, voire la fraude. « On a rapidement compris que c'est un enjeu indispensable, après avoir partagé nos données avec les opérateurs et publié nos baromètres » nous explique Thierry Moncorger, responsable marketing chez QoSi (4GMark).

L'entreprise a ainsi créé des pondérations par utilisateur et par zone géographique. « Au moindre doute », par exemple sur les paramètres GPS (manipulables), le test ou l'utilisateur concerné est éliminé des résultats. Surtout, les chiffres sont lissés chaque mois : un mobinaute qui effectuera mille tests ne comptera qu'une fois, avec la moyenne de tous ses essais. Il pèse donc autant qu'un utilisateur n'effectuant qu'une mesure.

« Cette règle a été inventée à l'époque où tout le monde accusait les freenautes d'abus des résultats, ce qui n'était pas forcément vrai » se souvient Fabien Renaudineau, le patron de QoSi. Chez nPerf, l'important est déjà d'éviter l'injection de faux résultats, avec une automatisation du baromètre affiché dans l'application, aux résultats renouvelés toutes les 20 minutes (affichant les 14 derniers jours).

Chez 4GMark, les résultats sont aussi pondérés géographiquement, en fonction de la population, pour éviter qu'une petite ville avec une surreprésentation d'utilisateurs n'affecte trop le bilan. Depuis 2016, la société mène en parallèle des drive tests maison pour compléter ses chiffres et afficher plus de données dans des zones sous-représentées. Une mesure que ne prend pas nPerf, qui admet que « les campagnes peuvent être sous-représentées dans notre panel ». Il limite tout de même le nombre de tests pris en compte par utilisateur et par zone, sur quelques jours, dans son baromètre.

De vraies différences techniques

La méthodologie dépend aussi d'éléments purement techniques. Les visions sont par exemple contraires sur le nombre de flux à mesurer simultanément : un seul (mesure mono-thread) comme 4GMark ou cumulée (multi-thread jusqu'à 16 liens) comme nPerf ? Le but du premier est de « donner un résultat réaliste », quand le second assume vouloir saturer la connexion, donc obtenir un plus gros chiffre... Un bonheur pour les services marketing des opérateurs, qui aiment afficher ces données.

« Vous ne saturerez jamais une cellule sur une vraie utilisation, même avec deux ou trois applications en parallèle » plaide 4GMark, qui évoque les manipulations possibles en changeant le nombre de flux selon les conditions. C'est l'approche officielle de l'Arcep et des opérateurs en France.

« Quand on navigue sur Internet ou YouTube, il n'y a pas 10 threads en parallèle » renchérit Antoine Jacquemond, data analyst chez SFR. nPerf rétorque que le multi-thread montre la vraie capacité d'une connexion, expliquant que très peu d'utilisateurs choisissent de modifier les réglages par défaut de l'application (pris en compte dans les baromètres).

4GMark refuse également de créer des baromètres « 4G » ou « 4G+ », préférant amalgamer 3G et 4G. « Jusqu'à fin 2014, on pouvait publier des baromètres uniquement 4G, parce qu'on s'intéressait à son déploiement » défend l'entreprise, qui rappelle que « votre 4G vit sur la 3G, solution de repli ». nPerf détaille, lui, par technologie. Ce qui convient à SFR : « Ce sont deux technologies complètement différentes. Tout le monde n'est pas en 4G ».

Le rempart du volume

Les anomalies ne sont pas forcément des fraudes : fan d'un opérateur, client confronté à un problème de réseau, technophile profitant d'un large « fair use » (ou d'un week-end illimité), voire technicien vérifiant la bonne configuration d'une antenne, les cas sont nombreux. 4GMark note tout de même que « des communautés semblent un peu pilotées par des opérateurs, il est important de les pondérer comme le reste ». Chez nPerf, les utilisateurs les plus actifs peuvent afficher plusieurs milliers de tests mensuels.

Face à cela, le meilleur contrôle resterait encore les volumes de mesures : trois à quatre millions par an pour QoSi (incluant plusieurs centaines de milliers via 4GMark) et plus d'un million sur réseaux mobiles chez nPerf. « Par contre, sur une cartographie ou un ciblage (un opérateur sur un mois et une région précis), il est important pour nous de travailler notre algorithme » estime Thierry Moncorger. Les deux sociétés estiment tout de même déjà couvrir la plupart des manipulations possibles, notamment grâce aux retours des opérateurs, parfois prompts à repérer des étrangetés dans les mesures brutes des concurrents.

Il reste que, « malgré les retraitements réalisés par certains éditeurs pour avoir une vision plus représentative, les résultats peuvent différer d’un baromètre à l’autre », avec un avantage pour les grandes agglomérations, nous explique Orange. Il estime que le volume de données qu'ils achètent à ces services est équivalent à celui fourni par les campagnes du régulateur, l'Arcep.

Car, oui, les opérateurs achètent les données de ces sociétés de mesures. 

Baromètres et données « benchmark »

Si les baromètres publics, affichés dans la communication des opérateurs, sont gratuits pour tous, les sociétés qui les éditent agrègent les millions de mesures reçues pour les revendre à des entreprises. 

« On vend nos données à 75 % à des opérateurs » répond sans détour nPerf. « Une part minime du modèle économique repose sur la vente de certaines données aux opérateurs. Ils disposent aussi d'un portail avec des indicateurs » explique 4GMark. Le principal acteur du marché, Ookla, se repose sur la publicité affichée sur son outil de mesure et la vente de « services de données » aux opérateurs.

« Les quatre opérateurs ont acheté nos données, dont trois régulièrement et l'un ponctuellement » affirme Fabien Renaudineau de 4GMark. « Tous achètent sauf un, qui n'est pas intéressé par le moment. Cela ne les empêche pas d'utiliser nPerf dans leur communication, y compris Free » nous répond son concurrent. Interrogés, Orange et SFR confirment acheter ces données. Free nous affirme n'avoir aucun lien avec ces services, malgré des éléments contraires. Bouygues Telecom n'a pas répondu à nos sollicitations.

À quoi servent-elles, au fait, ces informations ? « Ce sont des données benchmark. Nous sommes capables de mesurer notre réseau, mais pas celui des autres, donc nous ne savons pas forcément nous situer selon les endroits » nous répond SFR, qui dispose d'une équipe dédiée au traitement des données réseau. Ces chiffres permettent donc de revoir leurs déploiements ou la configuration des équipements. Leur fiabilité est donc essentielle.

« Chaque mois, nous téléchargeons les données brutes des mesures de 4GMark, nPerf, Ookla et Mon Réseau. Nous les retraitons – notamment avec les données de l’INSEE - pour avoir une vision représentative de la qualité de service et pour se rapprocher le plus possible des mesures représentatives de l’Arcep » nous détaille Orange, qui dit désormais avoir « une solide expérience » dans ce traitement. L'ensemble est, bien sûr, complété par les données de ses propres équipements.

Une dépendance économique ?

En plus des données, les opérateurs peuvent aussi acheter des études « sur des sujets précis », affirme 4GMark. Le traitement est effectué par la société, pour ceux qui n'en ont pas les moyens en interne. Mais attention, les services nous certifient (la main sur le cœur) ne pas être dépendants des opérateurs, s'estimant bien « indépendants ».

4GMark est ainsi l'activité crowdsourcing de QoSi, une société spécialisée dans les campagnes de mesures classiques, effectuées par ses employés pour le compte de tiers (comme l'Arcep). Selon les chiffres communiqués, l'application ne pèserait que très peu dans ses résultats.

De son côté, nPerf nous certifie que l'application pèse encore peu sur les 1,15 million d'euros engrangés en 2016 par FH SARL (Degrouptest), sachant que « 80 % des téléchargements de nPerf se font à l'étranger ». L'entreprise propose aussi une version professionnelle de son application pour les opérateurs, entreprises et associations (notamment aux États-Unis). Ookla, lui, dépend beaucoup de la publicité et des services ciblés pour opérateurs.

Leurs chiffres comptables étant confidentiels et leurs autres activités encore liées au monde des télécoms, il est bien difficile de certifier leur indépendance. La fiabilité de ces mesures est pourtant importante, tant elles sont devenues des informations majeures pour les consommateurs sur la qualité des réseaux. Les manquements poseraient un problème évident de droit à la consommation, qui n'a pas encore émergé jusqu'ici.

Tels des chiens de faïence

Au fait, les services se parlent-ils entre eux ? « Non », nous répondent-ils. En fait, chacun a bien plus de discussions avec chaque opérateur qu'avec ses concurrents. Ces services peuvent mettre en cause les chiffres ou méthodes d'autres baromètres en privé, sur des points assez difficiles à mesurer.

Des tensions peuvent aussi parfois émerger. Début 2015, des tests de 4GMark ont été faussés suite à des ennuis avec son hébergeur OVH. Problème, nPerf a aussi son infrastructure (et l'une de ses mires) chez le Roubaisien, de quoi créer un doute temporaire sur la bonne foi d'OVH pour QoSi, qui a depuis diversifié ses hébergeurs. De son côté, nPerf nous affirme ne pas être au courant d'un lien privilégié avec OVH.

Les relations sont « malheureusement un peu compliquées. On sent vraiment une réticence de la part des autres acteurs à échanger. Ce serait pourtant bénéfique, surtout qu'on ne correspond pas forcément à la même population » regrette pour sa part Fabien Renaudineau de 4GMark. Son éditeur, QoSi, est pourtant bien habitué à discuter avec ses concurrents sur le contrôle classique (drive tests) de réseaux. Regret partagé du côté de nPerf, même si la question ne semble pas vraiment s'être posée jusqu'ici.

Un dialogue constant avec les opérateurs

Le dialogue est plus ouvert avec les opérateurs. Chaque service de mesure discute avec (presque) chaque groupe télécom, individuellement. « On travaille avec les services les plus connus. Ils ont intérêt à ce que leurs résultats soient repris. Nous sommes tout de même totalement agnostiques » nous répondaient récemment des responsables de SFR, en pleine démonstration des évolutions de sa 4G via nPerf et Ookla.

« Un opérateur a initié les discussions le jour où on a publié notre baromètre. Un deuxième est venu quelques mois après » en 2014, se rappelle Renaudineau de 4GMark. Les deux autres sont arrivés « très tardivement » dans les débats autour du crowdsourcing, l'entreprise confirmant discuter au moins chaque trimestre avec trois d'entre eux. nPerf évoque également des discussions régulières avec les opérateurs.

Ceux-ci viennent pour plusieurs raisons. L'une d'elles concerne la correction des baromètres publics, par exemple l'oubli de modifier un chiffre d'un mois sur l'autre. Ils formulent aussi des questions sur la représentation des populations, voire sur des étrangetés dans les chiffres des concurrents. « Aucun n'essaie vraiment de tricher ou de nous influencer à leur avantage » sur les baromètres, affirme aujourd'hui nPerf, en dialogue avec des groupes mondiaux comme Telefónica ou Vodafone.

Des contributions aux baromètres

Ils refusent tout de même les demandes « trop partisanes », comme créer un indicateur 4G+ sur lequel un opérateur serait avantagé pendant quelques mois. « Il ne faut pas se faire l'écho des stratégies de développement des réseaux de l'un ou l'autre » tranche Renaudineau de 4GMark.

Les opérateurs « contribuent » ainsi bien à l'évolution des outils. Les services trient les revendications des groupes télécom, auxquels ils reconnaissent leurs larges moyens d'analyse de données. Des filtrages des résultats ont ainsi été mis en place sur recommandation des opérateurs.

Il n'est pas question de réunions multilatérales. « Lorsqu'on met des concurrents autour de la table, il y a forcément des inhibitions » remarque Thierry Moncorger de 4GMark. L'entreprise se permet donc de suggérer des idées de l'un à l'autre. Elles sont régulièrement acceptées, voire vues comme « de bon sens » par leurs concurrents, nous affirme-t-il. Pour nPerf, les acteurs télécom ont des problèmes assez similaires.

Peu de discussions sur la publicité

Dans l'autre sens, les services vont aussi voir un opérateur qui afficherait un trop bon résultat dans une zone donnée, par exemple suite à un test en laboratoire. Ces retours permettent de relever les anomalies et adapter les algorithmes au besoin. SFR nous dit aussi avoir ses propres demandes, sur un chiffre inhabituel, ou revoir la taille des fichiers à télécharger pour son expérimentation de 4G+ à 500 Mb/s dans un quartier à Clermont-Ferrand. « En général, ça se passe bien. »

« Orange n’est pas sollicité pour la rédaction des baromètres mais ne s’interdit pas – après publication – de donner son avis sur les écarts qui existent entre les baromètres et les protocoles utilisés » répond pour sa part Orange.

Que se passe-t-il exactement quand un opérateur utilise un baromètre dans une publicité ? 4GMark dit avoir peu de retours des opérateurs quand c'est le cas, assumant ses chiffres quoiqu'il arrive. nPerf affirme avoir plus de contacts, même si les groupes ne demandent pas toujours son avis. « En général, on est prévenus juste avant que ce soit diffusé. »

Parmi eux, Free Mobile serait le plus taiseux. Tout juste nPerf note-t-il que « quand le résultat est bon, ils n'hésitent pas à utiliser notre logo sur des 4x3 ! ».

Des serveurs directement chez les opérateurs

Si les tentatives de manipulation se conjugueraient au passé, « on a eu de tout, et de tous les opérateurs » relève tout de même 4GMark. « C'est un peu le jeu du chat et de la souris. On voit très bien que des opérateurs ont cherché à le contourner, donc l'algorithme évolue très régulièrement » estime l'entreprise.

Le lien technique le plus fort entre opérateurs et services, pourtant, est la pose de serveurs dédiés au plus près des réseaux des groupes télécoms ; idéalement en leur sein. Nos deux interlocuteurs nous affirment bien disposer de serveurs chez les quatre opérateurs français, qui configurent aussi les équipements autour en conséquence. De quoi mesurer au plus juste la partie « mobile » du réseau, estiment-ils. SFR confirme bien disposer de matériels dédiés à 4GMark, nPerf et Ookla.

Free, lui, nie avoir de tels équipements en son enceinte. Nos deux interlocuteurs affirment pourtant en disposer chez Online, filiale d'Iliad... La maison-mère de Free. « Online étant le premier à nous proposer la mise à disposition d’un serveur, nous n’avons pas sollicité Free Mobile par souci de représentativité des opérateurs français » détaille 4GMark. Cela contribue-t-il vraiment à la qualité de service chez Free ? Mystère et boule de gomme.

L'Arcep en arbitre, du moins pour certains

Sur le sujet, l'Arcep est considéré comme l'arbitre technique, alors qu'il compte bientôt s'appuyer sur les services de crowdsourcing pour s'alimenter en données, certifiant au passage leurs méthodologies. L'autorité a refusé de nous répondre avant fin juin sur la question.

« Nous sommes favorables à un arbitrage de ce métier par l'Arcep, avec des lignes de conduite, notamment techniques » assure 4GMark, qui dit déjà suivre son cahier des charges. Il lui suggèrerait pourtant régulièrement des changements, comme l'introduction du double thread dans les mesures.

« L'Arcep est vraiment le juge, totalement indépendant » lance Antoine Jacquemond de SFR, qui ne discute pas du sujet avec lui. « On est ouverts aux discussions, mais on n'a pas la volonté d'être influencés par l'Arcep, qui est purement française » répond nPerf, qui s'affiche en outil mondial. S'il admet que les relations ont été plus compliquées avec le régulateur que les opérateurs, elles seraient bien normalisées.

Il reste encore à voir quel sera le rôle de l'autorité à l'avenir, sur une question qui dépend encore aujourd'hui des relations directes entre entreprises, affichant des liens économiques entre elles. Si l'ensemble des acteurs interrogés se dit globalement satisfait de la situation, malgré le silence radio entre services de mesure, il n'est pas dit qu'elle perdure éternellement ainsi.