Il n'y a jamais de perdant quand on choisit les bonnes statistiques

Opérateurs mobiles : tous PREUM’S

Par Romain

Parmi les autorités de l’État, hors feu le CSA et feue l’HADOPI, il y a l’ARCEP, l’Autorité de Régulation des Communications Électroniques et des Postes. Cette organisation a entre autres buts d’attribuer les fréquences aux opérateurs de téléphonie mobile (coucou Free) et des tas d’autres occupations primordiales comme de vérifier la qualité du service mobile en France.

À cette occasion, l’ARCEP a sorti son rapport en juillet dernier sur la qualité du réseau français testée entre septembre et décembre 2009. Le document (passablement ennuyeux) explique la méthodologie et présente les résultats à qui veut les interpréter. Ce sont Bouygues, SFR et Orange qui financent en partie ce test, mais il va sans dire que l’autorité règne en grande prêtresse sur la façon de procéder : elle ne prévient jamais des jours où les enquêteurs vont frapper pas plus qu’elle ne donne la liste des villes “testées” tirées au sort.

La chose se déroule sensiblement comme suit. Deux enquêteurs, l’un est avec un téléphone mobile (choisi parmi les meilleures ventes, il s’agit d’un Samsung F480 pour Bouygues et Orange et d’un Samsung L760 pour SFR), l’autre attend devant un poste fixe, le premier appelle pendant deux minutes (ou cinq, ça dépend) et ils se parlent. Je ne sais pas vraiment ce qu’ils peuvent se raconter, mais j’imagine :
- Opération Alpha Roméo, ici Ouistiti Malicieux.
- Ouistiti Malicieux, je t’écoute.
- Je commence par l’alphabet vérifie bien que tu entends toutes les lettres. A. B. C. D. E. F. G. H…

J’écris ça, parce que quand ils ont fait le test avec les SMS, ils envoyaient systématiquement les “26 lettres majuscules de l’alphabet”. Mais peut-être qu’ils se sont raconté d’autres choses. On ne saura ja-mais.

Quoi qu’il en soit, nos compères ont testé les réseaux d’un côté puis de l’autre, ils ont échangé les binômes, ils ont mélangé les téléphones et les opérateurs et chacun est rentré avec ses conclusions à rédiger, ses “impressions d’écoute”. Pour montrer le grand sérieux avec lequel cette enquête est réalisée, l’ARCEP n’hésite pas à fournir les grandes lignes de la formation suivie par chaque agent pour s’assurer qu’il puisse “identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques (écho, bruit métallique, grésillements,…)”, associée à une phase “d’entraînement (début et fin de chaque phase de mesures) à l’étalonnage de la qualité auditive d’après des enregistrements sonores, et contrôle de la dispersion des résultats”.

Rien n’a été laissé au hasard.

Une fois toutes les mesures faites, grâce à de très chouettes formules statistiques, l’ARCEP a livré des tableaux indiquant les résultats selon l’opérateur par rapport à une valeur de référence moyenne tout aussi chiante à calculer semble-t-il. La méthodologie ayant évolué depuis 2008, l’ARCEP reconnaît certaines limites à l’exercice de comparaison, mais nos amis les opérateurs mobiles n’ont pas hésité à se pavaner dans des exercices d’auto-félicitations mirobolants.

Orange a lancé une grande campagne d’affichage sobrement intitulée “Youpi” :

On y apprend que la société est le “premier réseau mobile 3G+” avec une précision d’importance en renvoi dans le bas de l’affiche : “Orange premier ou premier ex-æquo sur 49 des 59 critères mesurés par l’ARCEP”. Au vu des résultats, c’est plus souvent ex-æquo que premier :

Mais ce n’est pas grave, Orange est premier. Et ça tombe bien parce que SFR est également premier ! Alors pas sur le réseau 3G+, non, mais il est “numéro 1 sur la qualité parfaite des communications pour la sixième année consécutive” :

De même, le petit renvoi explique que “SFR est arrivé le plus grand nombre de fois premier ou premier ex-æquo sur le critère ‘qualité parfaite’ des communications Voix”. Moins d’enthousiasme pour l’ARCEP : une “communication parfaite” c’est “si elle est réussie” (c’est-à-dire que vous avez obtenu votre interlocuteur) et “si la qualité auditive perçue par les deux interlocuteurs est parfaite (comparable à la qualité des communications sur le réseau fixe)”. Ce que le reste du monde appellera une qualité de service “normale”. Mais parfaite, ça sonne quand même mieux. On passera aussi sur le cumul de “sixième année” en rappelant que même l’ARCEP considère que toute comparaison directe est audacieuse en raison de changement dans la procédure de mesure.

Mais bref, arrêtons de faire nos enquiquineurs. Orange et SFR sont tous les deux premiers. C’est ça que la publicité veut qu’on retienne. Les modalités, c’est pour les ploucs. Reste Bouygues. Et Bouygues, lui, a moins de chances avec l’analyse de l’ARCEP : il est bon dernier sur quasiment tous les critères. Et rarement ex-æquo. Comment se tirer cette fâcheuse épine du pied ? En invoquant un autre truc qui n’a rien à voir mais qui permet à l’opérateur d’écrire aussi qu’il est le premier :

Alors, c’est-à-dire que c’est vrai que la relation client en téléphonie mobile est importante, mais ce n’est pas la chose primordiale qu’on attend de son opérateur. Surtout quand la qualité de service n’est pas là. Reste que quand il n’y a que sur ce critère qu’on arrive à être premier, on prend ce qu’on a. Et même si, en réalité, cette enquête auprès de 4000 personnes scrutaient 175 sociétés au total et que Bouygues n’arrive premier “que” dans son secteur (où le nombre de concurrents reste restreint) alors que le podium “tous secteurs confondus” récompense : Mercedez-Benz, la MAIF, Darty et Yves Rocher.

Mais on s’en fout, ce qui compte, comme disait Jacques Martin, c’est que tout le monde a gagné.

(Photo d’intro Dom Joly avec son gigantesque téléphone dans les vidéos de Trigger Happy TV)

  • Par El Gogo le : 23.08.2010 repondre au commentaire

    Ca fait quelques temps que je l-is ce blog et je do-is dire que l’aime beau-coup. Très bi-en écrit.
    J’ai une mauvaise liai-son par contre. Oui je suis chez Bouygues :)

    Par antoine le : 23.08.2010

    oooh naaaaan…

    Par Wedge le : 23.08.2010

    J’aimerai bien qu’il y ait la même chose en suisse entre Swisscom, Orange et Sunrise. :)

  • Par AfkCafé le : 23.08.2010 repondre au commentaire

    HELLOOOOOOOOOOOOOOOO ?
    NO I’M IN A BBB ARTICLE
    NO IT’S RUBBISH

    CIAO !

  • Par Niko le : 23.08.2010 repondre au commentaire

    Maintenant ils ont plus qu’a nous prendre pour des CLIENTS et non pour des pigeons et tout sera pour le mieux dans le meilleurs des mondes, nous pourrons donc touts nous joindre dans une joyeuse farendoles !

    Par Timekeeper le : 24.08.2010

    J’ai eu le Père Noël au téléphone (fixe), il est d’accord, il t’envoie ça pour fin décembre.

  • Par Ugo le : 25.08.2010 repondre au commentaire

    Des années que je recherchais le nom de la série qui me faisais rire, ado, sur Comédie!
    Des années, merci.

tout pareil

et pour la grande frite, on doit tuer un bébé chat ? 10 (friends) contre 1 (Whopper)

si j'avais su je viendrai Rendez-Vous le 7 Mai 2005

La dure réalité des hamburgers

Go

LiensLiensLiens