À San Francisco, dans une voiture Lyft, une entreprise concurrente d'Uber aux États-Unis, on trouve un affiche scotchée devant le siège passager: «Explication du système de notation.» Il décrit (de façon exagérée) ce que signifie vraiment le système de notation de 1 à 5 étoiles de Lyft pour les conducteurs.
Après la définition de la note 5 étoiles —«m'a emmené à destination»— les explications virent rapidement à la paranoïa. Quatre étoiles: «Ce conducteur craint, virez-le lentement... Si j'en reçois trop, je risque de finir à la rue.» Trois étoiles: «Ce conducteur craint tellement que je ne veux plus jamais le revoir.» Deux étoiles: «Peut-être que la voiture avait un problème vraiment dangereux, ou qu'il faisait du 140 dans une zone à 50.»
Une étoile? «Des menaces ou des actes violents ont peut-être eu lieu, ou peut-être une indifférence flagrante quant à la sécurité.»
Bien qu'ironique, cette explication du système de notation met le doigt sur une vérité essentielle de l'économie collaborative: quand des entreprises, comme Uber par exemple, pénalisent leurs collaborateurs qui ont de mauvaises notes, toute note en-dessous de 5/5 ressemble à une réprimande.
«Le système de notation fonctionne comme ceci: vous commencez avec 5 étoiles, explique Don, chauffeur Lyft à San Francisco à BuzzFeed News. Si vous passez sous 4,6, votre carrière est remise en question. Uber ou Lyft va vous contacter et vous informer que vous êtes en période de vérification. Et si vous continuez à baisser, vous perdez votre boulot. Ils vous désactiveront.» En France aussi les étoiles des chauffeurs peuvent avoir de lourdes conséquences, comme le racontait cet article de franceinfo.
L'économie collaborative nous a rendus à l'aise avec le fait de noter des personnes que nous payons pour faire quelque chose pour nous. Les données comme les anecdotes suggèrent que les systèmes de notation sur cinq étoiles sont subjectifs, biaisés, et généralement confus, et pourtant les marchés du travail continuent de demander aux clients de choisir entre une et cinq étoiles pour déterminer qui est bon dans son travail et qui ne l'est pas. La semaine dernière, Netflix a officiellement remplacé son système sur cinq étoiles pour noter les films par un système bien plus simple de pouce en haut / pouce en bas. Peut-être est-il temps pour les autres plateformes guidées par les données d'envisager de faire elles aussi un changement.
«Ils pensent qu'un 3 est normal, qu'un 4 est comme un 15/20, et qu'un 5 est exceptionnel.»
Les inquiétudes de Don à propos de l'impact d'une mauvaise notation sont bien établies: les travailleurs de l'économie à la demande sont à la merci de leurs clients, dont les notes dans l'application compromettent la capacité d'un individu à gagner des bonus, des boulots, et même à gagner sa vie en général.
Uber déclare que seul un faible pourcentage de chauffeurs ont des notes ne serait-ce que proches du seuil de désactivation, qui varie selon l'endroit du monde où vous conduisez.
Une porte-parole d'Uber France refuse d'évoquer un «seuil de désactivation» et parle plutôt de «manquement» au «code de conduite». Les notes sont rassemblées dans une moyenne renouvellée toutes les 200 courses. Elle explique aussi qu'Uber France est en train de mettre en place un système «d'appel consultatif» avec des associations de chauffeurs. «Les équipes en France ont été précurseures de la réflexion et de la mise en place de ces règles de communauté», se targue la porte-parole.
Dans une déclaration, un porte-parole de Lyft aux États-Unis a expliqué qu'afin d'«assurer que les chauffeurs ne soient pas notés de façon injuste pour des circonstances n'étant pas de leur ressort, plusieurs mesures ont été prises, notamment: les notations sont basées sur les 100 derniers trajets; le système ne regarde pas un chauffeur de façon isolée, mais le compare plutôt aux autres chauffeurs de sa région; et les chauffeurs peuvent envoyer des commentaires après chaque trajet pour déclarer tout problème concernant le trajet ou le passager.»
Mais les notations demeurent néanmoins un sujet d'inquiétude pour certains chauffeurs. Julian, qui conduit à la fois pour Lyft et Uber à San Francisco, a déclaré qu'il pouvait être difficile de conserver une bonne note car les clients ne comprennent pas vraiment le système. «Ils pensent qu'un 3 est normal, qu'un 4 est comme un 15/20, et qu'un 5 est exceptionnel, explique-t-il à BuzzFeed News. Et bien, si vous obtenez 4 à chaque fois, vous êtes viré. Il faut garder une moyenne de 4,7, donc tout ce qui n'est pas 5 n'est pas bon.»
Il y a quelques mois, Julian conduisait une passagère à son hôtel quand il s'est rendu compte qu'elle était tombée dans les pommes à l'arrière de sa voiture. Julian a appelé la police, qui lui a dit de la mettre sur le ventre, mais il s'est inquiété de ce qui aurait pu se passer si elle avait repris conscience pendant qu'il essayait de l'aider. «Ce qui est triste, c'est que j'étais surtout préoccupé par ma note, parce qu'elle était en-dessous de 4,7», déclare-t-il. (La femme s'est réveillée et a couru à son hôtel, explique Julian, il ne se rappelle pas si elle lui a laissé une note.)
Ce type d'angoisses s'étend bien au-delà d'Uber et de Lyft. «Le système de notation est terrible, déclare Ken Davis, un ancien livreur de Postmates, un service de livraison aux États-Unis, qui a été noté dans le cadre du système à cinq étoiles de l'entreprise et a été suspendu pour être tombé sous la note de 4,7 pendant plus de 30 jours. Joshua, un autre livreur de Postmates, raconte: «Je pense que les clients ne comprennent vraiment pas l'impact que leurs notes ont pour nous.»
«Je pense que les clients ne comprennent vraiment pas l'impact que leurs notes ont pour nous.»
Instacart, un service de livraison des courses aux États-Unis, utilise également un système à cinq étoiles: les livreurs dont les notes sont parmi les meilleurs 25% gagnent un bonus de 100 dollars. Les livreurs expliquent que dans la plupart des régions, une seule note qui n'est pas 5 étoiles disqualifie généralement le livreur pour le bonus de la semaine. «Il est incroyablement désagréable de se réveiller et de voir qu'un client s'est plaint de quelque chose en sachant que ce n'est pas de votre faute ou que ce n'est pas vrai», explique Liz Temkin, qui livre pour Instacart à Los Angeles. (Temkin est un plaignant dans le recours collectif en justice contre Instacart pour lequel un accord à l'amiable a récemment été conclu.)
Instacart n'avait pas fourni de commentaire au moment où cet article a été publié. Postmates n'a pas répondu aux nombreuses demandes de commentaire.
Le problème est que, pour qu'un livreur d'Instacart gagne un bonus ou qu'un livreur de Postmates garde une bonne note, ils doivent obtenir une large majorité de 5 étoiles. Certains utilisateurs avertis (comprenez la génération Y) comprennent cela, et mettent rarement des notes de 3 ou 4 étoiles. «À moins qu'ils ne soient vraiment malpolis ou bizarres, je mets 5 à tout le monde, explique Kristen, en visite à San Francisco, en sortant de son Lyft à Union Square. Cela veut vraiment dire quelque chose sur l'application. Je ne veux pas poser de problèmes dans leur vie, vous voyez?»
Mais tous les clients ne sont pas si bien informés. Wendy et son fils Brian, qui venaient d'Indiana, visitaient San Francisco et utilisaient un Uber pour la première fois, ont été surpris d'apprendre que la plupart des chauffeurs considéraient que 4 était une mauvaise note. «J'aurais crû que 5 était excellent, et 4 était bon», explique Wendy. Cette découverte a également choqué Elnaz, qui utilise Uber depuis longtemps, et vient de Los Angeles pour visiter San Francisco. «Quatre étoiles, c'est pourri», dit-elle, incrédule, «vraiment?»
«Les clients ne comprennent pas du tout l'impact des notations sur les livreurs», explique une ancienne responsable de communauté chez Postmates, qui a demandé à conserver l'anonymat pour parler de son ancien employeur. «Un client peut noter une livraison trois étoiles, en considérant que c'est une note correcte. Plusieurs notes de trois étoiles pourraient faire chuter la notation d'un livreur de façon significative, surtout s'il débute. Cela peut provoquer son licenciement.»
Matthew Smith est aussi un chauffeur pour Uber et Lyft qui, frustré par ce système de notation à cinq étoiles, a décidé de dessiner une explication visible de la banquette arrière de sa voiture. Le tableau de Matthew est bref, et indique «5 étoiles = ce trajet a été convenable ou mieux, 4 étoiles = ce chauffeur devrait être viré».
«J'avais constamment des passagers ravis qui me mettaient un 4, ce qui était vraiment grave... ils pensaient vraiment qu'un 4 était un bon trajet, nous explique Matthew dans un mail. Depuis que j'ai ce panneau, j'ai eu environ 35 trajets notés, tous des 5 étoiles.»
Uber et Lyft déclarent tous deux que la grande majorité des chauffeurs reçoivent effectivement des notes de cinq étoiles. Mais, s'ils déclarent que cela montre que la plupart des chauffeurs font un excellent travail, cela pourrait bien plutôt démontrer que le système de notation à cinq étoiles ne fonctionne pas.
Certains passagers expliquent mettre cinq étoiles car ils ont peur de ce qui se passera s'ils ne le font pas. «Je mets toujours cinq étoiles, à moins que le chauffeur soit vraiment malpoli ou quelque chose comme ça, déclare Golda, une autre passagère d'Uber. J'ai entendu dire qu'en-dessous de 4 ou 5, ils pouvaient avoir des problèmes. Ils essayent juste de gagner un peu d'argent, donc il faut que ce soit vraiment nul pour que je mette une mauvaise note.»
David Celis, ingénieur en logiciel pour Github, qui gérait auparavant un site web de notation de bières, explique que ce n'est pas uniquement par empathie que les gens donnent beaucoup la note de cinq étoiles. C'est aussi parce que les systèmes de notation sur cinq étoiles en soi amènent à une paralysie du choix. «Plus il y a de possibilités présentées dans un système de notation, plus le fait de donner une note représente un effort mental», explique-t-il.
Dès 2009, YouTube a compris que «l'immense majorité des vidéos sur YouTube avait une note parfaite de cinq étoiles.» Shiva Rajaraman, alors responsable produit, a commencé à se demander si quelque chose clochait dans leur système de notation, qui était «principalement utilisé comme une marque d'approbation, et non comme un indicateur éditorial de ce que la communauté pensait d'une vidéo.» Six mois plus tard, YouTube a remplacé son système de notation sur cinq étoiles par un système pouce en haut / pouce en bas. Si Uber et Lyft adoptaient ce même système, déclare David Celis, «du côté du client, l'expérience serait bien meilleure».
L'autre problème est que tout le monde n'est pas d'accord sur ce que signifient les notes en étoiles, pas même les entreprises. Lyft explique que cinq étoiles veut dire «super», quatre étoiles veut dire «ok, peut mieux faire», et trois étoiles veut dire «en-dessous de la moyenne». Mais pour Uber, cinq étoiles veut dire «excellent», quatre étoiles «bien», et trois étoiles «ok».
Les individus ont également des interprétations différentes. Pour certaines personnes, 3 veut dire bien, 4 très bien, et 5 parfait. Certaines personnes peuvent se dire que nul n'est parfait, et donc mettre cinq étoiles quand c'est très bien et quatre quand c'est bien, poursuit David Celis. Les façons d'interpréter ces étoiles sont infinies, et la plupart des gens n'ont pas exactement le même système.»
Cinq ans avant la création même d'Uber, Yelp a popularisé l'utilisation du système de notation sur cinq étoiles pour noter les restaurants et autres entreprises. «Sur Yelp, tout ce qui est à quatre étoiles ou plus est très bien. Trois ou quatre étoiles indiquent que cela peut valoir le coup. Moins de trois étoiles, c'est à partir de là que vous commencez à voir des entreprises qui échouent vraiment», explique Darius Kazemi, programmeur informatique et ancien utilisateur d'élite de Yelp. Mais, à cause de la limite artificielle utilisée par Uber et d'autres applications, ce système ne correspond pas parfaitement à l'économie collaborative, ce qui provoque une confusion chez les clients. «La limite de Yelp pour "vous êtes viré-e" est de trois. C'est à partir de là que vous voyez des entreprises qui commencent à perdre de l'argent. C'est bien inférieur à la limite d'Uber.»
Si les gens assignent une signification différente aux notations sur cinq étoiles, et que les notations signifient des choses différentes selon l'application ou le site web que vous utilisez, il semble peu probable que les données issues de ces notations aient vraiment du sens. Certains espaces de travail, conscients de ce problème, ont commencé à expérimenter des façons d'amoindrir l'impact des systèmes de notation sur cinq étoiles sur leurs collaborateurs.
Rinse, un service de blanchisserie à la demande, invitait auparavant ces clients par SMS à noter leur livreur de un à cinq, mais le score général «a eu tendance à rester autour de 4,9 pendant toute la période où nous avons testé ce système», déclare son cofondateur, Ajay Prakash. Ajay Prakash a conclu que les SMS, auxquels peu de clients répondaient de toute façon, ne produisaient pas des données très utiles, et a fait cesser leur envoi. Managed by Q, une start up qui envoie ses agents nettoyer et gérer des espaces de bureaux, est un autre exemple. L'entreprise a arrêté de demander aux clients de noter ses collaborateurs, notamment car cela créait des tensions avec les clients. «Les systèmes de notation sur cinq étoiles ne sont pas de bons baromètres des performances individuelles», a expliqué John Cockrell, directeur produit chez Managed by Q dans un mail.
«J'ai pensé: "Oh! Bordel!" Le mec était sympa, j'aimerais ne pas avoir fait cela.»
Mais, dans le monde du travail sur internet, le système de notation sur cinq étoiles reste omniprésent. Sur des sites tels que Fiverr et Freelancer.com, les notes laissées par des clients affectent le classement d'un travailleur indépendant dans les recherches. Les systèmes de notation sur de tels sites ont tendance à prendre plus de choses en compte que les applications de l'économie collaborative, mais l'impact est similaire: plus votre note est basse, plus vous êtes bas dans le classement pour les recherches, et moins vous avez de chances d'obtenir un job intéressant. Matt Barrie, PDG de Freelancer.com, déclare: «C'est un peu comme Uber.»
Michael Truong est responsable produit senior chez Uber, et il travaille sur l'amélioration du système de notation de l'entreprise. «Nous essayons de vraiment comprendre la note des passagers pour un trajet», déclare-t-il.
Il a expliqué à BuzzFeed News qu'Uber avait par le passé envisagé de passer à un système pouce en haut / pouce en bas, mais avait décidé de ne pas le faire. «Le poids émotionnel que les passagers auraient, s'ils pensaient que leur chauffeur pouvait être désactivé s'ils mettaient une mauvaise note, empêcherait les gens de mettre un pouce en bas, déclare-t-il. Nous n'aurions donc pas la possibilité de relayer ces retours à nos chauffeurs.»
Au cours des derniers mois, le Good Work Code a compilé des études sur la façon de créer un meilleur système de notation pour les plateformes de travail. «Les gérants de l'entreprise veulent des informations sur un travail ou un job après qu'il a été fait, et le client veut donner ses commentaires. Mais comment le collaborateur reçoit effectivement des informations lui permettant de réussir et de prospérer dans ces conditions de travail?» se demande Palak Shah, directrice de l'organisation mère du Good Work Code, Fair Care Labs. «Nous sommes certains... qu'il y a de nombreuses opportunités de développement et d'amélioration.» Le rapport, qui recommande la transparence, l'interaction humaine, des procédures de contestation des notes, et un système plus dynamique qu'une «note de un à cinq», devrait être publié dans les semaines à venir.
John Gruber, éditeur du Daring Fireball, fait partie de ceux qui pensent que le système de notation sur cinq étoiles ne produit pas de données particulièrement utiles, et qu'en règle générale les systèmes binaires sont meilleurs. «Il n'y a pas d'accord universel sur la signification des différentes notes en étoiles», explique-t-il à BuzzFeed News. «Mais tout le monde sait ce que veulent dire un pouce vers le haut et un vers le bas.»
Il y a quelques années, au cours d'un voyage au Colorado, John Gruber a vécu une expérience qui lui a fait réaliser que cette confusion sur la signification des notes pouvait avoir un impact sur des individus que les clients ne réalisaient pas. Après avoir fait un trajet en Uber qui avait une odeur particulièrement forte de désodorisant d'intérieur, il a donné au chauffeur une note de quatre étoiles. Le lendemain, il a reçu un appel d'un employé d'Uber qui lui a demandé ce que le chauffeur avait fait de mal.
«J'ai pensé: "Oh! Bordel!"» raconte-t-il. «Le mec était sympa, j'aimerais ne pas avoir fait cela.»
Ce post a été traduit de l'anglais.