Partie 2 : analyse des données du site "C'est de gauche ou de droite ?"
Le 10 Novembre 2022
Il y a un peu plus d'un mois, je partageais ma dernière création sur Twitter : degaucheoudedroite.delemazure.fr. L'idée est simple : vous rentrez un mot, un nom ou une phrase, et une intelligence artificielle va vous dire si c'est de gauche ou de droite. En un mois, plus de 5 millions de recherches ont été effectuées sur le site. Maintenant que ça s'est calmé, je crois que le moment est venu d'analyser les données de ces recherches. Je rappelle que ce site est à prendre au second degré et n'est pas vraiment là pour trancher le débat sur la gauche et la droite. Cet article est la deuxième partie du récit de ce site, je vous invite à lire la première partie qui raconte l'histoire du site et le fonctionnement de l'intelligence artificielle derrière le site, en cliquant ici.
Dans cette seconde partie de l'article sur le site "C'est de gauche ou de droite ?", on va donc s'intéresser aux données des recherches des utilisateurs. Je vous rassure tout de suite : je ne vais pas vendre ou utiliser ces données à des fins commerciales. Par contre, on peut les analyser pour répondre à différentes questions : quelles sont les recherches les plus souvent effectuées ? Qu'est-ce qui est considéré à gauche par le plus de monde ? Quelles sont les recherches les plus souvent faites par les personnes de droite ? Quels sont les mots dont l'orientation politique fait le moins consensus ?
Evolution du nombre de recherches
Il y a énormément de données à analyser. Sur tout le mois d'octobre, il y a eu plus de 5,1 millions de recherches dont 900 000 recherches différentes. Il faut également ajouter à cela les 800 000 retours utilisateurs avec les boutons "d'accord" et "pas d'accord". Avant même de plonger dans le coeur des données et de regarder le contenu des recherches, nous pouvons déjà nous poser la question : quand ont été faites ces requêtes ? En particulier, quels jours, et à quelles heures ?
Sur le graphique ci-dessous, on voit bien le pic d'utilisation lorsque le site a fait le buzz sur Twitter le 5 octobre. On voit ensuite la fréquentation diminuer légèrement jusqu'au week-end, avant de remonter grâce aux chaînes de radios et de télé qui ont parlé du site, le plus gros pic étant le 14 octobre suite à la diffusion de l'émission Quotidien durant laquelle j'ai pu présenter le site en personne. Depuis ce pic, la fréquentation diminue lentement, mais sûrement.
Le graphique ci-dessus n'est pas très précis, puisqu'il montre le total des recherches faites par jour. Cela permet de distinguer les tendances globales, mais pas les gros pics de fréquentations. Notamment, on pourrait s'attendre à ce qu'il y ait des pics de fréquentations suite à une apparition du site à la radio ou à la télévision. Ci-dessous, j'ai fait une petite frise chronologique des différentes mentions du site dans les médias durant le mois d'octobre.
Cette frise chronologique permet de mieux comprendre le graphique suivant, qui présente le nombre de recherches par minute durant tout le mois d'octobre. Cela permet de beaucoup mieux distinguer les pics inhabituels de fréquentation, comme celui dû à l'émission C à Vous sur France 5 le 11 octobre, qui a évoqué le site dans une de ses chroniques. C'est le record de fréquentation avec plus de 5000 requêtes en une minute. On observe aussi un pic pendant la diffusion de Quotidien sur TMC le 13 octobre, durant laquelle Yann Barthes s'est amusé à chercher les noms de tous les chroniqueurs de l'émission sur le site. En plus de ça, le compte officiel de l'émission a diffusé l'extrait sur ses réseaux sociaux, ce qui explique la grosse fréquentation du 14 octobre. Enfin, on distingue un dernier gros pic de fréquentation le 15 octobre un peu après minuit causé par une chronique dans l'émission Quelle époque sur France 2. Si ces émissions ont ramené beaucoup de traffic sur le site, ce n'était pas le cas pour toutes. Par exemple, il n'y a pas eu de gros pic de recherches suite au passage sur RTS (la radio-television suisse) ou sur M6. Sur le graphique ci-dessous, j'ai essayé d'identifier les causes des différents pics. Certains restent inexpliqués, comme celui du 13 octobre aux alentours de midi (je sais juste que beaucoup de gens ont cherché "49.3" à ce moment-là).
En plus des pics de fréquentations, sur le graphique précédent se dessine une certaine régularité des visites. Tout d'abord, l'évidence : il y a plus de recherches le jour que la nuit. Mais si on regarde plus précisément, cela devient un peu plus intéressant. Sur le graphique ci-dessous, qui compte le nombre de recherches selon l'heure de la journée, on peut voir que le site est plus fréquenté en soirée, entre 20h et 23h, et pendant la pause du midi. On peut interpréter ça comme le signal que ce site a un fort aspect social : on peut facilement jouer dessus avec ses amis, à la cantine le midi ou au bar le soir.
Les recherches les plus fréquentes
Nous venons de voir quand les gens ont utilisé le site, regardons maintenant ce qu'ils ont cherché sur le site. La première chose qui vient à l'esprit est de savoir quelles sont les recherches les plus fréquentes sur le site. Pour éviter que les résultats soient influencés par les bots et les petits rigolos qui se sont amusés à spammer certaines recherches, je ne compte pas les doublons de recherches venant de la même personne, donc les chiffres qui suivent sont légèrement sous-estimés.
Loin (très loin) devant, on trouve la recherche "Macron" avec plus de 40,000 occurrences. Si on ajoute à cela la recherche "Emmanuel Macron", effectuée plus de 10,000 fois, on voit que l'actuel président de la République représente à lui seul presque 1% du total des recherches du site. En deuxième position, on trouve la ville de Paris, qui serait de gauche, suivi du mot "Chat" qui lui, serait de droite. L'intégralité du top 25 est dans le graphique ci-dessous. On retrouve notamment beaucoup de politiciens (Marine Le Pen, Jean-Luc Mélenchon, François Hollande, Fabien Roussel, Éric Zemmour), quelques dictateurs (Hitler et Staline), mais aussi la bière et le vin.
Si on regarde la distribution du nombre de recherches pour chaque mot ou phrase, on obtient le graphique ci-dessous. Les axes ont été mis en échelles logarithmiques pour que le graphique soit plus lisible. La courbe noire indique le nombre de mots qui ont été recherchés un certains nombre de fois, par exemple, près de 700 000 mots n'ont été cherchés qu'une seule fois et environ 1 000 mots ont été cherchés 10 fois. Un seul mot ("Macron") a été cherché plus de 40 000 fois. En gris, il s'agit du nombre cumulé de mots, c'est à dire le nombre de mots qui ont été recherché au moins le nombre de fois indiqué par l'axe des abscisses. Par exemple, presque 1 000 000 de mots ont été recherchés au moins une fois sur le site, et environ 40 000 mots ont été cherchés plus de 10 fois sur le site. Une dizaine de mots seulement ont été cherchés plus de 10 000 fois.
Au total durant le mois d'octobre, 930 mots ou phrases différentes ont été cherchés plus de 1 000 fois. Je les ai tous mis dans le tableau ci-dessous, avec l'orientation politique qui leur est assignée par le site (rouge pour la gauche, bleu pour la droite, violet pour les deux). Si vous cliquez sur un mot dans le tableau, certains détails s'afficheront, comme le nombre de recherches de ce mot, mais aussi la proportion des votes des utilisateurs qui classent le mot à gauche ou à droite. On remarque notamment que cette proportion est assez équilibrée pour beaucoup de mots. Enfin, pour chaque mot, on peut calculer les 3 autres mots du tableau qui sont cherchés le plus souvent par les mêmes personnes. On constate sans surprise que ces mots sont conceptuellement très proche du mot d'origine. Par exemple, les mots les plus cherchés avec "Bière" sont "Vin", "Champagne" et "Whisky". En explorant ce tableau, on remarque également certains détails amusants. Par exemple, on voit qu'en moyenne, les prénoms féminins reçoivent en moyenne plus de votes "de gauche" que les prénoms masculins (à part peut-être le prénom "Marine").
Il est à noter que les requêtes les plus populaires varient au fil des jours, suivant les apparitions du site dans les médias, mais aussi selon l'actualité. Pour la partie média, on voit notamment que les noms "Nicolas Demorand" et "Léa Salamé" on été particulièrement cherchés le 10 octobre, jour où le site à fait l'objet d'une chronique dans la matinale de France Inter. "Dauphine" a été très cherché suite à la publication de l'article sur le site de Dauphine (mon université). Le 12 octobre, c'est au tour de "Philippe Caveriviere" et "Yves Calvi" (respectivement chroniqueur et animateur sur RTL) d'être très cherchés sur le site, puis "Yann Barthes" et "Pablo Mira", de l'émission Quotidien le 13 octobre. Enfin, l'humoriste Verino a publié une vidéo sur ses réseaux, où il tente de comprendre pourquoi le site le classe à droite. Cette vidéo l'a rendu particulièrement cherché du 15 au 18 octobre, et beaucoup de personnes ont voté qu'ils n'étaient pas d'accord avec le fait que Verino soit de droite.
Pour ce qui est de l'actualité, Benzema a été très recherché suite à son ballon d'or, Kanye West après ses propos antisémites, Elon Musk après l'officialisation du rachat de Twitter, ou encore Halloween durant les trois derniers jours d'octobre. Enfin, le 31 octobre, le site a fait l'objet d'un article dans la presse Allemande, provoquant beaucoup de recherches autour de l'actuel chancelier Olaf Scholz et de l'ancienne chancelière Angela Merkel.
Les recherches les plus amusantes
Évidemment, je me suis aussi amusé à fouiller un peu dans les recherches pour trouver celles qui étaient amusantes. Je vous ai fait une petite sélection. Je n'ai bien sûr pas lu un million de requête, alors j'ai juste pris celles sur lesquelles je suis tombé et que je trouve marrantes, car un petit peu absurdes. On commence par quelqu'un qui s'adresse vraisemblablement directement à moi :
Bonjour inconnu, et merci de cette information.
Certains n'ont pas exactement compris le principe du site et confondent peut-être avec Google ou DuckDuckGo :
Pour l'optimisation des impôts, je ne sais pas trop, mais pour le fonctionnement du site, je vous propose cet article. Il y a aussi beaucoup de questions existentielles :
Beaucoup de questions auxquelles je n'ai malheureusement aucune réponse...
Par contre là, je connais la réponse !
Il y a aussi ceux qui ont confondu le site avec un serveur Starbucks :
Mais mes préferés sont ceux qui racontent leur vie au site :
Eh bien bonne promenade ! Pour finir, je fais une petite dédicace à tous ceux qui ont tenté de trouver des failles dans le site (et il y en avait...). On commence par les injections, notamment des injections SQL, PHP et Javascript :
Heureusement, il n'y avait aucune faille critique sur le site. Et puis il y a ceux qui sont encore plus malins, et qui savent que j'utilisais l'IA GPT-3, qui peut facilement se faire avoir, notamment si on lui dit d'ignorer les commandes précédentes et de lui donner une nouvelle instruction. On appele ça des prompts injections et vous pouvez trouver quelques exemples dans ce tweet. Malheureusement pour eux, si les résultats n'étaient pas "De gauche", "De droite" ou "Les deux", l'IA choisissait au hasard entre les 3, donc mêmes si les injections marchaient, le résultat de l'injection ne s'affichait pas sur le site. Voici quelques exemples de prompts injections cherchées par des utilisateurs du site :
Les votes
Si vous avez utilisé le site, vous avez probablement remarqué les boutons "d'accord" et "pas d'accord" qui s'affichent lorsque l'on fait une recherche. Ils permettent aux utilisateurs de signaler s'ils sont d'accord ou non avec la réponse de l'intelligence artificielle. Si beaucoup de personnes sont du même avis, cela peut changer le résultat donné par le site. J'explique tout ça dans l'autre partie de l'article. Sur le graphique ci-dessous, j'ai classé les mots avec le plus de votes de celui ayant reçu le plus de votes le plaçant à gauche, à celui ayant reçu le plus de votes le plaçant à droite. Bien sûr, ce graphique est à prendre avec des pincettes, étant donné que le panel des utilisateurs du site n'est pas du tout représentatif de la population générale. On n'est pas très surpris de retrouver à gauche les mots "Grève", "Merguez", "Rennes", "Poutou", "Cannabis", "Kebab" et "LGBT", et à droite les mots "CNews", "Nice", "Elon Musk", "ASSAS", "Michel Sardou", "Le golf" et "Darmanin". Certains mots, comme "Saucisson", "Barbecue" ou "François Hollande" semblent beaucoup moins faire consensus. On tentera d'expliquer ce phénomène un peu plus loin dans l'article.
Mais ce n'est pas la seule information que ces votes peuvent nous donner. Par exemple, on peut catégoriser les utilisateurs en deux groupes selon ce qu'ils votent en voyant que Macron est catégorisé de droite par le site. J'ai ainsi créé deux groupes d'utilisateurs : le groupe de gauche, qui est d'accord avec la catégorisation de Macron à droite, et le groupe de droite, qui n'est pas d'accord avec la catégorisation de Macron à droite. Bien sûr, c'est loin d'être un découpage parfait, il y a des gens de droite qui sont d'accord pour dire que Macron est de droite, et dans une moindre mesure, des gens de gauche qui pensent que Macron est de gauche. Les résultats qui vont suivre sont donc à prendre avec précaution, et à ne pas considérer comme un vrai sondage d'opinion. Quoi qu'il en soit, la gauche et l'extrême gauche ont de fortes chances d'être sur-représentées dans le premier groupe, tandis que la droite et l'extrême droite seront sur-représentées dans le second groupe. Enfin, une autre raison de prendre ces statistiques avec précaution est que sur les plus de 12000 utilisateurs de ces groupes, 80% sont dans le groupe de gauche et 20% seulement dans le groupe de droite (et je ne crois pas que 80% des Français soient de gauche).
On peut tout d'abord regarder les recherches qui sont plus fréquentes dans un groupe que dans l'autre. En d'autres termes, quels sont les sujets qui intéressent chaque groupe. Le graphique suivant présente ces résultats avec le pourcentage de recherches attribué au groupe correspondant. Par exemple, 85% des personnes qui cherchent "Alexandre Astier" font partie du groupe de gauche, tandis que 79% des personnes qui cherchent "Sardine Ruisseau" font partie du groupe de droite.
À gauche, on retrouve quelques figures de la gauche comme "Le parti socialiste", "Yannick Jadot" ou bien un certain "Jean-Luc Mélanchon" (ici c'est plus probable que le groupe de droite sache juste mieux écrire son nom). On trouve également "Angèle", "Beurre", "Fourchette" ou encore "Faire caca". À droite, les résultats sont un peu plus inquiétants, avec une très grosse focalisation sur les religions, et notamment l'Islam. On retrouve également les recherches liées au fascisme ("Fascisme", "Mussolini", "Adolf Hitler", "Nazisme"). On trouve également des figures de la droite et de l'extrême droite comme "Papacito" ou "Pecresse".
Enfin, un exercice intéressant qu'il reste à faire avec ces groupes est de regarder leurs votes sur les autres mots (parmi ceux qui sont les plus recherchés, et qui ont reçus suffisamment de votes). Notamment, on peut se demander quels sont les points d'accords et de désaccords entre les deux groupes. Regardons d'abord les points d'accords. On retrouve les extrêmes du graphique qui classait les mots de gauche à droite. Par exemple, il semble que tout le monde est d'accord pour dire que Usul, le communisme et Poutou sont de gauche. En haut de cette liste, on retrouve également "Quinoa", "Kebab" et "Le caca". Plus surprenant, on trouve aussi "La vie". Le graphique suivant montre le top 30, avec en rouge le pourcentage des gens du groupe de gauche qui disent que c'est de gauche, et en bleu le pourcentage des gens du groupe de droite qui disent que c'est de gauche.
De l'autre côté du spectre, il y a aussi beaucoup de mots qui font consensus comme étant de droite. Par exemple, il semble que tout le monde soit d'accord pour dire que Eric Zemmour, Pascal Praud et le tennis sont de droite. Il y a même un consensus total (100% des gens disent que c'est de droite) sur "Nice" et "Israël", et presque total sur "Golf". On remarque également qu'il y a un consensus autour de l'idée que les hommes seraient de droite et les femmes de gauche. Le graphique suivant montre le top 30, avec en rouge le pourcentage des gens du groupe de gauche qui disent que c'est de droite, et en bleu le pourcentage des gens du groupe de droite qui disent que c'est de droite.
Maintenant vient la partie la plus intéressante : les points de désaccords entre le groupe de gauche et celui de droite. Notez d'abord qu'il y a ici deux façons de n'être pas d'accord : soit chacun pense que le mot est dans l'autre camp, soit chacun pense que le mot est dans son camp. Dans le premier cas, par exemple, le groupe de gauche dit que Macron est de droite tandis que le groupe de droite dit qu'il est de gauche. Puisque je me suis basé sur ce désaccord autour de Macron pour construire mes groupes, on va notamment trouver les politiciens proches d'Emmanuel Macron dans cette liste : l'actuelle première ministre Elisabeth Borne ou encore le chef du Modem François Bayrou. On trouve aussi d'autres politiciens des partis de gauche qui sont rejetés par certains militants de gauche, comme Manuel Valls, Fabien Roussel ou François Hollande. On trouve également beaucoup de mots péjoratifs et des insultes comme "Violence", "La connerie", "Connard", "Racisme" ou "Dictature". On trouve enfin ce qui semble être rejeté par les deux groupes, comme "BFM" ou "Chine". La vraie question étant la présence du mot "Chaise" dans cette liste. Le graphique suivant montre le top 30, avec en rouge le pourcentage des gens du groupe de gauche qui disent que c'est de droite, et en bleu le pourcentage des gens du groupe de droite qui disent que c'est de gauche.
Enfin, on peut regarder les mots pour lesquels chaque groupe dit qu'il est dans son camp. C'est le cas d'un grand nombre de prénoms : les gens de gauche veulent que leur prénom soit de gauche, et les gens de droite veulent qu'il soit de droite. On trouve également des choses très appréciées par tout le monde, comme "La raclette", "Le fromage", "Le café" ou "Les chiens". Plus surprenant, les deux groupes considérent que "Écologie" est de leur côté. Le graphique suivant montre le top 30, avec en rouge le pourcentage des gens du groupe de gauche qui disent que c'est de gauche, et en bleu le pourcentage des gens du groupe de droite qui disent que c'est de droite.
C'est fini
C'est tout pour cet article sur les statistiques du site degaucheoudedroite.delemazure.fr. Je me suis bien amusé en décortiquant ces données, et j'ai aussi beaucoup apprécié l'engouement autour du site qu'il y a eu pendant quelques semaines. Maintenant que cette histoire est finie, je vais pouvoir retourner bosser sur des projets un peu plus sérieux (ou pas ?). Si vous voulez voir mes prochains projets, vous pouvez me suivre sur Twitter. Si vous n'avez pas lu la première partie de cet article sur l'histoire du site et le fonctionnement de l'IA que j'utilise, je vous invite à la lire en cliquant ici.