Oubli de la fréquence de base
Un biais cognitif
L'oubli de la fréquence de base, également appelé négligence de la taille de l'échantillon, est un biais qui repose sur la tendance à ne pas prendre en compte (délibérément ou par oubli) la taille des échantillons en jeu quand on cherche à déterminer une probabilité.
Cette omission peut amener à surévaluer cette même probabilité.
Ci-dessous, quelques exemples concrets, avec valeurs numériques calculées à la clé, qui permettent de se rendre compte de l'ampleur de ce biais cognitif, et des cons"quences facheuses auxquelles il peut aboutir si on n'y prend garde.
On peut retrouver ce biais comme un élément principal dans les préjugés sociaux.
Exemple de la surveillance automatique
Cet exemple est assez courant, notamment utilisé comme exemple dans l'article de Wikipédia. Il permet d'illustrer avec des valeurs et calculs statistiques simples une dérive de raisonnement rapide.
Éléments statistiques
Dans une ville d'un million d'habitants, 100 individus sont fichés dangereux.
La mairie installe un système de surveillance algorithmique capable de détecter automatiquement le visage des personnes qui passent dans son champ.
Bien sûr, comme tout système de mesure, celui-ci n'est pas infaillible. On peut supposer par exemple un taux d'erreur disons de 1%.
Une personne a commis un méfait dans le champ d'une caméra, personne reconnue par le système comme un délinquant.
Quelle est la probabilité que ce soit effectivement un des délinquants listés ? ou un des autres citoyens ?
Si on ne retient que le taux d'erreur annoncé, on a une tendance naturelle à répondre 1% à cette question: le taux d'erreur du système.
Cette réponse rapide est biaisée car elle ne prend pas en compte le déséquilibre important des deux populations: 100 délinquants, et les autres citoyens non fichés, soit 999 900 autres personnes.
On parle aussi ici de "négligence de la taille de référence de l'échantillon".
Avec les valeurs numériques fournies, pour calculer cette probabilité, il suffit de compter le nombre de personnes dans chaque cas:
- Parmi les délinquants fichés, 99 individus déclenchent l'alerte du système de surveillance
- Parmi les autres non-fichés, 1%×999 900 = 9 999 déclenchent aussi l'alerte
Maintenant losque l'alerte se déclenche, il y a donc
- 99 chances sur 10 098, soit une probabilité de 9910 098 ≃ 0,0098 ≃ 1% que ce soit un individu fiché qui ait déclenché l'alerte
- 9 999 chances sur 10 098, soit une probabilité de 9 99910 098 ≃ 0,9902 ≃ 99% que ce soit un individu non fiché qui ait déclenché l'alerte
En termes de probabilités, le calcul précédent correspond à l'application du théorème de Bayes.
Probabilités bayésiennes
On peut représenter cette stratégie par un arbre de probabilités, en notant- D: l'indvidu est un délinquant
- A: l'alerte est déclenchée
Le pourcent d'erreur du système correspond aux probabilités conditionnelles
En utilisant l'arbre pondéré, la définition d'une probabilité conditionnelle, ou encore plus raidement la formule de Bayes
Efficacité d'une campagne de vaccination
Ce fut, entre autre, l'origine des propos fallacieux sur l'efficacité des vaccins contre le COVID, cette fameuse omission de la taille de l'échantillon, ou oubli de la fréquence de base.On a entendu un moment, par des détracteurs des vaccins en question, que plus de 80% des personnes hospitalisées dans les services "COVID" des hopitaux français étaient des personnes vaccinées. Conclusion, le vaccin n'est pas efficace: en n'étant pas vacciné, la probabilité d'être hospitalisé est plus faible…
Ceci, bien sûr, sans prendre la mesure de la taille de chaque échantillon en jeu.
Imaginons, pour caricaturer, que toute la population (100%) soit vaccinée. Alors, toutes les personnes hospitalisées (100% aussi) seraient aussi vaccinées: 100% des personnes hospitalisées sont vaccinées: le vaccin serait donc même dangeureux ?!?
Préjugé sur l'apparence d'une personne
Un exemple d'ommission de la taille des échantillons. Ne serait-ce pas ce qu'on appelle communément un préjugé ?
Je croise une femme à Paris chiquement habillée en tailleur, et lisant le Figaro.
Quelle est la probabilité, selon vous, que je peux juger comme la plus importante ?
- Elle est hôtesse de caisse
- Elle est DRH d'une multinationale
Donnons quelques chiffres pour attaquer le problème avec un peu d'objectivité. Il y a, disons, 10 000 hôtesses de caisse à Paris.
Parmi celles-ci, rares sont celles s'habillent en tailleur et lisent le Figaro en se promenant dans Paris, disons qu'il y en a 1%, soit 100 hôtesses de caisse qui s'habillent en tailleur et lisent le Figaro à Paris.
Maintenant, il y a par contre relativement peu de femmes DRH de multinationale à Paris; disons qu'il y en a 10, et que 90% d'entres elles, donc 9 femmes, s'habillent en tailleur et lisent le Figaro.
Il y a donc, parmi toutes ces personnes, 109 personnes qui s'habillent en tailleur et lisent le Figaro, et la probabilité qu'une personne soit
- hôtesse de caisse est donc de 100109 ≃ 92%
- DRH d'une multinationale 9109 ≃ 8%
Il n'y pas photo, la probabilité qu'elle soit hôtesse de caisse est écrasante devant l'autre !
On voit bien ici que l'erreur commise est celle de négliger la taille des échantillons de référence, au profit des seules probabilités (ou pourcentage) 1% d'hôtesse de caisse s'habillent en tailleur et lit le Figaro contre 90% chez les DRH de multinationales.
Préjugés (bis): préjugés sociaux par omission des fréquences de base
De même que les exemples précédents, on peut arriver à constater qu'il y beaucoup de personnes de couleur, ou issues de l'immigration, en prison et en déduire que la population incriminée contient plus de délinquants que les autres. Ces statistiques disciminatoires (négatives ou positives) abondent dans certains discours politiques. On néglige alors bien souvent en disant ceci les tailles des échantillons, ou les fréquences de base (et bien sûr bien aussi d'autres éléments comme les corrélations existantes entre délinquance et catégories socio-professionnelles et surreprésentation pour des raisons économiques…)Par exemple, le propos suivant qui ravit des orateurs de (extrême ?) droite: dans une ville à fort taux d'immigration, les statistiques sont formelles: 7 délits sur 10 sont commis par une personne de couleur !
Comme on l'a vu (vaccins, hôtesse de caisse), cela peut n'avoir rien de surprenant, et même montrer que, en fait, les personnes de couleur commettent moins de délits que les autres. Il ne faut pas négliger la taille des échantillons, les fréquences de base !
Imaginons (un raisonnement assez simpliste, simplifié, mais mettant en lumière des arguments numériques potentiellement fallacieux) un lieu avec 1000 personnes dont, disons, 90% de personnes immigrées. Parmi ceux-ci, 1 voyou sur 100 ... 1 personne sur 100 ... Cela fait donc 900 immigrés dont 9 voyous.
Dans le reste des 10% de la population, un taux de délits de 5%. Cela nous fait donc 5 voyous dans ces autres 100 personnes.
Au total, on a dans notre population 9+5=14 voyous, et on arrive ainsi à la proportion de 914 ≃ 65% des délits commis par des personnes issues de la population immigrée. On arrive ainsi à l'ordre de grandeur annoncé (7 délits sur 10 …) alors qu'en prenant garde aux fréquences de base, 5 fois moins de personnes issues de l'immigration commettent des délits (1% contre 5%).