Tant qu’on est dans le climat et les chiffres, un petit cours de Norman Fenton. Ça a l’air un peu austère au premier abord, mais c’est en fait assez amusant – surtout le coup de la pièce à deux faces. On pourrait trouver pire comme professeur: Norman Fenton est un mathématicien et statisticien britannique mondialement connu, spécialiste de l’analyse du risque, auteur de nombreux ouvrages et professeur émérite à l’Université Queen Mary – entre autres.
À la longue, vous finirez par devenir assez fortiches en logique/statistiques, le genre de truc qui peut éventuellement servir dans d’autres domaines. Imaginons par exemple (au hasard), qu’on vous annonce qu’un vaccin est efficace à 95%…
Le changement climatique en chiffres faussés
L’arnaque de « l’origine humaine du réchauffement certaine à au moins 95% »
5 juil. 2023
Ce que ce chiffre signifie et ne signifie pas
En 2015, j’ai été l’un des présentateurs du documentaire de la BBC Climate Change by Numbers [Le changement climatique en chiffres]. J’en ai rédigé un résumé ici.
Le « chiffre du changement climatique » que l’on m’a spécifiquement demandé d’expliquer était le chiffre 95: plus précisément, par rapport à l’affirmation faite dans le rapport 2013 du GIEC selon laquelle « il est certain à au moins 95% que plus de la moitié du réchauffement récent est dû à l’homme ».
Le « réchauffement récent » concerne la période 1950-2010. L’affirmation porte donc sur la probabilité que l’homme soit à l’origine de la majeure partie de ce réchauffement.
Avant d’expliquer le problème que pose cette affirmation, nous devons préciser que (bien qu’elle soit superficiellement similaire), elle est très différente d’une autre affirmation plus connue (à ce jour encore promue par la NASA) selon laquelle « 97% des climatologues sont d’accord pour dire que l’homme est à l’origine du réchauffement de la planète et du changement climatique ». Cette affirmation était simplement basée sur une enquête erronée menée auprès d’auteurs d’articles publiés et a été complètement infirmée.
Le degré de certitude de 95% est une affirmation plus sérieuse. Mais les arguments avancés en sa faveur dans le rapport du GIEC sont également fallacieux. Pour expliquer pourquoi, il est utile d’illustrer cette faille à l’aide d’un exemple simple et éloquent.
L’erreur fondamentale: l’exemple du jeu de pile ou face
Imaginons que l’on sache qu’il y a des pièces à double face en circulation. Supposons qu’une pièce soit choisie au hasard et que, sans l’inspecter, on la lance cinq fois. À chaque fois, le résultat est « face ». Quelle est la probabilité que la pièce soit à double face? La plupart des gens pensent intuitivement qu’il est très probable qu’il s’agisse de l’une de ces pièces à deux côtés face. Mais c’est une erreur.
Dans un test d’hypothèse statistique classique, il n’est pas possible de tirer des conclusions directes par rapport à l’hypothèse selon laquelle cette pièce est à double face. Au lieu de cela, l’observation des cinq face consécutifs est utilisée pour accepter ou rejeter l’« hypothèse nulle » (selon laquelle la pièce n’est PAS à double face) à un niveau de signification convenu. Plus précisément, on calcule la probabilité d’observer cinq faces consécutives avec une pièce qui n’est pas à double face. Dans ce cas, la probabilité est de 1/32, soit environ 3%. Il s’agit donc en effet d’une situation très improbable. Généralement, on utilise un niveau de signification de 5% (également appelé valeur p), ce qui signifie que nous « rejetons » l’hypothèse nulle dans ce cas parce que la probabilité est inférieure à 5%.
Notons que nous pouvons conclure de manière équivalente qu’il existe une très forte probabilité (97%) que nous n’aurions pas observé cinq faces consécutives si la pièce n’était pas à double face.
Malheureusement, les gens concluent souvent (à tort, comme nous allons le montrer) que le rejet de l’hypothèse nulle au niveau de signification de 5% signifie qu’il y a moins de 5% de probabilité que la pièce ne soit pas à double face. Ils en concluent également que nous pouvons être sûrs à au moins 95% que la pièce est à double face. Mais c’est une erreur.
Si les cinq « face » consécutifs étayent certainement l’hypothèse selon laquelle la pièce est à double face, ils ne nous apprennent rien sur la probabilité qu’elle soit réellement à double face. La seule façon de tirer une conclusion ferme sur cette probabilité est de connaître la « probabilité préalable » que la pièce soit à double face; dans ce cas, il s’agit de savoir quelle proportion des pièces en circulation sont à double face. Cela fera une grande différence si c’est 1 sur 2, 1 sur 100, 1 sur 1000, 1 sur un million, etc.
Si nous connaissons la proportion de pièces à double face en circulation, le théorème de Bayes peut être utilisé pour calculer la réponse que nous cherchons. Supposons, par exemple, que nous sachions qu’il y a 1 pièce à double face sur 500 en circulation (la probabilité a priori qu’une pièce soit à double face est donc de 1 sur 500, soit 0,2%). Le calcul formel est présenté ci-dessous1, mais on peut donner une explication intuitive sans recourir à la formule de Bayes:
- Imaginons un sac de 500 pièces dont exactement une est à double face (c’est-à-dire un sac de pièces typique à ce cas de figure). Supposons que nous testions chaque pièce en la lançant cinq fois. Nous sommes alors certains que la (seule) pièce à deux faces donnera 5 faces.
- Mais une pièce sur 32 parmi les 499 autres pièces normales – c’est-à-dire environ 16 pièces normales – donnera également cinq fois de suite le résultat « face ».
- Par conséquent, pour 17 pièces enregistrant cinq faces consécutives, il n’y en a qu’une seule qui a deux faces.
- Par conséquent, si nous savons qu’une pièce a enregistré cinq faces consécutives, nous pouvons conclure qu’il y a une chance sur 17 (soit environ 6%) qu’elle soit à double face, c’est-à-dire qu’il y a environ 94% de chances qu’elle ne soit pas à double face.
Ainsi, s’il est très peu probable d’observer 5 faces consécutives si la pièce n’a pas de double face (probabilité de 3%), il est encore très probable que la pièce ne soit pas à double face (probabilité de 94%).
L’erreur consistant à conclure qu’il n’y avait qu’une faible probabilité que la pièce ne soit pas à double face s’appelle l’erreur du conditionnel transposé (ou « erreur du procureur ») parce que nous avons supposé que:
- la probabilité d’une affirmation E étant donné une affirmation « pas H »
est la même que
- la probabilité de « pas H » étant donné E.
Dans ce cas
- H est l’hypothèse: « la pièce choisie est à deux faces ».
- E est la preuve: « 5 tirages faces consécutifs »
Nous avons montré que
- Probabilité de (E donné et non H) = 3%.
alors que
- probabilité de (« pas H » étant donné E) = 94%.
La faille dans le rapport de synthèse du GIEC
Il s’avère que l’affirmation selon laquelle il y a « au moins 95% de certitude que plus de la moitié du réchauffement récent est dû à l’homme » repose sur la même faille fondamentale que l’hypothèse, dans l’exemple ci-dessus, selon laquelle il y a au moins 95% de chances que la pièce soit à deux faces.
Dans mon article sur le programme, j’ai souligné ce problème comme suit:
La véritable signification probabiliste du chiffre de 95%. En fait, il provient d’un test d’hypothèse classique dans lequel les données observées sont utilisées pour tester la crédibilité de l’« hypothèse nulle ». L’hypothèse nulle est l’affirmation « opposée » à celle que l’on croit vraie, c’est-à-dire « Moins de la moitié du réchauffement des 60 dernières années est d’origine humaine ». Si, comme dans ce cas, il n’y a que 5% de probabilité d’observer les données si l’hypothèse nulle est vraie, les statisticiens assimilent ce chiffre (appelé valeur p) à une confiance de 95% dans le fait que nous pouvons rejeter l’hypothèse nulle. Mais la probabilité est ici une déclaration sur les données compte tenu de l’hypothèse. Elle n’est généralement pas identique à la probabilité de l’hypothèse compte tenu des données (en fait, l’assimilation des deux est souvent appelée « erreur des procureurs », car il s’agit d’une erreur souvent commise par les avocats lorsqu’ils interprètent des preuves statistiques). Voir ici et ici pour en savoir plus sur les limites des valeurs p et des intervalles de confiance.
L’affirmation selon laquelle il existe une probabilité d’au moins 95% que plus de la moitié du réchauffement soit d’origine humaine figure dans la section « Résumé à l’intention des responsables politiques » du rapport 2013 du GIEC.
(« extrêmement probable » a été défini comme une probabilité d’au moins 95%).
Mais si l’on examine la base de l’affirmation au chapitre 10 du résumé technique détaillé, il ressort clairement des méthodes et des résultats que l’affirmation est fondée sur divers modèles de simulation du changement climatique, qui rejettent l’hypothèse nulle (selon laquelle plus de la moitié du réchauffement n’est pas due à l’homme) au niveau de signification de 5%.
Plus précisément, dans les modèles de simulation, dès lors que l’on postule que l’impact de l’homme est faible, on conclut que la probabilité d’observer le réchauffement observé est inférieure à 5%. En d’autres termes, les modèles ne confirment pas l’hypothèse nulle d’un faible changement climatique d’origine humaine. Le problème est que, même si les modèles étaient exacts (et nous contestons qu’ils le soient), on ne peut pas conclure qu’il y a au moins 95% de chances que plus de la moitié du réchauffement soit d’origine humaine. Car cela revient à commettre l’erreur du conditionnel transposé.
Tout ce que nous pouvons conclure, c’est qu’il y a au moins 95% de chances que nous n’observions pas le réchauffement que nous avons constaté sur la base des simulations des modèles de changement climatique et de leurs multiples hypothèses. Tout comme il y a 96% de chances que nous n’observions pas 5 « face » consécutifs sur une pièce qui n’est pas à deux faces.
L’illusion de confiance dans l’exemple de la pièce de monnaie vient du fait que l’on ignore (la « probabilité préalable ») la rareté des pièces à deux faces. De même, dans le cas du changement climatique, il n’est pas tenu compte de la probabilité préalable d’un changement climatique d’origine humaine; seules les hypothèses des modèles de simulation sont prises en compte, et les autres explications sont absentes. Dans ces deux cas, les statistiques classiques peuvent être utilisées pour vous tromper en vous présentant une illusion de confiance qui n’est pas justifiée.
- Calcul du théorème de Bayes pour l’exemple de la pièce à double tête :
– H est l’hypothèse : « la pièce sélectionnée est à double tête »
– E est la preuve : « 5 tirages de face consécutifs »
Nous supposons que P(H) = 1/500, donc P(pas H) = 499/500
Nous connaissons P(E | pas H) = 1/32 et P(E | H) =1 ↩︎
Le blog de Skidmark 