Parapsychologie et
crise de la réplication
Ce dont je ne vais pas (vraiment) vous parler:
Ménager vos attentes
Ce dont je ne vais pas (vraiment) vous parler:
Ce dont je vais vous parler:
Ménager vos attentes
Prologue
Critiques statistiques et épistémologiques
“La plupart des résultats publiés sont faux”
Psychologie
Fraudes scientifiques
Psychologie
Chapitre 1
Prédire le futur
Feeling the future
Reference: Feeling the future
Feeling the future
Reference: Feeling the future
Feeling the future
Reference: Feeling the future
Feeling the future
Reference: Feeling the future
Feeling the future
Reference: Feeling the future
Le moment statistique
“Les gens arrivent à prédire l’avenir.”
“Les gens n’arrivent pas à prédire l’avenir.”
Si H0 → ~R
On observe R
Donc ~H0
Le moment stat
“ En supposant que H0 est vraie, quel est la probabilité d’observer des résultats au moins aussi “extrêmes”? ”
Le moment stat
“Si on répète l’expérience 100 fois et que l’effet que l’on cherche à mettre en évidence n’existe pas, on se trompera 5 fois.”
Le moment stat
Chapitre 1
Suite
“Les participants arrivaient à correctement identifier la future position des images érotiques significativement plus fréquemment (53.1%, p = .01) que le taux de chance de 50%.”
Feeling the future
Reference: Feeling the future
Feeling the future
Reference: Feeling the future
Feeling the future
“Nombre de critiques de l’article de Bem ont essayé de s’en débarrasser en cherchant LA faille - l’erreur méthodologique qui invalide complètement le papier. [...] Ayant lu de près le papier deux fois, je ne pense pas qu’il y ait une telle faille dans cet article de Bem.”
“Si on oublie la nature polémique du sujet de recherche de Bem, et qu’on évalue le papier sur des bases purement méthodologiques, je ne pense pas qu’il soit pire que le papier type qu’on trouve dans JPSP. En fait il est même probablement meilleur.”
Tal Yarkoni
Reference: The psychology of parapsychology
Nous voulons:
Réactions - Sceptiques
Reference: The Skeptics' Guide to the Universe
Réactions - Sceptiques
Réactions - Psychologues
“La vraie question qui est dans l’esprit des gens est : qu’est ce qu’il y a bien pu se passer ? S’il est bien évident qu’un phénomène tel que la perception extra-sensorielle (PSE) n’existe pas, comment donc est-ce qu’un éminent chercheur en psychologie sociale a pu publier un article contenant autant de données en faveur de la PSE dans un des meilleurs journaux de psychologie sociale, après avoir été évalué par 4 autres psychologues ?
Ou pour le dire de manière plus prosaïque :
Réactions - Psychologues
Reference: The psychology of parapsychology
“La vraie question qui est dans l’esprit des gens est : qu’est ce qu’il y a bien pu se passer ? S’il est bien évident qu’un phénomène tel que la perception extra-sensorielle (PSE) n’existe pas, comment donc est-ce qu’un éminent chercheur en psychologie sociale a pu publier un article contenant autant de données en faveur de la PSE dans un des meilleurs journaux de psychologie sociale, après avoir été évalué par 4 autres psychologues ?
Ou pour le dire de manière plus prosaïque :
What the fuck?”
Réactions - Psychologues
Reference: The psychology of parapsychology
Chapitre 2
La crise
La crise de la rep...
10 / 13 effets répliqués ; 36 labos ; n = 6400
3 / 10 effets répliqués ; 20 labos ; n = 2500
14 / 28 effets répliqués ; 60 labos ; n = 7000
L’étendue des dégâts
L’étendue des dégâts
Reproducibility Project: Psychology (2015) - 35 / 97 effets répliqués
Exemple
Exemple
Perte de confiance
Chapitre 3
Les causes
Générer une hypothèse
Mettre au point une étude
Collecter des données
Analyser les données et tester l’hypothèse
Interpréter les données
Publier ou mener une nouvelle expérience
Reference: A manifesto for reproducible science
“Ce journal ne publie pas de réplications, qu’elles soient positives ou négatives.”
Causes - réplication
Causes - réplication
“Pile : je gagne ; Face : tu perds”
Causes - réplication
Générer une hypothèse
Mettre au point une étude
Collecter des données
Analyser les données et tester l’hypothèse
Interpréter les données
Publier ou mener une nouvelle expérience
Reference: A manifesto for reproducible science
Causes - biais de publication
Causes - biais de publication
Générer une hypothèse
Mettre au point une étude
Collecter des données
Analyser les données et tester l’hypothèse
Interpréter les données
Publier ou mener une nouvelle expérience
Biais de publication
(92% résultat positifs)
Reference: A manifesto for reproducible science
Causes - petits échantillons
Causes - petits échantillons
“Pour chercher à montrer qu’un effet existe, il faut mettre au point une expérience qui a de bonnes chances de le détecter. C’est du simple bon sens. En terme statistique, on dit qu’une expérience doit avoir une puissance statistique suffisante.”
Gerd Gigerenzer
Causes - petits échantillons
Générer une hypothèse
Mettre au point une étude
Collecter des données
Analyser les données et tester l’hypothèse
Interpréter les données
Publier ou mener une nouvelle expérience
Biais de publication
(92% résultat positifs)
Faible puissance statistique
(50% de chance de détecter un effet de taille moyenne)
Reference: A manifesto for reproducible science
Questionable Research Practices
Causes - QRP
“Examinez les données sous tous les angles. [...] Si une partie des données suggèrent une nouvelle hypothèse, essayez de trouver de nouveaux arguments en sa faveur. Si vous voyez les traces d’un phénomène intéressant, essayez de réorganiser les données pour mieux le faire ressortir. Si il y a des participants, des essais ou un expérimentateur qui vous donnent des résultats anormaux, mettez-les de côté (temporairement). Partez à la pêche pour trouver quelque chose - n’importe quoi - d’intéressant.
Non, ce n’est pas immoral. Les règles de l’inférence scientifique et statistique que l’on sur-apprend à l’université s’appliquent au “contexte de justification”. [...] Mais dans le “contexte de la découverte”, il n’y a pas de règles formelles seulement des heuristiques et des stratégies. Comment est-ce que l’on découvre un nouveau phénomène ? [...] Dans le contexte restreint d’une étude empirique, il n’y a qu’une seule stratégie qui mène à la découverte : explorer les données.”
Daryl Bem
Causes - QRP
Reference: Writing the Empirical Journal Article
résultats
Causes - QRP
données
analyse
résultats
Causes - QRP
données
analyse
“Masser les données”
résultats
Causes - QRP
données
analyse
résultats
Causes - QRP
données
analyse
“Torturer les données”
Causes - QRP
Causes - QRP
Reference: An Agenda for Purely Confirmatory Research
“Quel article devriez-vous écrire? Il y a deux possibilités d’article :
Ces deux articles sont rarement similaires et la bonne réponse est B.”
Daryl Bem
Causes - QRP
Reference: Writing the Empirical Journal Article
Causes - QRP
Générer une hypothèse
Mettre au point une étude
Collecter des données
Analyser les données et tester l’hypothèse
Interpréter les données
Publier ou mener une nouvelle expérience
Biais de publication
(92% résultat positifs)
Faible puissance statistique
(50% de chance de détecter un effet de taille moyenne)
HARking
(prévalence 50 - 90%)
Reference: A manifesto for reproducible science
Causes - QRP
Causes - QRP
Causes - QRP
Simulations montrant qu’avec du p-hacking le taux de faux positif peut monter à plus de 60% (au lieu de 5%).
“L’étude 2 cherchait à savoir si écouter une chanson parlant de vieillesse permettait faire de rajeunir les gens.”
Causes - QRP
Générer une hypothèse
Mettre au point une étude
Collecter des données
Analyser les données et tester l’hypothèse
Interpréter les données
Publier ou mener une nouvelle expérience
Biais de publication
(92% résultat positifs)
Faible puissance statistique
(50% de chance de détecter un effet de taille moyenne)
HARKing
(prévalence 50 - 90%)
p-hacking
(prévalence 50 - 100%)
Reference: A manifesto for reproducible science
“Il est important de noter qu’aucun de ces problèmes, pris un à un, n’est vraiment terrible. [...] Mais quand on allie du “data peeking”, des seuils statistiques peu conservateurs, la recombinaison de différentes études pour n’en faire plus qu’une, des hypothèses flexibles et un tri sélectif des variables, vous obtenez une recette parfaite pour produire des résultats fallacieux.”
Tal Yarkoni
Causes - QRP - Bem
Reference: The psychology of parapsychology
“Ce dont il faut se rappeler c’est que ce type de trucage n’est pas inhabituel : bien au contraire, tout le monde fait ça. [...] La réalité est que les chercheurs sont des humains et que, comme tous humains, ils ont une profonde tendance à essayer de confirmer leurs croyances. [...] Et je ne dis pas ça pour m’en prendre aux motivations de Bem ; je pense que c’est vrai de tout chercheur - moi y compris.”
Tal Yarkoni
Causes - QRP - Bem
Reference: The psychology of parapsychology
Chapitre 4
Des “solutions”
Psychological Science Accelerator
Pré-enregistrement
Outcome switching
Registered reports
Registered reports
Registered reports
Registered reports
Analyse multivers
Analyse multivers
Analyse multivers
Conclusion
Ce que le futur nous réserve…peut-être
Transparent psi project
“Remote viewing”, Targ and Puthoff, Nature
Expériences Ganzfeld
“Does psi exist?”, Bem & Honorton, Psychological Bulletin
Parapsychologie
Feeling the future
Agréable?
Désagréable?
Feeling the future
Agréable?
Désagréable?
Barbarie
Feeling the future
Agréable?
Désagréable?
Barbarie
Définitions
Causes - biais de publication
Ne pas jeter le bébé...
vert bleu rouge noir
bleu vert noir rouge
Daryl Bem: on rigor
“I’m all for rigor,” he continued, “but I prefer other people do it. I see its importance—it’s fun for some people—but I don’t have the patience for it.” It’s been hard for him, he said, to move into a field where the data count for so much. “If you looked at all my past experiments, they were always rhetorical devices. I gathered data to show how my point would be made. I used data as a point of persuasion, and I never really worried about, ‘Will this replicate or will this not?’” (Engber 2017).
Null hypothesis statistical testing (NHST)
Most people get this one wrong, will you?
You compare the means of your control and experimental groups (say, n=20 in each). Independent means t-test is significant: t = 2.7, df = 18, p = .01. Please mark each of the statements below as “true” or “false.” “False” means that the statement does not follow logically from the above premises. Also note that several or none of the statements may be correct.
(1) You have absolutely disproved the null hypothesis (i.e., there is no difference between the population means).
(2) You have found the probability of the null hypothesis being true.
(3) You have absolutely proved your experimental hypothesis (that there is a difference between the population means).
(4) You can deduce the probability of the experimental hypothesis being true.
(5) You know, if you decide to reject the null hypothesis, the probability that you are making the wrong decision.
(6) You have a reliable experimental finding in the sense that if, hypothetically, the experiment were repeated a great number of times, you would obtain a significant result on 99% of occasions.
To know the answer, check: Statistical Rituals: The Replication Delusion and How We Got There
Causes structurelles
Référence en français
En français
J’ai trouvé (trop) peu de références en français sur ce sujet mais si vous en connaissez plus, n'hésitez pas à m’en faire part.
References
En anglais
Il y a par contre beaucoup trop de références en anglais donc je me contente de mettre certaines références qui pourraient intéresser un public plutôt sceptique. N'hésitez pas à me contacter pour en savoir plus.
Podcasts
Books