le bias de confirmation, une explication au problème de non-réplicabilité en science

confirmation bias, an explanation to non-replicability in science

• Auteur / Autrice : Florian Pellet
• Direction : Emmanuel Chemla, Brent Strickland
• Type : Projet de thèse
• Discipline(s) : Sciences cognitives
• Date : Inscription en doctorat le 01/10/2015
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut Jean-Nicod (Paris) (2002-....)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)

Mots clés

Mots clés libres

Biais cognitifs

Réplicabilité

Epistémologie

Cognitive biases

Replicability

Epistemology

Résumé

De récentes et influentes méta-analyses de tentatives de réplication à grande échelle ont montrées qu’un tiers des effets reportés dans les meilleurs journaux pourraient ne pas être réplicables. Le biais de confirmation lors du process scientifique (sur les expérimentateurs, les reviewers et les lecteurs) pourrait être une cause principale de cette crise de réplicabilité. Ce projet propose d’évaluer ses effets et d’offrir des méthodes de contrôle. En psychologie, les scientifiques créent souvent sans le savoir des expériences qui présentent des chances accrues d’observer un résultat attendu : c’est le “biais expérimental”. On ne sait pas encore si un tel effet est présent dans les sciences “dures” telles que l’Intelligence Artificielle. Nous demanderons à des chercheurs en IA d’évaluer deux algorithmes après avoir été primés avec l’attente que l’un est supérieur à l’autre. Nous cherchons à savoir si leurs résultats correspondront à cette attente. Trouver des preuves d’un biais expérimental systématique en IA supporterai l’idée que c’est un phénomène qui s’étend à toute la science, comme le problème de réplicabilité. Il est connu que des motivations augmentent le biais de confirmation. Nous voulons savoir si le système de publication actuel rend la science plus vulnérable au biais expérimental. Nous recruterons des étudiants pour concevoir des expériences visant à étudier l’effet de “currency priming”, connu comme inexistant et irréplicable. Les étudiants seront répartis en trois groupes: le premier groupe d’attendra à être plus payé si un résultat non nul est trouvé, le second à être plus payé si le même résultat que la majorité est trouvé, et le troisième sera un groupe contrôle. Seulement la moitié des étudiants de chaque groupe lira l’article original du “currency priming”. Si le premier et second groupe présentent un plus fort biais expérimental, particulièrement chez les étudiants ayant lu l’article, nous pourrons penser que l’usage de l’argent comme motivation pour la science est une cause de la présences de tant de faux positifs. Une dernière étude aura pour but de développer une simulation multi-agents de la communauté scientifique dans laquelle les agents produisent et communiquent des résultats d’expériences simulées, et présentent un biais de confirmation. Nous estimerons l’effet du biais de confirmation en se basant sur la littérature afin de chercher à savoir si ce biais augmente la diffusion de fausse croyances dans la communauté. Nos résultats préliminaires suggèrent que c’est le cas, mais que le biais de confirmation a aussi un effet positif : il permet de converger plus rapidement vers une croyance, offrant ainsi plus d’efficience pour moins de précision. Cette approche nous permettra d’observer les aspects positifs et négatifs du biais de confirmation. À la fin de ce projet, nous avons pour objectif d’avoir les connaissances suffisantes sur le biais de confirmation — à la fois sur son fonctionnement cognitif et sur son impact sur le process scientifique — pour pouvoir conseiller la communauté scientifique sur des moyens de contrôle de ce biais.

Recent and influential meta-analyses of large-scale replication attempts found that a third of the findings reported in top journals may not be replicable. Confirmation bias in the scientific process (on experimenters, reviewers and readers) may be a primary cause of this replication crisis. With this project, we propose to investigate its actual impact and to offer methods of control. Within the field of psychology, scientists often unknowingly design experiments increasing the odds of observing expected outcomes: this is called “experimenter bias”. It is yet unknown if such effects exist in “hard sciences” as Artificial Intelligence. We will ask AI researchers to evaluate two algorithms after being primed with the expectation that one is superior. The question is whether the experimenters’ findings will erroneously mirror their expectations. Finding evidence of systematic experimenter bias in AI would support the idea that it is a widespread phenomenon in science, just as the replicability problem. Incentives are known to increase confirmation bias, and we want to know whether the current system in place for publication makes the scientific process more exposed to experimenter bias. We will recruit graduate students to design internet based experiments aimed at studying the knowingly unreplicable and inexistant effect of “currency priming.” The students will be divided into three groups: group A will be told that if a non-null result is found they will get paid more, group B will be told that if they find the result most experimenters find they will get paid more, and the control group C won’t be given any incentive. Only half of the students will be told about the original “currency priming” finding. The question is whether bias increases in the results from groups A and B, and especially from the ones designed knowing the original finding. This would indicate that money as an incentive for science increases the chances for experimenter bias, and could mean that the current scientific system sets us up for many false positives. A final study will aim at developing an agent-based computer simulation of the scientific community in which agents can produce and communicate results of simulated experiments, and can have confirmation bias. From pre-existing literature, we will conservatively estimate the strength of confirmation bias in order to ask whether we get a diffusion of a high percentage of false beliefs within the simulated scientific community. Our preliminary observations hint that this is the case, but that confirmation bias also has a positive side effect: allowing for a faster convergence towards true belief, offering a tradeoff of accuracy for speed. This approach could help us assess both the positive and negative aspects of confirmation bias. At the end of this project, we aim to have gathered sufficient knowledge about confirmation bias — both on its cognitive nature and on its impact on the scientific process — to be able to advise the scientific community about how to control for confirmation bias.