Évaluation de la fiabilité des sources pour la découverte de la vérité : méthodes et applications

Evaluating the reliability of sources for truth-finding: methods and applications

• Auteur / Autrice : Quentin Elsaesser
• Direction : Sébastien Konieczny, Patricia Everaere
• Type : Projet de thèse
• Discipline(s) : Informatique et applications
• Date : Inscription en doctorat le 01/10/2021
• Etablissement(s) : Artois
• Ecole(s) doctorale(s) : Sciences, Technologie, Santé
• Partenaire(s) de recherche : Laboratoire : CRIL - Centre de recherche en informatique de Lens

Mots clés

Mots clés libres

Évaluation de la fiabilité

Vote

Fusion de croyances

Agrégation de jugements

Intelligence Artificielle

Reliability evaluation

Voting

Belief merging

Judgment aggregation

Artificial Intelligence

Résumé

Que ce soit pour des humains ou des agents artificiels, l'une des principales façons d'obtenir des informations et connaissances sur notre environnement est d'interagir avec d'autres agents ou sources d'informations. Ces agents ou sources vont fournir des informations, que nous pourrons ensuite prendre en compte pour nous forger notre propre opinion. Ces informations sont potentiellement contradictoires. Il est donc nécessaire de pouvoir se forger une opinion et d'évaluer la fiabilité de ces sources ainsi que des informations obtenues. Tout d'abord, nous proposons, dans cette thèse, une famille de méthodes permettant d'évaluer la fiabilité des sources et des informations. Nous n'avons aucune connaissance a priori ni sur les sources ni sur les informations recueillies. Nous évaluons la fiabilité uniquement en confrontant les différents avis des sources. Nous nous intéressons aux questions épistémiques et notre but va être de rechercher la vérité. Cette recherche de la vérité se base sur l'idée du théorème du Jury de Condorcet, qui dit qu'il est plus probable que la majorité des sources trouvent la solution correcte aux questions posées. Nous étudions les différentes propriétés de nos méthodes et nous comparons expérimentalement nos méthodes à celles de la littérature pour la recherche de la vérité. Nous proposons une évaluation sur des données réelles ainsi que sur des données expérimentales, qui permettent de couvrir le plus de cas différents. Ensuite, nous proposons d'utiliser des formules propositionnelles pour représenter nos informations. Pour cela, nous allons nous intéresser à deux domaines : l'agrégation de jugements et la fusion de croyances. L'objectif est de prendre la meilleure décision en tenant compte de l'avis des agents. Cependant, les méthodes proposées pour ces domaines supposent que les agents ont la même fiabilité. Nous proposons une nouvelle famille d'opérateurs de fusion de croyances à base de formules qui évalue la fiabilité des agents, puis prend une décision en se basant sur cette fiabilité. Nous adoptons une vision épistémique de la fusion des croyances, c'est-à-dire que l'objectif du processus de fusion est d'estimer le vrai état du monde. Nous examinons également les postulats IC satisfaits par notre nouvel opérateur et proposons une évaluation expérimentale qui montre que la fiabilité permet encore de prendre de meilleures décisions que d'utiliser directement le nombre de votes obtenus par une formule. Enfin, nous proposons une nouvelle famille de méthodes pour l'agrégation de jugements. Nous montrons qu'utiliser la fiabilité plutôt que le nombre de votes permet d'obtenir de meilleurs résultats pour prendre la meilleure décision possible, notamment sur des cas plus compliqués comme lorsque le nombre d'agents est pair et qu'il y a des égalités sur le nombre de votes obtenus par les formules. Nous voyons également quelles sont les propriétés d'agrégation de jugements standard satisfaites par nos méthodes.

For both humans and artificial agents, one of the main ways to gain information and knowledge about our environment is to interact with other agents or sources of information. These agents or sources will send us information that we can then take into account to form our own opinions. This information is potentially conflicting. It is therefore necessary to be able to form an opinion and to evaluate the reliability of these agents and of the information received. This thesis proposes a family of methods for evaluating the reliability of agents and information. We have no a priori knowledge of either the agents or the information collected. Therefore, we evaluate reliability solely by comparing the different opinions of the agents. We are interested in epistemic questions and our aim will be to search for the truth. This search for truth will be based on the idea of Condorcet's Jury Theorem, which states that it is more likely that the majority of sources will find the correct solution to the questions asked. We study the different properties of our methods and experimentally compare our methods with those in the literature for truth-tracking. We study the different properties of our methods and experimentally compare our methods with those in the truth-finding literature. We propose an evaluation on real data as well as on experimental data, which allows us to cover as many different cases as possible. We then propose to use propositional formulae to represent our information. To do this, we will focus on two areas: judgment aggregation and belief fusion. The goal is to make the best decision by taking into account the opinions of the agents. We propose a new formula-based belief fusion operators that evaluates the reliability of agents and then makes a decision based on this reliability. We then adopt an epistemic view of belief merging, then the purpose of the merging process is to approximate the true state of the world. We also examine the IC postulates satisfied by our new operator and propose an experimental evaluation showing that reliability still produces better decisions than directly using the number of votes obtained by a formula. Finally, we propose a new family of methods for aggregating judgments. We show that using reliability rather than the number of votes gives better results for the best possible decision, especially in more complicated cases such as when the number of agents is even and there are ties in the number of votes obtained by the formulas. We also see which standard judgment aggregation properties are satisfied by our methods.