Qualitative reinforcement for man-machine interactions

Renforcements naturels pour la collaboration homme-machine

• Auteur / Autrice : Esther Nicart
• Direction : Bruno Zanuttini
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/02/2017
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Laboratoire : Groupe de recherche en informatique, image, automatique et instrumentation de Caen (1995-....)
• Partenaire(s) de recherche : établissement de préparation : Université de Caen Normandie (1971-....)
• Jury : Président / Présidente : Yann Chevaleyre
• Jury : Examinateurs / Examinatrices : Bruno Zanuttini, Daniela Grigori, Marie-Hélène Abel, Bruno Grilhères, Arnaud Saval
• Jury : Rapporteurs / Rapporteuses : Daniela Grigori, Marie-Hélène Abel

Mots clés

Mots clés contrôlés

Interaction humain-machine

Gestion des connaissances

Apprentissage par renforcement (intelligence artificielle)

Intelligence artificielle

Mots clés libres

Extraction et gestion des connaissances

Renseignement d’origine source ouverte (ROSO)

Artificial intelligence

Reinforcement learning

Extraction and knowledge management

Man-machine interaction

Open source intelligence (OSINT

Résumé

Nous modélisons une chaîne de traitement de documents comme un processus de décision markovien, et nous utilisons l’apprentissage par renforcement afin de permettre à l’agent d’apprendre à construire des chaînes adaptées à la volée, et de les améliorer en continu. Nous construisons une plateforme qui nous permet de mesurer l’impact sur l’apprentissage de divers modèles, services web, algorithmes, paramètres, etc. Nous l’appliquons dans un contexte industriel, spécifiquement à une chaîne visant à extraire des événements dans des volumes massifs de documents provenant de pages web et d’autres sources ouvertes. Nous visons à réduire la charge des analystes humains, l’agent apprenant à améliorer la chaîne, guidé par leurs retours (feedback) sur les événements extraits. Pour ceci, nous explorons des types de retours différents, d’un feedback numérique requérant un important calibrage, à un feedback qualitatif, beaucoup plus intuitif et demandant peu, voire pas du tout, de calibrage. Nous menons des expériences, d’abord avec un feedback numérique, puis nous montrons qu’un feedback qualitatif permet toujours à l’agent d’apprendre efficacement.

Information extraction (IE) is defined as the identification and extraction of elements of interest, such as named entities, their relationships, and their roles in events. For example, a web-crawler might collect open-source documents, which are then processed by an IE treatment chain to produce a summary of the information contained in them.We model such an IE document treatment chain} as a Markov Decision Process, and use reinforcement learning to allow the agent to learn to construct custom-made chains ``on the fly'', and to continuously improve them.We build a platform, BIMBO (Benefiting from Intelligent and Measurable Behaviour Optimisation) which enables us to measure the impact on the learning of various models, algorithms, parameters, etc.We apply this in an industrial setting, specifically to a document treatment chain which extracts events from massive volumes of web pages and other open-source documents.Our emphasis is on minimising the burden of the human analysts, from whom the agent learns to improve guided by their feedback on the events extracted. For this, we investigate different types of feedback, from numerical rewards, which requires a lot of user effort and tuning, to partially and even fully qualitative feedback, which is much more intuitive, and demands little to no user intervention. We carry out experiments, first with numerical rewards, then demonstrate that intuitive feedback still allows the agent to learn effectively.Motivated by the need to rapidly propagate the rewards learnt at the final states back to the initial ones, even on exploration, we propose Dora: an improved version Q-Learning.