Thèse en cours

Développement d'une IA d'aide à l'apprentissage de la communication orale
FR  |  
EN
Auteur / Autrice : Thibault Geoffroy
Direction : Lionel PrevostMyriam Maumy
Type : Projet de thèse
Discipline(s) : Informatique
Date : Inscription en doctorat le 04/05/2021
Etablissement(s) : Paris, HESAM
Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur
Partenaire(s) de recherche : Laboratoire : N&S Numérique et Société
établissement de préparation de la thèse : École nationale supérieure d'arts et métiers (1780-....)

Résumé

FR  |  
EN

Contexte : Nous évoluons dans un monde éducatif et professionnel où les compétences comportementales (savoir-être) deviennent chaque jour plus importantes. Hors, nous ne sommes pas tous égaux dans ce domaine. Nous souhaitons, à travers ce projet, utiliser l'intelligence artificielle pour aider l'humain à maîtriser les techniques de communications orales en contexte. De fait, la communication orale peut être, pour un humain (élève, personne en recherche d'emploi, consultant …), un acte potentiellement difficile, car elle comporte des enjeux personnels ou professionnels déterminants pour son avenir. Nous citerons plusieurs situations auxquelles doit faire face tout individu : soutenance, entretien de recrutement, d'évaluation annuel, pitch devant un (ou des) client(s) ou juré(s) …. Dans toutes ces situations, le sujet doit être capable de mobiliser à la fois ses savoirs (connaissances et compétences) mais aussi, conjointement, son savoir-être. L'informatique affective (Affective computing) est l'étude et le développement de systèmes ayant les capacités de reconnaître les émotions humaines. Elle peut être utilisée pour accompagner un sujet dans sa montée en compétences dans le domaine des soft skills. Dans le cadre de ce projet, nous souhaitons l'utiliser pour développer un système intelligent d'aide à la prise de parole. Son utilisation permettre, à terme, aux sujets, de mieux maîtriser leur communication non verbale. Objectifs : Dans un premier temps, le système intelligent (doté d'un capteur vidéo et d'un micro) analysera le canal vidéo en se concentrant sur l'expression faciale, la direction de son regard et la posture du sujet. Il produira des indicateurs permettant d'évaluer l'état affectif (stressé, joyeux …) et plus généralement, le comportement du sujet Puis, l'analyse du canal audio enrichira cette description en produisant une seconde série d'indicateurs en analysant le canal audio : ton de la voie du sujet, hésitations … L'ensemble de ces indicateurs constituera un « rapport » sur la manière dont le sujet communique de façon non verbale. Il pourra être consulté et analysé en détail puisque le sujet pourra « rejouer » l'entretien en visualisant la vidéo, augmentée des indicateurs. Ce projet fait suite au projet ANR TEEC (Technologies éducatives pour l'enseignement en contexte – AAP ANR-FRQSC-2). L'analyser de l'affect d'un individu est sujet à de nombreux biais : morphologique (un enfant n'a pas la même forme de visage qu'un adulte), comportemental (chaque individu exprime ses émotions de manières différentes), ethnique … Ce projet a pour objectif de réduire ces biais, ce qui constitue une problématique essentielle de la communauté IA mondiale actuellement. Cadre de travail : Le travail de recherche se déroulera au laboratoire Numérique et Société de l'ESIEA, plus spécifiquement dans l'équipe Learning, Data & Robotics. Dirigée par Lionel Prevost, Docteur et HDR de Sorbonne Université, cette équipe intègre des spécialistes du traitement de la données, depuis l'exploration (statistique) jusqu'à la décision (machine learning et fusion d'information). Elle possède plus de dix ans d'expertise dans le domaine de la recherche en informatique affective et cinq thèses dans ce domaine sont en cours ou ont été soutenues : deux financées sur projet ANR, un financement CIFRE et deux financements MESRI. Elle dispose d'un vaste réseau de partenaires académiques et industriels. Le laboratoire se trouvant au sein d'une école d'ingénieurs en cinq ans, nous disposerons naturellement de nombreux sujets d'études. Ceci nous permettra d'acquérir des séquences sur lesquelles travailler, grâce aux nombreux évènements (recrutements lors des job teaser et sessions d'admission, en particulier) organisés au sein de l'établissement. Nous pourrons de plus mener des expériences longitudinales au cours de la scolarité des étudiants. De plus, nous bénéficierons de l'expertise des enseignants de SHS de l'école pour l'annotation de ces données.