L’apprentissage actif : une approche non biaisée

Active Learning : an unbiased approach

• Auteur / Autrice : Carlos Eduardo Ribeiro de Mello
• Direction : Marie-Aude Aufaure
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 04/06/2013
• Etablissement(s) : Châtenay-Malabry, Ecole centrale de Paris en cotutelle avec Universidade federal do Rio de Janeiro
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'Ingénieur (Châtenay-Malabry, Hauts de Seine)
• Partenaire(s) de recherche : Laboratoire : Mathématiques et informatique pour la complexité et les systèmes (Gif-sur-Yvette, Essonne ; 2006-....)
• Jury : Président / Présidente : Nelson Maculan
• Jury : Examinateurs / Examinatrices : Marie-Aude Aufaure, Vincent Lemaire, Antônio Padua braga, Geraldo Zimbrao da silva, Carlos Eduardo Pedreira
• Jury : Rapporteurs / Rapporteuses : Vincent Lemaire, Antônio Padua braga

Mots clés

Mots clés contrôlés

Échantillonnage (statistique)

Information, Théorie de l'

Mots clés libres

Apprentissage actif

Apprentissage supervisé

Échantillonnage

Active learning

Supervised learning

Sampling

Résumé

L'apprentissage actif apparaît comme un problème important dans différents contextes de l'apprentissage supervisé pour lesquels obtenir des données est une tâche aisée mais les étiqueter est coûteux. En règle générale, c’est une stratégie de requête, une heuristique gloutonne basée sur un critère de sélection qui recherche les données non étiquetées potentiellement les plus intéressantes pour former ainsi un ensemble d'apprentissage. Une stratégie de requête est donc une procédure d'échantillonnage biaisée puisqu'elle favorise systématiquement certaines observations s'écartant ainsi des modèles d'échantillonnages indépendants et identiquement distribués. L'hypothèse principale de cette thèse s'inscrit dans la réduction du biais introduit par le critère de sélection. La proposition générale consiste à réduire le biais en sélectionnant le sous-ensemble minimal d'apprentissage pour lequel l'estimation de la loi de probabilité est aussi proche que possible de la loi sous-jacente prenant en compte l’intégralité des observations. Pour ce faire, une nouvelle stratégie générale de requête pour l'apprentissage actif a été mise au point utilisant la théorie de l'Information. Les performances de la stratégie de requête proposée ont été évaluées sur des données réelles et simulées. Les résultats obtenus confirment l'hypothèse sur le biais et montrent que l'approche envisagée améliore l'état de l'art sur différents jeux de données.

Active Learning arises as an important issue in several supervised learning scenarios where obtaining data is cheap, but labeling is costly. In general, this consists in a query strategy, a greedy heuristic based on some selection criterion, which searches for the potentially most informative observations to be labeled in order to form a training set. A query strategy is therefore a biased sampling procedure since it systematically favors some observations by generating biased training sets, instead of making independent and identically distributed draws. The main hypothesis of this thesis lies in the reduction of the bias inherited from the selection criterion. The general proposal consists in reducing the bias by selecting the minimal training set from which the estimated probability distribution is as close as possible to the underlying distribution of overall observations. For that, a novel general active learning query strategy has been developed using an Information-Theoretic framework. Several experiments have been performed in order to evaluate the performance of the proposed strategy. The obtained results confirm the hypothesis about the bias, showing that the proposal outperforms the baselines in different datasets.