Réduction de la dimensionnalité basée sur l'information mutuelle pour la classification

Dimensionality Reduction Based on Mutual Information for Classification

• Auteur / Autrice : Gaoshuai Wang
• Direction : Amir Hajjam El Hassani
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/12/2022
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Nanomédecine, imagerie, thérapeutique (Besançon ; 2012-2023) - Nanomédecine- imagerie- thérapeutique - UFC (UR 4662) / NIT / NANOMEDECINE
• Partenaire(s) de recherche : Etablissement de préparation : Université de technologie de Belfort-Montbéliard (1999-....)
• Jury : Président / Présidente : Franck Joseph Aimé Gechter
• Jury : Examinateurs / Examinatrices : Amir Hajjam El Hassani, Marcilio Desouto, Younes Jabrane, Fabrice Lauri, Germain Forestier, Emmanuel Andrès
• Jury : Rapporteur / Rapporteuse : Marcilio Desouto, Younes Jabrane

Mots clés

Mots clés contrôlés

Classification

Apprentissage automatique

Mots clés libres

Sélection des Fonctionnalités

Information Mutuelle

Apprentissage Automatique

Heuristique

Classification

Feature Selection

Mutual Information

Machine Learning

Heuristic Algorithm

Classification

Résumé

La classification est l'une des tâches les plus importantes dans la reconnaissance de formes, le traitement d’images ainsi que l'aspect fondamental du travail de l'intelligence artificielle. Avant l'apparition de l'apprentissage profond, les personnes passaient beaucoup de temps à l'ingénierie des fonctionnalités (feature engineering) du fait qu'une sélection appropriée des fonctionnalités pouvait évidemment améliorer la performance de la classification.Cependant, l'augmentation de l'échelle des données, entraînant une augmentation exponentielle de la composition des fonctionnalités, pose de grands défis au choix des fonctionnalités pertinentes, et les algorithmes traditionnels (comme l'ACP) ne sont peut - être pas appropriés. Ainsi, il est urgent de développer des algorithmes plus efficaces avant d'appliquer le classificateur aux données.Tout d'abord, nous nous concentrons sur le diagnostic des maladies cardiaques par l'introduction d'une méthode d'information mutuelle (mRMR) et nous soulignons les avantages des ensembles de données originaux (74 fonctionnalités) par rapport aux ensembles de données de traitement (13 fonctionnalités), qui sont toutefois populaires dans les études actuelles. De plus, nous avons vérifié la rationalité de la combinaison incrémentale de fonctionnalités pour obtenir la meilleure combinaison. En comparant les fonctionnalités de soutien choisies par le mRMR à partir de l'ensemble de données original avec les fonctionnalités médicales, nous avons constaté que certaines fonctionnalités non médicales peuvent également contenir des renseignements positifs.Ensuite, une méthode adaptative de maximisation de l'information mutuelle conditionnelle (ANPFCMIM) est proposée pour réduire l'incertitude de la cible et la segmentation des fonctionnalités.ANPFCMIM se compose de deux parties : la partition adaptative du voisinage et la recherche d'un facteur de partition approprié de l'information mutuelle; La méthode de maximisation de l'information mutuelle conditionnelle complète vise à obtenir plus d'information mutuelle conditionnelle.Les résultats montrent que l'ANP est utile pour trouver une partition appropriée et que la FCMIM peut encore améliorer l'effet du classificateur.Enfin, bien que la combinaison incrémentale de fonctionnalités se soit bien comportée dans la recherche de la combinaison optimale, il existe encore une redondance dans les fonctionnalités sélectionnées par le mRMR. Cependant, la recherche d'une combinaison optimale est un problème NP-difficile, si le nombre de fonctionnalités est ''*N *'', il est nécessaire de tester la combinaison ''*2 ^ N- 1 *''.Les algorithmes heuristiques, tels que les algorithmes génétiques, sont les méthodes les plus couramment utilisées pour résoudre les problèmes d'optimisation. La plupart de ces algorithmes peuvent obtenir de bons résultats dans un délai acceptable.Nous utilisons un mécanisme dynamique pour améliorer l'algorithme génétique traditionnel et le combiner avec la méthode mRMR.Les expériences montrent que notre méthode est meilleure que l'algorithme génétique ainsi qu’à d'autres algorithmes heuristiques, tels que l'algorithme de pollinisation des fleurs (APF), l'algorithme d'optimisation des baleines (WOA) et l'algorithme d'optimisation par essaims particulaires (OEP).

Classification is not only one of the main tasks widely appearing in pattern recognition, and image processing, but also the fundamental work of artificial intelligence. Before the advent of deep learning, people spent lots of time on feature engineering due to proper selected features that can obviously enhance classification performance.However, the increment of data scale, incurring exponential growth of feature combinations, brings big challenges to selecting the related features, and traditional algorithms such as PCA may not be suitable, so it is urgent to develop more efficient algorithms before applying classifiers to data.Firstly, we focus on heart disease diagnosis by introducing the mutual information method (mRMR) and emphasizing the advantage of original dataset ( 74 features) compared to the processed dataset (13 features), however, that is popular in current research. Besides, we also verify the rationality of the incremental feature combination to obtain the best combination. Comparing the supportive features selected by mRMR from the original dataset with the medical features, we find that some features not from a medical view could also contain some positive information.Then, we address target uncertainty reduction and feature partition problems and propose an adaptive neighborhood partition full conditional mutual information maximization method (ANPFCMIM).ANPFCMIM consists of two parts: the adaptive neighborhood partition, searching for the proper mutual information partition factor; Full conditional mutual information maximization method, aiming to obtain more conditional supportive mutual information.The results display that ANP is beneficial to discover proper partition, and FCMIM can further promote the classifiers' effect.Finally, redundancy still exists within the mRMR selected features, even though the incremental feature combination could perform well in searching for the best combination. However, pursuing the optimal combination is an NP-hard problem, that needs to test ''*2^N - 1*'' combinations if the number of features is ''*N*''.Heuristic algorithms, such as genetic algorithm are the most used method in dealing with an optimization problem, and most of them can obtain pretty good results in an acceptable time.We improve the traditional genetic algorithm with a dynamic mechanism and combine it with mRMR method.Experiments demonstrate our method is better than the genetic algorithm and other heuristic algorithms, such as Flower Pollination Algorithm (FPA), Whale Optimization Algorithm (WOA), and Particle Swarm Optimization (PSO).