Approche Tenseur-Train pour l’inférence dans les modèles à blocs stochastiques, application à la caractérisation de la biodiversité

Tensor-Train approach for inference in stochastic block models, application to biodiversity characterisation

• Auteur / Autrice : Mohamed Anwar Abouabdallah
• Direction : Olivier Coulaud, Nathalie Peyrard
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Soutenance le 02/02/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Agnès Bouchez
• Jury : Examinateurs / Examinatrices : Pierre-Henri Wuillemin
• Jury : Rapporteurs / Rapporteuses : Sophie Donnet, Jean-René Poirier

Mots clés

Mots clés contrôlés

Algèbre linéaire

Calcul intensif (informatique)

Systèmes stochastiques

Mots clés libres

Modèle à bloc stochastique

Calcul haute performance

Algèbre linéaire

Stochastic Bloc Model

Linear Algebra

High performance computing

Résumé

Le modèle à blocs stochastiques (SBM, Stochastic Block Model) est un modèle graphique particulier permettant de classer des individus sur la base de leurs distances deux à deux. Il construit des groupes d’individus partageant les mêmes profils de distance intra et inter groupe. L’estimation des paramètres d’un SBM se fait classiquement par l’algorithme EM (Expectation-Maximisation) qui à chaque itération demande le calcul des marginales unaires et binaires de la loi jointe conditionnelle des groupes des individus. Une manière de faire ce calcul est de passer par une approximation champ moyen du modèle où les marginales binaires sont calculées comme produit des marginales unaires. C’est ce qui est mis en œuvre dans l’algorithme Variational EM. Cet algorithme conduit à des estimateurs de bonne qualité, cependant, on peut espérer améliorer l’inférence des marginales binaires.L’objectif de ces travaux de thèse est de proposer une approche plus précise pour le calcul des marginales binaires faisant appel à l’algèbre tensorielle, par une approche de type Tensor Train (TT), en étendant l’approche de Novikov & al, 2014 sur le calcul de la constante de normalisation d’un modèle graphique.Dans un premier temps, afin de motiver ce travail méthodologique sur les SBM, nous avons réalisé un clustering de matrices de distances génétiques dans un échantillon de marqueurs génétiques d’une placette expérimentale d’arbres guyanais. Nous avons montré les similitudes et complémentarités entre les classifications obtenues par SBM et par les méthodes plus classiques de Classification Ascendante Hiérarchique. Ce travail a également permis de clarifier le lien entre la taxonomie botanique et la diversité moléculaire présentes dans un échantillon.Ensuite, pour développer l’approche TT, nous considérons la loi jointe conditionnelle du SBM comme les éléments d’un tenseur. Nous l’approchons par un tenseur de format TT, développé par Oseledets & al., 2011 où chaque élément est obtenu par produit de matrices. Cette écriture mène naturellement à la simplification des calculs de marginalisation par distributivité et séparation des variables, où les marginales sont calculées par des produits matriciels. Cependant, l’approche TT appliquée au SBM débouche sur des calculs matriciels en très grande dimension conduisant à une complexité exponentielle avec le nombre d’individus. Nous avons utilisé le format TT-matrix pour les calculs matriciels, et avons traité les difficultés suivantes apparues lors des calculs :(i) éviter des nombres trop petits par une procédure d’homothétie(ii) contrôler le rang des TT-matrices par un choix des paramètres à l’entrée de l’algorithme du «rounding» proposée par Oseledets sans perdre en précision.(iii) limiter l’ordre des TT-matrice par une agrégation de ces cores.Ainsi, les contributions de la thèse sont les suivantes : (i) une écriture exacte de la loi jointe conditionnelle d’un modèle SBM comme un tenseur au format TT, sans approximations, en tirant parti du fait que les facteurs sont au plus binaires, cette approche peut s’appliquer plus généralement à tout modèle graphique dont les facteurs sont au plus binaires ;(ii) un algorithme de type programmation dynamique pour le calcul des marginales binaires ;(iii) une procédure opérationnelle qui intègre quelques solutions aux verrous numériques présentés plus haut.Enfin, nous avons comparé sur une grande variété de modèles SBM la précision du calcul des marginales unaires et binaires, et les temps du calcul obtenus par l’approche TT et par trois autres méthodes : simple énumération, échantillonneurs de Gibbs, approximation par champ moyen. L’approche TT est plus précise que l’approximation par champ moyen et plus rapide que l’échantillonneur de Gibbs sans perdre en précision.

The Stochastic Block Model (SBM) is a particular graphical model for clustering individuals on the basis of their pairwise distances.It builds groups such as individuals in a given group have the same pattern of connections to the other groups and to their own group. The estimation of the parameters of a SBM is classically done by the EM (Expectation-Maximisation) algorithm which at each iteration requires the computation of the unary and binary marginals of the conditional joint distribution of the groups of individuals. One way of doing this computation is to use a mean field approximation of the model where the binary marginals are computed as the product of the unary marginals. This is what is implemented in the Variational EM algorithm. This algorithm leads to good quality estimators. However, one can hope to improve the inference of the binary marginals.The objective of this thesis work is to propose a more accurate approach to the computation of binary marginals using tensor algebra, by a Tensor Train (TT) approximation, extending the approach of Novikov & al, 2014 on the computation of the partition function of a graphical model.As a first step, in order to motivate this methodological work on SBMs, we performed a clustering of genetic distance matrices in a sample of genetic markers from a Guianese tree experimental plot. We showed the similarities and complementarities between the classifications obtained by SBM and by the more classical methods of Agglomerative Hierarchical Clustering (AHC). This work allowed us to clarify the link between botanical taxonomy and the molecular diversity present in a sample.Then, to develop the TT approach, we consider the conditional joint law of the SBM as the elements of a tensor. We approximate it by the TT format tensor, developed by Oseledets & al., 2011 where each element is obtained by a product of matrices. This format naturally leads to simplification of marginalization computations by distributivity and separation of variables, where the marginals are computed by matrix products. However, the TT approach applied to SBM leads to very high dimensional matrix computations leading to an exponential complexity according to the number of individuals. We used the TT-matrix format for the matrix computations, and dealt with the following difficulties that arose during the computations: (i) avoiding too small numbers by a homothetic procedure(ii) control the rank of the TT-matrix by a choice of parameters at the input of the rounding algorithm proposed by Oseledets without losing precision(iii) to limit the order of the TT-matrix by an aggregation of these cores.Thus, the contributions of the thesis are the following: (i) an exact writing of the conditional joint law of a SBM model as a tensor in TT format, without approximations, taking advantage of the fact that the factors are at most binary. This approach can be applied more generally to any graphical model whose factors are at most binary;(ii) a dynamic programming type algorithm for the computation of binary marginals in this context;(iii) an operational procedure that integrates some solutions to the numerical problems presented above.Finally, we have compared the accuracy of the computation of unary and binary marginals, and the computation times obtained by the TT approach and by three other methods: simple enumeration, Gibbs samplers, mean-field approximation, on a large variety of SBM models. The TT approach is more accurate than the mean field approximation and faster than the Gibbs sampler without losing accuracy.