Développements du modèle adjoint de la différentiation algorithmique destinés aux applications intensives en calcul

Extensions of algorithmic differentiation by source transformation inspired by modern scientific computing

• Auteur / Autrice : Ala Taftaf
• Direction : Laurent Hascoët
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 17/01/2017
• Etablissement(s) : Université Côte d'Azur (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences fondamentales et appliquées (Nice ; 2000-....)
• Partenaire(s) de recherche : établissement de préparation : Université de Nice (1965-2019)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes) - Transformations et outils informatiques pour le calcul scientifiqu
• Jury : Président / Présidente : Didier Auroux
• Jury : Examinateurs / Examinatrices : Laurent Hascoët, Didier Auroux, Bruce Christianson, Uwe Naumann, Jens-Dominik Mueller
• Jury : Rapporteur / Rapporteuse : Bruce Christianson, Uwe Naumann

Mots clés

Mots clés contrôlés

Programmation parallèle (informatique)

Audit informatique

Point fixe, Théorème du

Algorithmes

Mots clés libres

Différenciation algorithmique

Méthode adjointe

Algorithmes point-fixe

Communication par passage de message

MPI

Algorithmic differentiation

Adjoint methods

Fixed-point algorithms

Checkpointing

Message passing

MPI

Résumé

Le mode adjoint de la Différentiation Algorithmique (DA) est particulièrement intéressant pour le calcul des gradients. Cependant, ce mode utilise les valeurs intermédiaires de la simulation d'origine dans l'ordre inverse à un coût qui augmente avec la longueur de la simulation. La DA cherche des stratégies pour réduire ce coût, par exemple en profitant de la structure du programme donné. Dans ce travail, nous considérons d'une part le cas des boucles à point-fixe pour lesquels plusieurs auteurs ont proposé des stratégies adjointes adaptées. Parmi ces stratégies, nous choisissons celle de B. Christianson. Nous spécifions la méthode choisie et nous décrivons la manière dont nous l'avons implémentée dans l'outil de DA Tapenade. Les expériences sur une application de taille moyenne montrent une réduction importante de la consommation de mémoire. D'autre part, nous étudions le checkpointing dans le cas de programmes parallèles MPI avec des communications point-à-point. Nous proposons des techniques pour appliquer le checkpointing à ces programmes. Nous fournissons des éléments de preuve de correction de nos techniques et nous les expérimentons sur des codes représentatifs. Ce travail a été effectué dans le cadre du projet européen ``AboutFlow''

The adjoint mode of Algorithmic Differentiation (AD) is particularly attractive for computing gradients. However, this mode needs to use the intermediate values of the original simulation in reverse order at a cost that increases with the length of the simulation. AD research looks for strategies to reduce this cost, for instance by taking advantage of the structure of the given program. In this work, we consider on one hand the frequent case of Fixed-Point loops for which several authors have proposed adapted adjoint strategies. Among these strategies, we select the one introduced by B. Christianson. We specify further the selected method and we describe the way we implemented it inside the AD tool Tapenade. Experiments on a medium-size application shows a major reduction of the memory needed to store trajectories. On the other hand, we study checkpointing in the case of MPI parallel programs with point-to-point communications. We propose techniques to apply checkpointing to these programs. We provide proof of correctness of our techniques and we experiment them on representative CFD codes