Calcul à haute performance : reproductibilité et répétabilité des résultats numériques et des mesures de performances

High performance computing : repeatability and reproducibility of numerical results and performance measures

• Auteur / Autrice : Benjamin Antunes
• Direction : David R. C. Hill
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/11/2024
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
• Jury : Président / Présidente : Fatiha Bendali-Mailfert
• Jury : Examinateurs / Examinatrices : Éric Suraud
• Jury : Rapporteurs / Rapporteuses : Mamadou Kaba Traoré, Christophe Pouzat

Mots clés

Mots clés contrôlés

Reproductibilité computationnelle

Calcul intensif (informatique)

Mots clés libres

Calcul haute performance

Reproductibilité

Répétabilité

Simulation

High performance Computing

Reproducibility

Repeatability

Simulation

Résumé

La reproductibilité est largement reconnue comme un principe fondamental de la recherche scientifique. Actuellement, la communauté scientifique se heurte à de nombreux défis liés à la reproductibilité, souvent désignés comme la « crise de la reproductibilité ». Cette crise a touché de nombreuses disciplines scientifiques. Dans cette thèse, nous avons examiné les facteurs dans les pratiques scientifiques qui pourraient contribuer à ce manque de reproductibilité. Une attention particulière est portée sur l'intégration omniprésente de l'informatique dans la recherche, qui fonctionne parfois comme une boîte noire. Cette thèse se concentre principalement sur le calcul haute performance (HPC), qui présente des défis uniques en matière de reproductibilité. Nous fournissons un état de l'art complet de ces préoccupations et des solutions potentielles. De plus, nous discutons du rôle crucial de la recherche reproductible dans l'avancement de la science et de l'identification des problèmes persistants dans le domaine du HPC. Nous discutons des multiples raisons pouvant conduire à une perte de reproductibilité lors de l'utilisation d'outils informatiques présents dans bien des domaines de la recherche. Nous pouvons citer l'importance de la science ouverte, d'une documentation rigoureuse, de l'application correcte des statistiques, de la culture scientifique, des environnements logiciels, des workflows, ainsi que du génie logiciel. Nous voyons également en détail les problématiques du calcul scientifique à haute performance, où de nouveaux facteurs peuvent impacter la reproductibilité. Nous pouvons citer les problèmes liés au calcul parallèle, aux simulations de Monte-Carlo utilisant des générateurs de nombres pseudo-aléatoires, aux processus d'optimisation, à l'hétérogénéité du matériel, aux erreurs dites « silencieuses », ainsi qu'aux défis posés par de nouveaux paradigmes tels que l'informatique quantique. Nous avons proposé différents cas concrets d'étude de reproductibilité en calcul haute performance, et avons apporté des connaissances et recommandations pour les chercheurs. Nous avons développé un modèle épidémiologique en C++, afin de pouvoir facilement paralléliser des simulation individus centrés de propagation à large échelle. Les tests ont été réalisés avec des paramètres pour le Covid 19 mais peuvent être adaptés à d'autres types d'épidémie (M-pox par exemple). Nous avons étudié la qualité statistique des flux stochastiques selon l'initialisation de Mersenne Twister, et ainsi fourni des informations sur son initialisation parallèle. Nous avons étudié les différents problèmes de reproductibilité liés à l'utilisation des générateurs de nombres pseudo-aléatoires dans les technologies du machine learning. Lors de cette thèse nous avons également étudié l'aspect matériel, en questionnant la pertinence de l'activation systématique du simultaneous multi-threading sur les clusters de calcul pour les performances en fonction du type de calcul. Enfin, nous avons étudié la fiabilité des machines quantiques, un paradigme de calcul qui devient plus fiable et qui a le potentiel de révolutionner le calcul haute performance sur certaines thématiques spécifiques.

Reproducibility is widely recognized as a fundamental principle of scientific research. Currently, the scientific community faces numerous challenges related to reproducibility, often referred to as the ''reproducibility crisis.'' This crisis has affected many scientific disciplines. In this thesis, we examined the factors in scientific practices that could contribute to this lack of reproducibility. Particular attention is given to the pervasive integration of computing in research, which sometimes functions as a black box. This thesis primarily focuses on high-performance computing (HPC), which presents unique reproducibility challenges. We provide a comprehensive state-of-the-art review of these concerns and potential solutions. Additionally, we discuss the crucial role of reproducible research in advancing science and identifying persistent issues in the field of HPC. We discuss the multiple reasons that can lead to a loss of reproducibility when using computing tools present in many areas of research. These include the importance of open science, rigorous documentation, correct application of statistics, scientific culture, software environments, workflows, and software engineering. We also delve into the issues of high-performance scientific computing, where new factors can impact reproducibility. These include problems related to parallel computing, Monte Carlo simulations using pseudo-random number generators, optimization processes, hardware heterogeneity, so-called ''silent'' errors, and the challenges posed by new paradigms such as quantum computing. We proposed various case studies on reproducibility in high-performance computing and provided insights and recommendations for researchers. We developed an epidemiological model in C++ to easily parallelize large scale individual based simulations of virus spreading, testing parameters were set for Covid 19 and can be changed to tackle other outbreaks like mpox, or other deases that may arise in the future. We studied the statistical quality of stochastic streams based on the initialization of Mersenne Twister, thus providing information on its parallel initialization. We also investigated various reproducibility issues related to the use of pseudo-random number generators in machine learning technologies. During this thesis, we also examined a hardware aspect by questioning the relevance of the systematic activation of simultaneous multi-threading on computing clusters for performance depending on the application profile. Finally, we studied the reliability of quantum machines, a computing paradigm becoming more reliable with the potential to revolutionize high-performance computing in specific areas.