Système de Protection-Reprise Adaptatif en Fonction de la charge réseau

Adaptive Checkpoint-Restart System with Knowledge of the Network Load

• Auteur / Autrice : Méline Trochon
• Direction : Brice Goglin, Francieli Zanon boito
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 25/11/2024
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : LaBRI - Laboratoire Bordelais de Recherche en Informatique
• Partenaire(s) de recherche : Equipe de recherche : Supports et Algorithmes pour les applications numériques hautes performances (SATANAS)

Mots clés

Mots clés libres

Hpc

Protection-reprise

Storage

Applications parallèles

Contention réseau

Storage

Hpc

Parallele application

Network contention

Checkpoint-restart

Résumé

Les travaux menés dans cette thèse visent à réaliser un état de l'art sur la réduction des interférences réseau et disque puis à démontrer la pertinence et assurer la conception d'un système de protection-reprise couplé au contexte d'exécution. Les deux propriétés clés de ce système seront : 1. Le déclenchement dynamique de la protection reprise. Il n'est pas nécessaire sémantiquement qu'une protection reprise démarre à un instant précis. Le mécanisme de protection-reprise utilisera une fenêtre de déclenchement pour choisir le moment le plus opportun de la sérialisation des données mémoire vers du stockage persistant. 2. La capacité d'observation du système. L'étude devra définir le meilleur point d'observation du système. En effet, les informations sur l'état du système sont distribuées parmi plusieurs composants : le système d'ordonnancement de job, le système de fichiers, le mécanisme de monitoring d'entrée / sortie ou du réseau. Une fois les modalités d'observation définies, le système adaptatif de protection reprise est à même de déterminer le moment opportun pour déclencher une sauvegarde. Ce travail de thèse induit une analyse de coût des interférences au niveau du système de fichier et une modélisation du coût des congestion réseau. Le système de fichier de référence pour les travaux à mener est le système de fichier open source Lustre. Ces travaux de doctorat s'inscrivent dans le cadre du projet NumPEx2 et reprennent donc la structuration des attentes sur les impacts : + Avancées technologiques : le principal résultat attendu, la minimisation des interférences réseau et disque dans les supercalculateurs, doit apporter une meilleure prédictibilité des temps d'exécution, une meilleure efficacité de la plateforme et par conséquent des économies d'énergie importantes. Ce dernier critère sera systématiquement mesuré et utilisé pour l'évaluation des différents prototypes et stratégies implémentés. + Infrastructure de recherche : les travaux de thèse doivent permettre de valider l'approche mise en œuvre sur le futur supercalculateur exaflopique national. Deux démonstrateurs applicatifs sont ciblés : Gysela, un code de recherche en fusion nucléaire et Code_saturne un code industriel de mécanique des fluides. + Coopération internationale : des travaux seront menés notamment en coopération avec l'équipe Lustre de DDN Japon. Des voyages d'études sont à prévoir. Les travaux de la thèse sont organisés en une liste d'activités principales, détaillées ci-dessous. À ces activités s'ajoutent les obligations auprès de l'école doctorale, comme la participation à des formations et journées des doctorant.e.s. 1. Étude de l'état de l'art. 2. Modélisation de l'interférence imposée par la charge réseau. 3. Proposition et développement d'une solution pour surveiller la charge réseau. 4. Modélisation de l'interférence imposé par la charge du système de fichiers. 5. Proposition et développement d'une solution pour surveiller la charge du système de fichiers. 6. Conception et implémentation du mécanisme de sauvegarde. 7. Intégration du mécanisme de sauvegarde avec les démonstrateurs applicatifs. 8. Évaluation de performance et consommation énergétique. 9. Publication de papiers scientifiques. 10. Écriture de la thèse et préparation de la soutenance. Pour plus d'information, se référer au fichier PDF ci-joint.

The work carried out in this thesis aims to produce a state of the art on the reduction of network and disk interference and then to demonstrate the relevance and ensure the design of a checkpoint-restart system coupled to the execution context. The two key properties of this system will be: 1. Dynamic triggering of the checkpoint-restart. It is not semantically necessary that a protection-recovery starts at a specific time. The checkpoint-restart mechanism will use a trigger window to choose the most opportune moment for the serialization of memory data to persistent storage. 2. The observation capacity of the system. The study will have to define the best observation point of the system. Indeed, the information on the state of the system is distributed among several components: the job scheduling system, the file system, the input/output or network monitoring mechanism. Once the observation modalities are defined, the adaptive checkpoint-restart system is able to determine the opportune moment to trigger a backup. This thesis work induces an analysis of the cost of interference at the file system level and a modeling of the cost of network congestion. The reference file system for the work to be carried out is the open source file system Lustre. More information (in French) in the attached PDF.