ANF UST4HPC 2021

Europe/Paris
Description

User Support Tools for HPC

Action Nationale de Formation du CNRS portée par le groupe Calcul et Resinfo

Dans la suite de l’action nationale de formation (ANF) UST4HPC 2018, le groupe Calcul et Resinfo proposent cette nouvelle session UST4HPC du 18 au 26 janvier 2021. Cette année, le fil conducteur sera le thème de la reproductibilité dans les environnements de calcul intensif. En raison des conditions sanitaires, les cours et TP se dérouleront en ligne.

En raison d'un grand nombre de candidatures, nous avons fermé prématurément les demandes d'inscriptions.

Pour retrouver l’ensemble des informations, rendez-vous ici.

    • 09:00 10:00
      Accueil

      Tour de table des participants

      Présidents de session: David Delavennat, Matthieu Boileau (IRMA (CNRS)), Violaine Louvet
    • 10:00 12:15
      Reproductibilité, packaging et sécurité: Session 1
      • 10:00
        Introduction sur les principes généraux de la reproductibilité dans le domaine du calcul 1h
        Sujets: Le rôle de la reproductibilité dans la recherche scientifique. La crise de la reproductibilité. La différence entre reproductibilité et réplicabilité. L'importance de la reproductibilité comme socle technique pour explorer la réplicabilité. La reproductibilité du calcul déterministe. L'importance de l'environnement computationnel. Les difficultés pratiques dans la préservation et documentation des environnements. La particularité de l'arithmétique à virgule flottante. La reproductibilité du calcul parallèle.
        Orateur: Konrad Hinsen
        Slides
      • 11:00
        Pause café 15m
      • 11:15
        Au-delà des conteneurs : environnements reproductibles avec GNU Guix 1h
        Cet exposé part de deux constats : la nécessité de déploiements logiciels reproductibles en support de la recherche reproductible et les limitations des outils les plus répandus. Les « gestionnaires de paquets » utilisés en HPC, tels que Spack ou EasyBuild, offrent une grande flexibilité mais ne permettent pas de reproduire un environnement logiciel à l’identique ; les outils de « conteneurs », comme Docker ou Singularity, permettent de sauvegarder un environnement logiciel aux prix de l’opacité et de la rigidité d’un gros binaire. GNU Guix cherche à combiner les avantages de ces deux approches. Cet exposé donne un aperçu des cas d’usages de Guix et de la manière dont il permet de reproduire des environnement logiciels au bit près, sur différentes machines et à différents instants, tout en conservant une traçabilité complète et la flexibilité des outils des gestion de paquets. Parmi les développements Guix intéressant la recherche reproductible et le HPC, nous verrons « guix time-machine », l’intégration avec Software Heritage, mais aussi les facilités d’administration système pour une grappe de calcul.
        Orateur: Ludovic Courtès
        Slides
    • 09:00 12:00
      Reproductibilité, packaging et sécurité: Session 2
      • 09:00
        Prise en main de GNU Guix — TP 1h 30m
        Ces travaux pratiques ont pour objectif de démarrer avec GNU Guix : installation de paquets, gestion des variables d’environnement, création d’environnements d’exécution isolés, déclaration d’environnements avec des « manifestes » et « voyage dans le temps » avec « guix time-machine ».
        Orateurs: Hinsen Konrad, Ludovic Courtès
        notes
      • 10:30
        Pause café 30m
      • 11:00
        Packaging dans un centre de Tier 1 1h
        Orateur: Rémi Lacroix
        Transparents
    • 09:00 12:15
      Conteneurs, orchestrateurs et interface cloud-HPC: Session 1
      • 09:00
        Conteneurs et runtime pour le HPC 1h
        Orateur: M. martin souchal (in2p3)
        Transparents
      • 10:00
        Pause café 15m
      • 10:15
        TP singularity 2h
        Orateurs: Sébastien Gadrat, M. martin souchal (in2p3)
        Transparents
    • 09:00 13:00
      Conteneurs, orchestrateurs et interface cloud-HPC: Session 2
      • 09:00
        FG-Cloud : un Cloud fédéré pluridisciplinaire pour le déploiement et l'orchestration de conteneurs 1h
        Orateur: Dr Jerome Pansanel (CNRS)
        Transparents
      • 10:10
        Conteneur dans un centre de Tier 1 20m
        Orateur: Rémi Lacroix
        Transparents
      • 10:30
        Café 30m
      • 11:00
        Déploiement d'un jupyterhub avec kubernetes - exposé 1h
        Orateur: M. Rémi Cailletaud (OSUG)
        Slides
    • 08:55 12:15
      Conteneurs, orchestrateurs et interface cloud-HPC: Session 3
      • 09:15
        Déploiement d'un jupyterhub avec kubernetes - tutoriel 1h 15m
        Orateur: M. Rémi Cailletaud (OSUG)
        git repository
      • 10:30
        Café 30m
      • 11:00
        Déploiement d'un jupyterhub avec kubernetes - tutoriel - suite 1h
        Orateur: M. Rémi Cailletaud (OSUG)
    • 09:00 09:30
      Conteneurs, orchestrateurs et interface cloud-HPC: session 4
      • 09:00
        Debriefing tutoriel jupyterhub avec kubernetes 30m
        Orateur: M. Rémi Cailletaud (OSUG)
    • 09:30 11:40
      Notebooks jupyter dans un environnement HPC
      • 09:30
        Vers un environnement reproductible pour les bloc-notes Jupyter 30m
        Les bloc-notes Jupyter sont devenus un élément important dans la boîte à outils de la recherche reproductible, permettant de mêler un récit scientifique à du code et au résultat de son évaluation. Ces bloc-notes souffrent toutefois d’un problème majeur : ils ne déclarent pas l’environnement logiciel dans lequel doit s’exécuter le code. Cet exposé présente les limites des solutions les plus courantes à ce problème et propose une approche différente. Guix-Jupyter est un « noyau » Jupyter qui permet d’include dans les bloc-notes des annotations de déploiement logiciel mais aussi de dépendance sur des données externes. Guix-Jupyter en est à ses débuts mais il montre déjà que des bloc-notes auto-suffisants et reproductibles sont possibles.
        Orateur: Ludovic Courtès
        Slides
      • 10:00
        Prise en main de Guix-Jupyter — TP 1h
        Orateur: Ludovic Courtès
        notes
      • 11:00
        Café 20m
      • 11:20
        Notebook Jupyter dans un centre de Tier 1 20m
        Orateur: Rémi Lacroix
        Transparents
    • 09:00 11:00
      Intégration continue dans un environnement HPC: Session 2
      • 09:00
        Intégration continue pour le HPC sur PlaFRIM 1h
        L'objectif, à travers cette présentation, est d'exposer l'état de l'expérience menée à travers différents centres de partages de ressources. Ce partage concerne en particuliers les responsables de plateforme outil pour l'nitégration continue d'un côté et les administrateurs de moyens de calcul de l'autre, mettant à disposition de la communauté des chercheurs en HPC des plateformes dédiées pour l'intégration continue dans ce contexte particuliers.
        Orateur: François Rué
        Slides
      • 10:00
        Utilisation de PlaFRIM pour l’intégration continue des codes d’algèbre 1h
        L'équipe de recherche Inria HiePACS développe une pile logicielle de solveurs d'algèbre linéaire parallèles. Les enjeux majeurs sont la performance et le passage à l'échelle sur des machines de calculs toujours plus grandes et hétérogènes (CPUs Intel, AMD, IBM, GPUs Nvidia, ...). Pour répondre à ce challenge ces solveurs numériques tirent partis de nombreuses autres bibliothèques sous-jacentes spécialisées (moteurs d'exécutions, noyaux de calcul, MPI, CUDA, ...) et deviennent des objets logiciels modulaires et complexes. La compréhension, le contrôle et la répétabilité des performances obtenues est aussi difficile car dépend de nombreux paramètres : architecture des noeuds, réseaux, versions des bibliothèques, paramètres d'entrées. Afin de mieux maîtriser l'évolution des performances au cours des développements nous avons mis au point une procédure automatisée qui nous permet de suivre nos résultats en fonction des commits des solveurs tout en contrôlant l'ensemble de paramètres qui influent sur ces résultats, rendant la procédure reproductible d'un point de vue logiciel. Nous détaillerons dans cette présentation la procédure, les outils utilisés et discuterons des limitations actuelles et de quelques perspectives.
        Orateur: Florent Pruvost
        Transparents
    • 11:00 12:00
      Déclusion: avec tous les participants

      Retour sur la formation et réflexion sur les thèmes de la prochaine ANF

      Présidents de session: David Delavennat, M. Fabrice Roy (CNRS), Matthieu Boileau (IRMA (CNRS)), Violaine Louvet