ANF UST4HPC 2021

18 janv. 2021, 09:00 → 26 janv. 2021, 12:00 Europe/Paris

User Support Tools for HPC

Action Nationale de Formation du CNRS portée par le groupe Calcul et Resinfo

Dans la suite de l’action nationale de formation (ANF) UST4HPC 2018, le groupe Calcul et Resinfo proposent cette nouvelle session UST4HPC du 18 au 26 janvier 2021. Cette année, le fil conducteur sera le thème de la reproductibilité dans les environnements de calcul intensif. En raison des conditions sanitaires, les cours et TP se dérouleront en ligne.

En raison d'un grand nombre de candidatures, nous avons fermé prématurément les demandes d'inscriptions.

Pour retrouver l’ensemble des informations, rendez-vous ici.

lundi 18 janvier

09:00 → 10:00 Accueil

Tour de table des participants

Présidents de session: David Delavennat, Matthieu Boileau (IRMA (CNRS)), Violaine Louvet

10:00 → 12:15 Reproductibilité, packaging et sécurité: Session 1

10:00 Introduction sur les principes généraux de la reproductibilité dans le domaine du calcul

Sujets: Le rôle de la reproductibilité dans la recherche scientifique. La crise de la reproductibilité. La différence entre reproductibilité et réplicabilité. L'importance de la reproductibilité comme socle technique pour explorer la réplicabilité. La reproductibilité du calcul déterministe. L'importance de l'environnement computationnel. Les difficultés pratiques dans la préservation et documentation des environnements. La particularité de l'arithmétique à virgule flottante. La reproductibilité du calcul parallèle.

Orateur: Konrad Hinsen

Slides https://www.canal-u.tv/video/groupe_calcul/introduction_sur_les_principes_generaux_de_la_reproductibilite_dans_le_domaine_du_calcul.59563 slides_konrad_hinsen.pdf

11:00 Pause café

11:15 Au-delà des conteneurs : environnements reproductibles avec GNU Guix

Cet exposé part de deux constats : la nécessité de déploiements logiciels reproductibles en support de la recherche reproductible et les limitations des outils les plus répandus. Les « gestionnaires de paquets » utilisés en HPC, tels que Spack ou EasyBuild, offrent une grande flexibilité mais ne permettent pas de reproduire un environnement logiciel à l’identique ; les outils de « conteneurs », comme Docker ou Singularity, permettent de sauvegarder un environnement logiciel aux prix de l’opacité et de la rigidité d’un gros binaire. GNU Guix cherche à combiner les avantages de ces deux approches. Cet exposé donne un aperçu des cas d’usages de Guix et de la manière dont il permet de reproduire des environnement logiciels au bit près, sur différentes machines et à différents instants, tout en conservant une traçabilité complète et la flexibilité des outils des gestion de paquets. Parmi les développements Guix intéressant la recherche reproductible et le HPC, nous verrons « guix time-machine », l’intégration avec Software Heritage, mais aussi les facilités d’administration système pour une grappe de calcul.

Orateur: Ludovic Courtès

Slides talk.pdf

mardi 19 janvier

09:00 → 12:00 Reproductibilité, packaging et sécurité: Session 2

09:00 Prise en main de GNU Guix — TP

Ces travaux pratiques ont pour objectif de démarrer avec GNU Guix : installation de paquets, gestion des variables d’environnement, création d’environnements d’exécution isolés, déclaration d’environnements avec des « manifestes » et « voyage dans le temps » avec « guix time-machine ».

Orateurs: Hinsen Konrad, Ludovic Courtès

notes Notes du TP (fichier texte Org Mode)

10:30 Pause café

11:00 Packaging dans un centre de Tier 1

Orateur: Rémi Lacroix

Transparents UST4HPC2021_Spack_IDRIS.pdf

mercredi 20 janvier

09:00 → 12:15 Conteneurs, orchestrateurs et interface cloud-HPC: Session 1

09:00 Conteneurs et runtime pour le HPC

Orateur: M. martin souchal (in2p3)

Transparents https://souchal.pages.in2p3.fr/container4science/prez.html pres.pdf

10:00 Pause café

10:15 TP singularity

Orateurs: Sébastien Gadrat, M. martin souchal (in2p3)

Transparents https://gitlab.in2p3.fr/souchal/tp-singularty-v3

jeudi 21 janvier

09:00 → 13:00 Conteneurs, orchestrateurs et interface cloud-HPC: Session 2

09:00 FG-Cloud : un Cloud fédéré pluridisciplinaire pour le déploiement et l'orchestration de conteneurs

Orateur: Dr Jerome Pansanel (CNRS)

Transparents FG_UST4HPC_012021.pdf

10:10 Conteneur dans un centre de Tier 1

Orateur: Rémi Lacroix

Transparents UST4HPC2021_Conteneurisation_IDRIS.pdf

10:30 Café

11:00 Déploiement d'un jupyterhub avec kubernetes - exposé

Orateur: M. Rémi Cailletaud (OSUG)

Slides slides.pdf

vendredi 22 janvier

08:55 → 12:15 Conteneurs, orchestrateurs et interface cloud-HPC: Session 3

09:15 Déploiement d'un jupyterhub avec kubernetes - tutoriel

Orateur: M. Rémi Cailletaud (OSUG)

git repository https://gricad-gitlab.univ-grenoble-alpes.fr/ust4hpc/gpu-hub

10:30 Café

11:00 Déploiement d'un jupyterhub avec kubernetes - tutoriel - suite

Orateur: M. Rémi Cailletaud (OSUG)

lundi 25 janvier

09:00 → 09:30 Conteneurs, orchestrateurs et interface cloud-HPC: session 4

09:00 Debriefing tutoriel jupyterhub avec kubernetes

Orateur: M. Rémi Cailletaud (OSUG)

09:30 → 11:40 Notebooks jupyter dans un environnement HPC

09:30 Vers un environnement reproductible pour les bloc-notes Jupyter

Les bloc-notes Jupyter sont devenus un élément important dans la boîte à outils de la recherche reproductible, permettant de mêler un récit scientifique à du code et au résultat de son évaluation. Ces bloc-notes souffrent toutefois d’un problème majeur : ils ne déclarent pas l’environnement logiciel dans lequel doit s’exécuter le code. Cet exposé présente les limites des solutions les plus courantes à ce problème et propose une approche différente. Guix-Jupyter est un « noyau » Jupyter qui permet d’include dans les bloc-notes des annotations de déploiement logiciel mais aussi de dépendance sur des données externes. Guix-Jupyter en est à ses débuts mais il montre déjà que des bloc-notes auto-suffisants et reproductibles sont possibles.

Orateur: Ludovic Courtès

Slides talk.pdf

10:00 Prise en main de Guix-Jupyter — TP

Orateur: Ludovic Courtès

notes tp.org

11:00 Café

11:20 Notebook Jupyter dans un centre de Tier 1

Orateur: Rémi Lacroix

Transparents UST4HPC2021_Jupyter_Notebooks_IDRIS.pdf

mardi 26 janvier

09:00 → 11:00 Intégration continue dans un environnement HPC: Session 2

09:00 Intégration continue pour le HPC sur PlaFRIM

L'objectif, à travers cette présentation, est d'exposer l'état de l'expérience menée à travers différents centres de partages de ressources. Ce partage concerne en particuliers les responsables de plateforme outil pour l'nitégration continue d'un côté et les administrateurs de moyens de calcul de l'autre, mettant à disposition de la communauté des chercheurs en HPC des plateformes dédiées pour l'intégration continue dans ce contexte particuliers.

Orateur: François Rué

Slides plafrim-ci-2.pdf

10:00 Utilisation de PlaFRIM pour l’intégration continue des codes d’algèbre

L'équipe de recherche Inria HiePACS développe une pile logicielle de solveurs d'algèbre linéaire parallèles. Les enjeux majeurs sont la performance et le passage à l'échelle sur des machines de calculs toujours plus grandes et hétérogènes (CPUs Intel, AMD, IBM, GPUs Nvidia, ...). Pour répondre à ce challenge ces solveurs numériques tirent partis de nombreuses autres bibliothèques sous-jacentes spécialisées (moteurs d'exécutions, noyaux de calcul, MPI, CUDA, ...) et deviennent des objets logiciels modulaires et complexes. La compréhension, le contrôle et la répétabilité des performances obtenues est aussi difficile car dépend de nombreux paramètres : architecture des noeuds, réseaux, versions des bibliothèques, paramètres d'entrées. Afin de mieux maîtriser l'évolution des performances au cours des développements nous avons mis au point une procédure automatisée qui nous permet de suivre nos résultats en fonction des commits des solveurs tout en contrôlant l'ensemble de paramètres qui influent sur ces résultats, rendant la procédure reproductible d'un point de vue logiciel. Nous détaillerons dans cette présentation la procédure, les outils utilisés et discuterons des limitations actuelles et de quelques perspectives.

Orateur: Florent Pruvost

Transparents ust4hpc.pdf

11:00 → 12:00 Déclusion: avec tous les participants

Retour sur la formation et réflexion sur les thèmes de la prochaine ANF

Présidents de session: David Delavennat, M. Fabrice Roy (CNRS), Matthieu Boileau (IRMA (CNRS)), Violaine Louvet