Fonctionnement du Tier 3, comment l'utiliser ?

La partie computing du Tier 3 a été dé-commissionnée en 2021, les outils de soumissions de jobs sur la grille sont toujours disponibles sur les serveurs intéractifs, en revanche, le Tier 3 n'accepte plus de jobs de grille.

Cependant, comme seulement la partie computing a été arrêtée, il reste le storage élément disponible pour héberger les fichiers des expériences.

Qui peut utiliser les ressources de l'IP2I ?

Tous les groupes de l'IP2I ayant des besoins en calcul peuvent utiliser la ferme de calcul de l'IP2I et les espaces de stockage associés (Stockage Element et le /gridgroup).

La ferme de calcul est décrite dans la documentation dans IP2I HTC Farm

De quoi ai-je besoin pour lancer des jobs ?

Soit ce sont des jobs à lancer sur la ferme de calcul SLURM de l'IP2I ou du CC-IN2P3, vous n'avez pas besoin de certificat, mais seulement d'un compte (à l'IP2I ou au CC-IN2P3 puisque ce sont deux fermes distinctes).

Soit ce sont des jobs à lancer sur la grille de calcul WLCG, alors avez besoin :

  • D'un certificat électronique personnel. Ce certificat servira à vous identifier sur la grille. La procédure de demande de certificat est présentée dans l'article Demande de certificat.
  • Appartenir à une Organisation Virtuelle (VO). Une Organisation Virtuelle (VO) est une communauté d'utilisateurs de la grille. Il existe de multiples VO, en particulier pour les expériences LHC (ALICE, ATLAS, CMS, LHCB), mais aussi les autres (ILC, CALICE, ).

Donc, pour pouvoir utiliser les ressources d'une VO, c'est à dire utiliser pouvoir lancer des jobs dans les sites qui supportent cette VO et accéder aux stockages associés, vous devez vous enregistrer auprès de cette VO.

Voici quelques liens aux inscription aux VO :

Remarque : Après que votre demande d'inscription ait été validée, il faut attendre environ 8 heures avant de pouvoir envoyer un job. Ce delai est nécessaire pour la prise en compte de votre inscription sur toutes les machines de la grille.

  • Avoir accès à une interface utilisateur (UI). Vous pouvez vous connecter sur lyoserv.in2p3.fr. Cette machine dispose des commandes nécessaires pour utiliser la grille de calcul. Cependant, lyoserv.in2p3.fr n'est pas une machine de calcul, mais uniquement une machine passerelle SSH, c'est à dire que pour pouvoir se connecter sur un des serveurs internes du laboratoire, il faut d'abord se connecter sur lyoserv.in2p3.fr, puis se connecter sur le serveur interne au laboratoire.
  • D'autres UI sont disponibles en plus grand nombre et sans limite de temps CPU ou RAM contrairement aux lyoserv.in2p3.fr, les lyoui.in2p3.fr : ces serveurs interactifs sont accessibles quel que soit votre équipe ou votre groupe d'appartenance pour vos calculs interactifs. Elles sont gérées en load-balancing : à votre connexion, vous serez dirigé vers la machine la moins chargée.

Installation du certificat (à ne faire qu'une seule fois !)

Vous devez installer votre nouveau certificat dans votre $HOME dans le sous répertoire .globus.

Le format du certificat sauvegardé présente plusieurs formes :

  • format .p12 (appelé PKCS12): il s'agit d'un seul fichier contenant à la fois le certificat et la clé privée correspondante, il est impératif de positionner un mot de passe protégeant le fichier (ce mot de passe chiffre la clé privée).
  • format .pem : il s'agit de 2 fichiers, un fichier usercert.pem contient le certificat et un autre fichier userkey.pem contient la clé privée correspondante au certificat, il est impératif de l'enregistrer avec un mot de passe.

Depuis le navigateur Firefox, pour exporter le certificat en .p12 :

  • Firefox :
  • Edition/Préférences
  • Onglet "Privacy & security"
  • Dans le paragraphe "Certificats"
  • Bouton "Afficher les certificats"
  • Onglet "Vos certificats"
  • Sélectionner le certificat et cliquer sur "Exporter"
  • Donner un nom au fichier et l'enregistrer en .p12 (un mot de passe vous est demandé pour le protéger)
  • Chrome :
  • Allez sur l'URL locale chrome://settings/certificates
  • Onglet "Vos certificats"
  • Sélectionner le certificat et cliquer sur "Exporter"
  • Donner un nom au fichier et l'enregistrer en .p12 (un mot de passe vous est demandé pour le protéger)

Puis : * Copier le certificat sur votre $HOME (compte Unix) * Créer un répertoire .globus

$ mkdir ~/.globus

Puis copier le fichier .p12 dans ce répertoire

Convertir le certificat dans un format utilisable pour la grille (le mot de passe qui protège le fichier .p12 vous sera demandé ainsi qu'un nouveau mot de passe qui vous servira à créer votre proxy) :

$ cd ~/.globus
$ openssl pkcs12 -in nom_du_fichier.p12 -clcerts -nokeys -out usercert.pem
$ openssl pkcs12 -in nom_du_fichier.p12 -nocerts -out userkey.pem

Modifier les droits des nouveaux fichiers (étape indispensable !) :

$ chmod 400 userkey.pem
$ chmod 444 usercert.pem

Si tout s'est bien passé, la commande suivante :

$ grid-cert-info

doit afficher les informations relatives à votre certificat.

Lancement de jobs

Le lancement de jobs SLURM sur ferme de calcul est décrite dans la documentation dans IP2I HTC Farm

Accès aux données

Afin de faciliter l'utilisation de la grille pour les utilisateurs locaux, 2 solutions ont été mises en place.

  • Un répertoire /gridgroup/ est accessible depuis l'UI et les worker nodes. Ce répertoire peut être utilisé pour les entrées/sorties des jobs. Pour l'instant, cette zone de stockage n'est pas aussi performante que le stockage de type grille (SRM, DPM, xrootd), aussi il n'est pas recommandé de l'utiliser pour stocker les entrées/sortie d'un grand nombre de jobs simultanés. Ce répertoire /gridgroup est maintenant sauvegardé sur bande au CC-IN2P3, comme le sont aussi les répertoires /gridsoft, /home et /group.

  • Les répertoires NFS des groupes de l'institut (/group) sont aussi accessibles depuis les UI et les worker nodes sous certaines conditions:

Contact

Pour toute question concernant l'utilisation du Tier3, envoyez un mail à gridsupport @ ip2i.in2p3.fr.

Les annonces et discussions concernant le Tier3 se font sur calcul @ ip2i.in2p3.fr. Pour vous inscrire, envoyez un mail à sympa @ ip2i.in2p3.fr avec dans le sujet ou le corps du message :

subscribe calcul Prénom Nom