Configuration matérielle

Le Tier 3, dans sa configuration initiale porte sur les éléments suivants :

  • Les serveurs interactifs (les lyoui*.in2p3.fr),
  • les serveurs de calculs (les "workers").
  • le stockage et les serveurs associés,

Les serveurs intéractifs

Ces serveurs intéractifs (UI comme {User Interface} ou {User Interactive} ) lyoui.in2p3.fr sont disponibles pour lancer les jobs sur le Tier3. Ils disposent de tous les outils nécessaires pour lancer les jobs sur les sites de grille. Ils peuvent aussi être utilisés pour exécuter des calculs légers ou des tâches interactives.

Nom Version Nombre Description
lyoui.in2p3.fr CentOS 7.x 64 bits 4 serveurs ssh intéractifs, avec pour chacun : 32 coeurs, 96 Go RAM, /scratch local 500 Go

Les serveurs de calcul

Ce sont sur ces machines de calcul (Worker Nodes) que sont exécutés les jobs lancés sur le Tier3. Elles ne sont pas directement accessibles, il faut utiliser les outils de grille glite-ce-job-submit, ganga...) pour lancer des jobs sur ces serveurs depuis les UI.

Dans le tableau ci-dessous, les Worker Nodes sont classées par ordre de puissance décroissant :

Nombre de workers Type de serveurs CPU RAM Nombre de coeurs / serveurs Nombre de "slots" RAM par slot HEP-SPEC06
4 dans 1 chassis Dell C6320 II Xeon E5-2680v4 2.40 Ghz 160Go 56 224 2.8 Go 2712
24 dans 6 chassis Dell C6220 II Xeon Ivy Bridge E5-2670v2 2.50 Ghz 128Go 40 960 3 Go 9864
4 dans 1 chassis Dell C6220 Xeon SandyBridge E5-2670 2.60 Ghz 96Go 32 128 3 Go 1400
32 workers TOTAL 4 To RAM 1312 slots 13 976 HEP-SPEC06

Le nombre de slots est le nombre de jobs qu'il est possible de lancer en parallèle.

Le stockage

Le stockage repose sur deux architectures: * L'espace de stockage accédé en mode «grille» appelé Storage Element (SE), c'est à dire en utilisant les protocoles SRM, GridFTP, xrootd... * GRIDGROUP = L'espace de stockage en mode POSIX, c'est à dire en utilisant les chemins d'accès standards Unix : /gridgroup/cms/....

Pour savoir comment utiliser ces espaces de stockage, allez directement à l'article Utilisation du stockage.

L'espace de stockage accédé en mode «grille»

Appelé Storage Element (SE), il est composé d'une tête lyogrid06.in2p3.fr, enregistrée auprès des expériences, cette tête gère les méta-données et le stockage des fichiers sur serveurs de stockage associés. En effet, puisqu'un Storage Element peut stocker plusieurs péta-octets, il faut répartir les données du SE sur plusieurs serveurs de stockage gérés par cette tête.

Sur le SE de l'IPNL, actuellement 8 serveurs de stockage Dell R720xd (31 To utilisables par serveur) et 7 serveurs Dell R730xd (72 To utilisables par serveur) ainsi qu'un serveur Dell R740xd (90 To utilisables). Tous ces serveurs sont utilisés en stockage de grille, c'est à dire en utilisant les protocoles SRM, GridFTP ou xrootd.

La répartition des espaces de stockage est la suivante :

  • VO alice : 40 To xrootd et 1.5 TB SRM/GridFTP/Xrootd
  • VO calice : 13 TB SRM/GridFTP/Xrootd
  • VO cms : 904 TB SRM/GridFTP/Xrootd
  • VO dzero : 6.5 TB SRM/GridFTP/Xrootd
  • VO vo.agata.org : 2.5 TB SRM/GridFTP/Xrootd
  • VO vo.france-grilles.fr : 2.5 TB SRM/GridFTP/Xrootd
  • VO vo.ipnl.in2p3.fr : 8 TB SRM/GridFTP/Xrootd
  • VO vo.rhone-alpes.idgrilles.fr : 2.5 TB SRM/GridFTP/Xrootd

L'espace de stockage accédé en mode POSIX /gridgroup

L'espace de stockage en mode POSIX /gridgroup est physiquement constitué de plusieurs éléments :

  • Une baie de disques Dell MD34600 contenant 60 disques de 3To
  • 2 serveurs d'entrées/sorties Dell R620 connectés à la MD3460 en double attachement, chaque serveur a une carte 10Gb/s ethernet pour l'export des données en GPFS. Ces deux serveurs offrent la possibilité d'avoir de la haute disponibilité sur ce stockage.

L'espace de stockage accessible en mode POSIX est :

  • /gridgroup (espace de groupe) : 160 TB au total (commande gridquota pour connaitre l'occupation de vos fichiers et des fichiers de votre groupe). Cet espace est accessible depuis toutes les machines (UI et Worker Nodes)
  • /scratch : espace de stockage local et temporaire sur les UI (fichiers effacés automatiquement au bout de 90 jours).

Le stockage /gridgroup est monté sur l'ensemble des serveurs du T3 et de la ferme SLURM (sur les serveurs intéractifs et sur les Worker Nodes du T3 et de la ferme SLURM).

Pour connaître le l'espace que vous utilisez et le quota de votre groupe, lancez la commande : 

$ gridquota