Configuration matérielle
Le Tier 3, dans sa configuration initiale porte sur les éléments suivants :
- Les serveurs interactifs (les
lyoui*.in2p3.fr), - les serveurs de calculs (les "workers").
- le stockage et les serveurs associés,
Les serveurs intéractifs
Ces serveurs intéractifs (UI comme {User Interface} ou {User Interactive} ) lyoui.in2p3.fr sont disponibles pour lancer les jobs sur le Tier3. Ils disposent de tous les outils nécessaires pour lancer les jobs sur les sites de grille. Ils peuvent aussi être utilisés pour exécuter des calculs légers ou des tâches interactives.
| Nom | Version | Nombre | Description |
|---|---|---|---|
lyoui.in2p3.fr |
CentOS 7.x 64 bits | 4 | serveurs ssh intéractifs, avec pour chacun : 32 coeurs, 96 Go RAM, /scratch local 500 Go |
Les serveurs de calcul
Ce sont sur ces machines de calcul (Worker Nodes) que sont exécutés les jobs lancés sur le Tier3. Elles ne sont pas directement accessibles, il faut utiliser les outils de grille glite-ce-job-submit, ganga...) pour lancer des jobs sur ces serveurs depuis les UI.
Dans le tableau ci-dessous, les Worker Nodes sont classées par ordre de puissance décroissant :
| Nombre de workers | Type de serveurs | CPU | RAM | Nombre de coeurs / serveurs | Nombre de "slots" | RAM par slot | HEP-SPEC06 |
|---|---|---|---|---|---|---|---|
| 4 | dans 1 chassis Dell C6320 II | Xeon E5-2680v4 2.40 Ghz | 160Go | 56 | 224 | 2.8 Go | 2712 |
| 24 | dans 6 chassis Dell C6220 II | Xeon Ivy Bridge E5-2670v2 2.50 Ghz | 128Go | 40 | 960 | 3 Go | 9864 |
| 4 | dans 1 chassis Dell C6220 | Xeon SandyBridge E5-2670 2.60 Ghz | 96Go | 32 | 128 | 3 Go | 1400 |
| 32 workers | TOTAL | 4 To RAM | 1312 slots | 13 976 HEP-SPEC06 |
Le nombre de slots est le nombre de jobs qu'il est possible de lancer en parallèle.
Le stockage
Le stockage repose sur deux architectures:
* L'espace de stockage accédé en mode «grille» appelé Storage Element (SE), c'est à dire en utilisant les protocoles SRM, GridFTP, xrootd...
* GRIDGROUP = L'espace de stockage en mode POSIX, c'est à dire en utilisant les chemins d'accès standards Unix : /gridgroup/cms/....
Pour savoir comment utiliser ces espaces de stockage, allez directement à l'article Utilisation du stockage.
L'espace de stockage accédé en mode «grille»
Appelé Storage Element (SE), il est composé d'une tête lyogrid06.in2p3.fr, enregistrée auprès des expériences, cette tête gère les méta-données et le stockage des fichiers sur serveurs de stockage associés. En effet, puisqu'un Storage Element peut stocker plusieurs péta-octets, il faut répartir les données du SE sur plusieurs serveurs de stockage gérés par cette tête.
Sur le SE de l'IPNL, actuellement 8 serveurs de stockage Dell R720xd (31 To utilisables par serveur) et 7 serveurs Dell R730xd (72 To utilisables par serveur) ainsi qu'un serveur Dell R740xd (90 To utilisables). Tous ces serveurs sont utilisés en stockage de grille, c'est à dire en utilisant les protocoles SRM, GridFTP ou xrootd.
La répartition des espaces de stockage est la suivante :
- VO alice : 40 To xrootd et 1.5 TB SRM/GridFTP/Xrootd
- VO calice : 13 TB SRM/GridFTP/Xrootd
- VO cms : 904 TB SRM/GridFTP/Xrootd
- VO dzero : 6.5 TB SRM/GridFTP/Xrootd
- VO vo.agata.org : 2.5 TB SRM/GridFTP/Xrootd
- VO vo.france-grilles.fr : 2.5 TB SRM/GridFTP/Xrootd
- VO vo.ipnl.in2p3.fr : 8 TB SRM/GridFTP/Xrootd
- VO vo.rhone-alpes.idgrilles.fr : 2.5 TB SRM/GridFTP/Xrootd