How to - Utiliser le scratch mutualisé /scratch-ib
| Description | Utiliser /scratch-ib |
|---|---|
| Auteur | ndomassi TANDO (ndomassi.tando@ird.fr) |
| Creation Date | 21/01/2025 |
| Date de modification | 07/03/2025 |
Role de la partition /scratch-ib
La partition /scratch-ib est une partition scratch mutualisée hébergée sur bioinfo-san.ird.fr destinée à accueillir des données à analyser de manière temporarire
Elle est partagée entre tous les noeuds de calcul ayant la feature infiniband (accès à un réseau haut-débit)
Les utilisateurs peuvent positionner leur données directement dans /scratch-ib sur bioinfo-san.ird.fr puis utiliser un ou plusieurs noeuds de calcul ayant la feature infiniband. pour les traiter directement dans /scratch-ib
Les calculs peuvent être lancés en parallèle sur plusieurs noeuds à la fois sur les mêmes données.
Caractéristiques de la partition /scratch-ib
- La partition /scratch-ib est accessible depuis internet sur le serveur bioinfo-san.ird.fr
- Elle a une taille de 128To
- Les données de cette partition ne sont accessibles que pour les noeuds avec la feature infiniband.
Utiliser la partition /scratch-ib
1) Placer vos données dans /scratch-ib en vous connectant sur bioinfo-san.ird.fr
Voir le processus de transfert ici: https://bioinfo.ird.fr/index.php/tutorials-fr/howtos-for-hpc-cluster-itrop/#howto-1
2) Choisir un noeud infiniband
Seuls les noeuds dans la liste ci-dessous sont en infiniband:
| node | partitions | CPU | RAM total (Gb) | RAM by CPU (Gb/cpu) | scratch size (To) |
|---|---|---|---|---|---|
| node0 | normal | 24 | 144 | 6 | 13 |
| node1 | normal | 24 | 144 | 6 | 2 |
| node4 | normal | 72 | 257 | 4 | 13 |
| node5 | normal | 88 | 516 | 6 | 13 |
| node7 | normal | 24 | 145 | 6 | 3 |
| node8 | long | 24 | 48 | 2 | 13 |
| node9 | normal | 64 | 144 | 2 | 13 |
| node11 | runner | 24 | 48 | 2 | 3 |
| node17 | normal | 48 | 144 | 3 | 13 |
| node20 | normal | 20 | 64 | 3 | 13 |
| node21 | normal | 24 | 144 | 6 | 13 |
| node24 | normal | 20 | 64 | 3 | 13 |
| node25 | supermem | 40 | 1 032 | 26 | 14 |
| node26 | gpu | 24 | 192 | 8 | 14 |
| node27 | normal | 24 | 144 | 6 | 14 |
Pour pouvoir choisir un noeud infiniband, il faut rajouter à Slurm l'option
--constraint=infiniband
Par exemple, pour se connecter en mode intéractif à un noeud infiniband de la partition short on écrira:
srun -p short --constraint=infiniband --pty bash -i
Dans un script à lancer avec sbatch, on rajoutera les options suivantes en début de script:
#SBATCH -p short
#SBATCH --constraint=infiniband3) Lancer votre analyse directement dans le répertoire /scratch-ib
cd /scratch-ib
Penser à modifier son script avec /scratch-ib à la place de /scratch
Si les données sont dans le répertoire /projects, on va pouvoir intégrer le transfert dans le script en remplaçant san par san-ib (comme infiniband) et /scratch par /scratch-ib
scp -r san-ib:path_to_files/file /scratch-ib/folder
Plus d'informations sur l'utilisation de l'infiniband ici:
