Tutoriel Infiniband
| Description | Utiliser le réseau Infiniband pour transférer ses sonnées |
|---|---|
| Auteur | Ndomassi TANDO |
| Date de création | 02/02/2024 |
| Date de modification | 07/03/2025 |
Utiliser les noeuds infiniband pour des transferts plus rapides:
Rôle de l'Infiniband :
Le réseau Infiniband(192.168.4.0) permet aux utilisateurs d'avoir accès à un réseau haut débit pour transférer leurs données depuis le san vers les nodes et inversement ou entre les noeuds infiniband .
Seulement certains noeuds dans la liste ci-dessous sont équipés d'infiniband pour le moment :
| node | partitions | CPU | RAM total (Gb) | RAM by CPU (Gb/cpu) | scratch size (To) |
|---|---|---|---|---|---|
| node0 | normal | 24 | 144 | 6 | 13 |
| node1 | normal | 24 | 144 | 6 | 2 |
| node4 | normal | 72 | 257 | 4 | 13 |
| node5 | normal | 88 | 516 | 6 | 13 |
| node7 | normal | 24 | 145 | 6 | 3 |
| node8 | long | 24 | 48 | 2 | 13 |
| node9 | normal | 64 | 144 | 2 | 13 |
| node11 | runner | 24 | 48 | 2 | 3 |
| node17 | normal | 48 | 144 | 3 | 13 |
| node20 | normal | 20 | 64 | 3 | 13 |
| node21 | normal | 24 | 144 | 6 | 13 |
| node24 | normal | 20 | 64 | 3 | 13 |
| node25 | supermem | 40 | 1 032 | 26 | 14 |
| node26 | gpu | 24 | 192 | 8 | 14 |
| node27 | normal | 24 | 144 | 6 | 14 |
Réserver un noeud Infiniband:
Pour utiliser le réseau infiniband, il suffit d'ajouter le suffixe -ib à l'alias de la machine à connecter, par exemple san deviendra san-ib et node0 deviendra node0-ib etc ...
Utilisez les options -p partition ( avec partition la partition du noeud de calcul) --constraint=infiniband pour réserver un ou plusieurs coeurs d'un noeud infiniband. ( cf feature page pour plus d'explications)
Par exemple nous voulons réserver un noeud infiniband sur la partition highmem en mode intéractif, taper la commande suivante:
srun -p highmem --constraint=infiniband --pty bash -i
Vous êtes désormais sur un noeud qui a accès au réseau infiniband, pour l'utiliser, modifiez juste l'alias san en san-ib pour faire vos transferts.
Transfert avec Infiniband:
Il y a 2 syntaxes possibles:
Récupérer des données depuis le san:
scp -r san-ib:path_to_files/file local_destination
Envoyer des données vers le san:
scp -r /local_path_to_files/file san-ib:remote_destination
