bioinfo@ird.fr

Trainings 2019 – HPC – Practice SLURM-fr

Practice initiation cluster i-Trop

Description Exercices pour cluster i-Trop
Cours lié HPC
Auteur Ndomassi TANDO (ndomassi.tando@ird.fr)
Date de création 25/11/2019
Dernière date de modification 18/03/2026

Sommaire

Préambule

Se connecter à un serveur Linux depuis Windows
Platforme Logiciel Description url
mobaXterm Un terminal avancé pour Windows avec serveur X11 server Télécharger
putty Putty permet de se connecter à un serveur Linux depuis une machine Windows Télécharger
Transférer et copier des fichiers depuis votre ordinateur vers des serveurs Linux avec SFTP (SSH File Transfer Protocol)
Platforme Logiciel Description url
filezilla Client FTP et SFTP Télécharger
Visualiser et éditer des fichiers depuis son ordinateur avant de le transférer vers un serveur Linux distant ou directement depuis le serveur distant
Type Logiciel url
Distant, mode console nano Tutoriel
Distant, mode console vi Tutoriel
Distant, mode graphique komodo edit Télécharger
Editeur Linux & Windows Notepad++ Télécharger

Practice 1: Se connecter à un serveur Linux via ssh

Avec mobaXterm:

  1. Cliquer sur le bouton session, puis cliquer sur SSH.
    • Dans le champ "remote host" , taper: bioinfo-master1.ird.fr
    • Cocher la case "specify username" et entrer votre login
  2. Dans la console, entrer le mot de passe quand demandé.
    Attention pour des raisons de sécurité, le mot de passe n'apparait pas à l'écran
  3. Taper la commande sinfo et commenter le resultat
  4. Taper la commande sinfo -N nodes --long et noter les informations supplémentaires
  5. Taper la commande scontrol show nodes

Practice 2: Réserver un coeur d'un noeud en intéractif et créer son répertoire de travail

  1. Taper la commande squeue et noter le résultat
  2. Taper la commande squeue -u your_loginavec "your_login" à remplacer avec votre login
  3. Plus de details avec la commande: squeue -O "username,name:40,partition,nodelist,NumCPUs,state,timeused,timelimit"
  4. Taper la commande hostname puis srun hostname interprétez les résultats
  5. Taper la commande srun -p short --pty bash -i puis squeue
  6. Créer votre propre répertoire dans le /scratch du noeud:
 cd /scratch 
mkdir login

avec login : le nom de votre choix

Practice 3 : Transférer des fichiers vers ou depuis bioinfo-san.ird.fr rsync

  1. En utilisant rsync, transférer un fichier de votre ordinateur vers votre répertoire /users/login sur bioinfo-san.ird.fr
  2. Vérifier le résultat avec la commande ls depuis bioinfo-master1.ird.fr
  3. En utilisant rsync, transférer le fichier de bioinfo-san.ird.fr /share/formation/Slurm/TPassembly/TP.txt sur votre PC

Practice 4: Transférer des données vers les noeuds

  1. En utilisant rsync, transférer le répertoire TP_reads_quality situé dans /share/formation/ dans votre répertoire de travail
  2. Vérifier le résultat avec la commande ls

Practice 5: Utiliser module environment pour charger ses outils

  1. Charger les modules FastQC/0.12.1 et multiqc/1.9 sur l'environnement bioinfo-itrop
  2. Vérifier si les modules sont chargés

Practice 6 : Lancer des analyses

Utiliser FastQC

Lancer les commandes

cd /scratch/$USER/TP_reads_quality/
mkdir ./results/
fastqc --threads 1 --outdir ./results/ ./reads/*

Utiliser multiqc

Lancer la commande

multiqc --filename MultiQC-from-FastQC_AAAA-MM-DD --title i-Trop-Cluster_ --outdir ./ ./results/

Practice 7: Transférer des données vers le serveur san puis sa machine

  1. En utilisant rsync, transférer les résultats de /scratch/login vers votre /users/login
  2. Vérifier si le transfert est OK avec ls
  3. En utilisant rsync transférer les resultats vers votre ordinateur

Practice 8: Supprimer son répertoire temporaire

cd /scratch
rm -r login
exit

Practice 9: Lancer un job via sbatch

En suivant les différentes étapes effectuées jusqu'ici, créer un script our lancer les analyses du practice6:

1ere étape: créer une section Slurm dans votre script

1) Donner un nom à son job

2) Préciser son adresse email

3) Choisir la partition short

2eme étape : taper les commandes que vous voulez que le script lance:

1) créer un répertoire personnel dans /scratch avec mkdir

2) En utilisant rsync, transférer le répertoire TP_reads_quality situé dans /share/formation/ dans votre répertoire de travail

3) Charger les modules FastQC/0.12.1 et multiqc/1.9 sur l'environnement bioinfo-itrop

4) Dans le répertoire TP_reads_quality, lancer les commandes suivantes:

mkdir ./results/
fastqc --threads 1 --outdir ./results/ ./reads/*
multiqc --filename MultiQC-from-FastQC_AAAA-MM-DD --title i-Trop-Cluster_ --outdir ./ ./results/

5) En utilisant rsync, transférer ses results depuis le /scratch/login vers son /home/login

6) Suppression du répertoire personnel de /scratch

Lancer les commandes suivantes pour avoir des infos sur le job terminé :

seff <JOB_ID>
sacct --format=JobID,elapsed,ncpus,ntasks,state,node -j <JOB_ID>

Bonus:

lancement d'une analyse en 4 étapes:

1) Effectuer un alignement multiple avec l'outil nucmer

2) Filtrer ces alignments avec l'outil delta-filter

3) Générer un tableau facile à parser avec l'outil show-coords

4) Générer une image png avec mummerplot

  • Récupérer le script /projects/medium/formation/Slurm/scripts/alignment_slurm.sh dans son /home/login

  • modifier la section Slurm section et les variables

  • lancer le script avec sbatch:

sbatch alignment.sh

  • Taper ls -altr dans votre /home/login. Que constatez-vous?

  • Lancer les commandes suivantes pour obtenir des infos sur le job terminé:

seff <JOB_ID>
sacct --format=JobID,elapsed,ncpus,ntasks,state,node -j <JOB_ID>

  • Ouvrir filezilla et récupérer l'image png sur votre ordinateur

  • Lancer la commande suivante pour nettoyer le /scratch du noeud

sh /opt/scripts/scratch-scripts/scratch_use.sh

et choisir le numéro de noeud utilisé

Liens

Licence

Ce cours est sous licence Creative Commons Attribution 4.0 International License (ici).

© 2026 itrop. Built using WordPress and EmpowerWP Theme.