\n
Sommaire<\/h3>\n
<\/p>\n
- \n
- Definition<\/a><\/li>\n
- Authentification et bases de donn\u00e9es<\/a><\/li>\n
- Installation de Slurm<\/a><\/li>\n
- Configuration des limites d'utilisation<\/a><\/li>\n
- Liens<\/a><\/li>\n
- License<\/a><\/li>\n<\/ul>\n
\n<\/a><\/p>\n
Definition<\/h2>\n
Slurm is an open source, fault-tolerant, and highly scalable cluster management and job scheduling system for large and small Linux clusters.<\/p>\n
https:\/\/slurm.schedmd.com\/<\/a><\/p>\n
\n<\/a><\/p>\n
Authentification et bases de donn\u00e9es:<\/h2>\n
Cr\u00e9er les utilisateurs pour munge et slurm:<\/h3>\n
Slurm et Munge requi\u00e8rent d'avoir les m\u00eames UID et GID sur chaque noeud du cluster.
\nPour tous les noeuds, lancer les commandes suivantes avant d'installer Slurm ou Munge:<\/p>\n$ export MUNGEUSER=1001\n$ groupadd -g $MUNGEUSER munge\n$ useradd -m -c "MUNGE Uid 'N' Gid Emporium" -d \/var\/lib\/munge -u $MUNGEUSER -g munge -s \/sbin\/nologin munge\n$ export SLURMUSER=1002\n$ groupadd -g $SLURMUSER slurm\n$ useradd -m -c "SLURM workload manager" -d \/var\/lib\/slurm -u $SLURMUSER -g slurm -s \/bin\/bash slurm<\/code><\/pre>\nInstallation de Munge pour l'authentification:<\/h3>\n
$ yum install epel-release -y<\/code><\/pre>\n$ yum install munge munge-libs munge-devel -y<\/code><\/pre>\nCr\u00e9er une cl\u00e9 d'authentification Munge:<\/h4>\n
$ \/usr\/sbin\/create-munge-key<\/code><\/pre>\nCopier la cl\u00e9 d'authentification sur chaque noeud:<\/h4>\n
$ cp \/etc\/munge\/munge.key \/home\n$ cexec cp \/home\/munge.key \/etc\/munge<\/code><\/pre>\nMettre les droits:<\/h4>\n
$ chown -R munge: \/etc\/munge\/ \/var\/log\/munge\/ \/var\/lib\/munge\/ \/run\/munge\/\n$ chmod 0700 \/etc\/munge\/ \/var\/log\/munge\/ \/var\/lib\/munge\/ \/run\/munge\/\n$ cexec chown -R munge: \/etc\/munge\/ \/var\/log\/munge\/ \/var\/lib\/munge\/ \/run\/munge\/\n$ cexec chmod 0700 \/etc\/munge\/ \/var\/log\/munge\/ \/var\/lib\/munge\/ \/run\/munge\/<\/code><\/pre>\nActiver et d\u00e9marrer le service munge service:<\/h4>\n
$ systemctl enable munge\n$ systemctl start munge\n$ cexec systemctl enable munge\n$ cexec systemctl start munge<\/code><\/pre>\nTester munge depuis la machine ma\u00eetre:<\/h4>\n
$ munge -n | unmunge\n$ munge -n | ssh <somehost_in_cluster> unmunge<\/code><\/pre>\ninstallation et configuration de Mariadb<\/h3>\n
Installer mariadb avec la commande:<\/h4>\n
$ yum install mariadb-server -y<\/code><\/pre>\nActiver et d\u00e9marrer le service mariadb:<\/h4>\n
$ systemctl start mariadb\nsystemctl enable mariadb<\/code><\/pre>\ns\u00e9curiser l'installation:<\/h4>\n
Mettre en place un mot de passe root pour mariadb:<\/p>\n
$ mysql_secure_installation<\/code><\/pre>\nModifier la configuration innodb :<\/h4>\n
Mettre des valeurs plus importantes pour innodb_lock_wait_timeout,innodb_log_file_size:<\/p>\n
Cr\u00e9er le fichier
\/etc\/my.cnf.d\/innodb.cnf<\/code> avec les lignes suivantes:<\/p>\n[mysqld]\n innodb_buffer_pool_size=1024M\n innodb_log_file_size=64M\n innodb_lock_wait_timeout=900<\/code><\/pre>\nPour mettre en place ces changements, il faut red\u00e9marrer et supprimer les fichiers de logs:<\/p>\n
$ systemctl stop mariadb\n mv \/var\/lib\/mysql\/ib_logfile? \/tmp\/\n systemctl start mariadb<\/code><\/pre>\n
\n<\/a><\/p>\n
Installation de Slurm:<\/h2>\n
Installer les pr\u00e9-requis:<\/h3>\n
$ yum install openssl openssl-devel pam-devel rpmbuild numactl numactl-devel hwloc hwloc-devel lua lua-devel readline-devel rrdtool-devel ncurses-devel man2html libibmad libibumad -y<\/code><\/pre>\nR\u00e9cup\u00e9rer le tarball<\/h3>\n
$ wget https:\/\/download.schedmd.com\/slurm\/slurm-19.05.0.tar.bz2<\/code><\/pre>\nCr\u00e9er les RPMs:<\/h3>\n
$ rpmbuild -ta slurm-19.05.0.tar.bz2<\/code><\/pre>\nLes RPMs sont situ\u00e9s dans \/root\/rpmbuild\/RPMS\/x86_64\/<\/p>\n
Installer slurm sur la machine ma\u00eetre et les noeuds<\/h3>\n
Dans le r\u00e9pertoire des RPMs, lancer la commande: <\/p>\n
$ yum --nogpgcheck localinstall slurm-*<\/code><\/pre>\nCr\u00e9er et configurer la base de donn\u00e9es slurm_acct_db:<\/h3>\n
$ mysql -u root -p\n mysql> grant all on slurm_acct_db.* TO 'slurm'@'localhost' identified by 'some_pass' with grant option;\n mysql> create database slurm_acct_db;<\/code><\/pre>\nConfigurer la slurm db backend:<\/h3>\n
Modifier
\/etc\/slurm\/slurmdbd.conf<\/code> avec les param\u00e8tres suivants:<\/p>\nAuthType=auth\/munge\n DbdAddr=192.168.1.250\n DbdHost=master0\n SlurmUser=slurm\n DebugLevel=4\n LogFile=\/var\/log\/slurm\/slurmdbd.log\n PidFile=\/var\/run\/slurmdbd.pid\n StorageType=accounting_storage\/mysql\n StorageHost=master0\n StoragePass=some_pass\n StorageUser=slurm\n StorageLoc=slurm_acct_db<\/code><\/pre>\nEnsuite activer et lancer le service slurmdbd <\/p>\n
$ systemctl start slurmdbd\n$ systemctl enable slurmdbd\n$ systemctl status slurmdbd<\/code><\/pre>\nCela permettra de cr\u00e9er les tables de la base slurm_acct_db.<\/p>\n
Configuration du fichier \/etc\/slurm\/slurm.conf:<\/h3>\n
Lancer la commande
lscpu<\/code> sur chacun des noeuds pour avoir des informations sur les processeurs.<\/p>\nAller sur http:\/\/slurm.schedmd.com\/configurator.easy.html<\/a> pour cr\u00e9er un fichier de configuration pour Slurm.<\/p>\n
Modifier les param\u00e8tres suivants dans
\/etc\/slurm\/slurm.conf<\/code> en fonction des caract\u00e9ristiques de votre cluster:<\/p>\nClusterName=IRD\n ControlMachine=master0\n ControlAddr=192.168.1.250\n SlurmUser=slurm\n AuthType=auth\/munge\n StateSaveLocation=\/var\/spool\/slurmd\n SlurmdSpoolDir=\/var\/spool\/slurmd\n SlurmctldLogFile=\/var\/log\/slurm\/slurmctld.log\n SlurmdDebug=3\n SlurmdLogFile=\/var\/log\/slurm\/slurmd.log\n AccountingStorageHost=master0\n AccountingStoragePass=3devslu!!\n AccountingStorageUser=slurm\n NodeName=node21 CPUs=16 Sockets=4 RealMemory=32004 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN\n PartitionName=r900 Nodes=node21 Default=YES MaxTime=INFINITE State=UP<\/code><\/pre>\nIl faut maintenant envoyer les fichiers slurm.conf et slurmdbd.conf sur tous les noeuds de calcul.<\/p>\n
$ cp \/etc\/slurm\/slurm.conf \/home\n$ cp \/etc\/slurm\/slurmdbd.conf \/home\n$ cexec cp \/home\/slurm.conf \/etc\/slurm\n$ cexec cp \/home\/slurmdbd.conf \/etc\/slurm<\/code><\/pre>\nCr\u00e9er les r\u00e9pertoires pour accueillir les logs<\/h3>\n
Sur la machine ma\u00eetre:<\/h4>\n
$ mkdir \/var\/spool\/slurmctld\n$ chown slurm:slurm \/var\/spool\/slurmctld\n$ chmod 755 \/var\/spool\/slurmctld\n$ mkdir \/var\/log\/slurm\n$ touch \/var\/log\/slurm\/slurmctld.log\n$ touch \/var\/log\/slurm\/slurm_jobacct.log \/var\/log\/slurm\/slurm_jobcomp.log\n$ chown -R slurm:slurm \/var\/log\/slurm\/<\/code><\/pre>\nSur les noeuds de calcul:<\/h4>\n
$ mkdir \/var\/spool\/slurmd\n$ chown slurm: \/var\/spool\/slurmd\n$ chmod 755 \/var\/spool\/slurmd\n$ mkdir \/var\/log\/slurm\/\n$ touch \/var\/log\/slurm\/slurmd.log\n$ chown -R slurm:slurm \/var\/log\/slurm\/slurmd.log<\/code><\/pre>\ntester la configuration:<\/h4>\n
$ slurmd -C<\/code><\/pre>\nOn doit obtenir quellque chose comme:<\/p>\n
NodeName=master0 CPUs=16 Boards=1 SocketsPerBoard=2 CoresPerSocket=4 ThreadsPerCore=2 RealMemory=23938 UpTime=22-10:03:46<\/code><\/pre>\nLancer le service slurmd sur les noeuds de calcul:<\/h4>\n
$ systemctl enable slurmd.service\n$ systemctl start slurmd.service\n$ systemctl status slurmd.service<\/code><\/pre>\nLancer le service slurmctld sur la machine ma\u00eetre:<\/h4>\n
$ systemctl enable slurmctld.service\n$ systemctl start slurmctld.service\n$ systemctl status slurmctld.service<\/code><\/pre>\nChanger l'\u00e9tat d'un noeud de down \u00e0 idle<\/h4>\n
$ scontrol update NodeName=nodeX State=RESUME<\/code><\/pre>\nO\u00f9 nodeX est le nom du noeud.<\/p>\n
Modification du fichier de configuration \/etc\/slurm\/slurm.conf:<\/h4>\n
Lorsque l'on modifie le fichier
\/et\/slurm\/slurm.conf<\/code> il faut propager ce fichier sur tous les noeuds puis taper la commande suivante sur la machine ma\u00eetre:<\/p>\n$ scontrol reconfig<\/code><\/pre>\n
\n<\/a><\/p>\n
Configurer les limites d'utilisation<\/h2>\n
Modifier le fichier \/etc\/slurm\/slurm.conf<\/h3>\n
Modifier le param\u00e8tre
AccountingStorageEnforce<\/code> avec:<\/p>\nAccountingStorageEnforce=limits<\/code><\/pre>\nCopier le fichier modifi\u00e9 sur les noeuds<\/p>\n
Red\u00e9marrer le service slurmctld pour mettre en place ces modifications:<\/p>\n
$ systemctl restart slurmctld<\/code><\/pre>\nCr\u00e9er un cluster:<\/h3>\n
Le cluster est le nom que l'on veut donner au cluster slurm.<\/p>\n
Dans le fichier
\/etc\/slurm\/slurm.conf<\/code>, changer la ligne suivante:<\/p>\nClusterName=ird<\/code><\/pre>\nPour mettre en place des limites d'utilisation, il faut cr\u00e9er un
accounting cluster<\/code> avec la commande:<\/p>\n$sacctmgr add cluster ird<\/code><\/pre>\nCr\u00e9er un accounting account<\/h3>\n
Un
accounting account<\/code> est un group cr\u00e9er sous Slurm qui permet \u00e0 l'administrateur de g\u00e9rer les droits des utilisateurs pour utiliser Slurm.<\/p>\nExemple: cr\u00e9ation d'un groupe pour regrouper les membre de l'\u00e9quipe bioinfo: <\/p>\n
$ sacctmgr add account bioinfo Description="bioinfo member"<\/code><\/pre>\nCr\u00e9ation d'un groupe pour permettre aux utilisateurs d'utiliser la parttion gpu <\/p>\n
$ sacctmgr add account gpu_group Description="Members can use the gpu partition"<\/code><\/pre>\nCr\u00e9er un user account<\/h3>\n
En positionnant la valeur limts dans le fichier
\/etc\/slurm\/slurm.conf<\/code>, on doit cr\u00e9er des utilisateurs slurm pour que ceux-ci puissent lancer des jobs.<\/p>\n$ sacctmgr create user name=xxx DefaultAccount=yyy<\/code><\/pre>\nModifier un user account pour le rajouter \u00e0 un nouveau accounting account:<\/h3>\n
$ sacctmgr add user xxx Account=zzzz<\/code><\/pre>\nModifier la description d'un noeuds de calcul<\/h3>\n
Ajouter le montant de la partition \/scratch<\/h4>\n
Dans le fichier
\/etc\/slurm\/slurm.conf<\/code><\/p>\nModifier la variable TmpFS avec la valeur de scratch<\/h5>\n
$TmpFS=\/scratch<\/code><\/pre>\nAjouter la valeur TmpDisk pour \/scratch<\/h5>\n
Le
TmpDisk<\/code> est la taille de la partition \/scratch en Mo, \u00e0 rajouter dans la ligne commen\u00e7ant par NodeName <\/p>\nPar exemple, pour un noeud avec 3To de disque:<\/p>\n
$ NodeName=node21 CPUs=16 Sockets=4 RealMemory=32004 TmpDisk=3000 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN<\/code><\/pre>\nModifier une d\u00e9finition de partition<\/h3>\n
Une partition est une file d'attente comportant plusieurs noeuds et de nombreuses caract\u00e9ristiques en terme de limites de temps, de m\u00e9moire disponible etc...<\/p>\n
Une partition permet de prioriser les jobs entre utilisateurs.<\/p>\n
Modifier la ligne commen\u00e7ant par
PartitionName<\/code> dans le fichier\/etc\/slurm\/slurm.conf<\/code> .<\/p>\nPlusieurs options sont disponibles selon ce qu'on veut faire<\/p>\n
Ajouter une limitation de temps pour les running jobs (MaxTime)<\/h4>\n
Une limitation de temps sur les partitions permet \u00e0 Slurm de g\u00e9rer les priorit\u00e9s entre les jobs sur le m\u00eame noeud.<\/p>\n
On peut l'ajouter \u00e0 la ligne commen\u00e7ant par
PartitionName<\/code> avec le montant en minutes<\/p>\nPar exemple pour une partition avec 1 jour maximum, la d\u00e9finition de la partition sera:<\/p>\n
PartitionName=short Nodes=node21,node[12-15] MaxTime=1440 State=UP<\/code><\/pre>\nAjouter une m\u00e9moire maximum par CPU (MaxMemPerCPU)<\/h4>\n
Comme la m\u00e9moire est une ressource consommable, MaxMemPerCPU sert non seulement \u00e0 prot\u00e9ger la m\u00e9moire du noeud mais augmentera automatiquement le nombre de coeurs maximum quand c'est possible.<\/p>\n
On doit l'ajouter sur la ligne
PartitionName<\/code> avec le montant de la m\u00e9moire en Mo. <\/p>\nMaxMemPerCPU est normalement fix\u00e9 avec le rapport MaxMem\/NumCores<\/p>\n
Par exemple 2Go\/CPU, la d\u00e9finition de la partition sera<\/p>\n
PartitionName=normal Nodes=node21,node[12-15] MaxMemPerCPU=2000 MaxTime=4320 State=UP<\/code><\/pre>\n
\nLiens<\/h3>\n
- Authentification et bases de donn\u00e9es<\/a><\/li>\n
![](\"http:\/\/creativecommons.org.nz\/wp-content\/uploads\/2012\/05\/by-nc-sa1.png\"\/)