Différences

Ci-dessous, les différences entre deux révisions de la page.

--- recherche:cluster [10/05/2021 17:51] – modif job array aurelien.villani
+++ recherche:cluster [17/07/2024 13:54] (Version actuelle) – modification des liens maurice
@@ Ligne 5: / Ligne 5: @@
   * La doc que vous recevez à la création de compte est [[http://sms-nas.emse.fr/isn_lgf/index.php/serveurs-de-calcul/centaure | sur la baie ]]
-  * Le pole [[https://services-numeriques.emse.fr/pole-csn/| Calcul et Simulation Numérique]] dispose d'une page [[https://services-numeriques.emse.fr/pole-csn/cluster-centaure/ | cluster]] avec une rubrique [[https://services-numeriques.emse.fr/pole-csn/formation/| formation]]. Consultez là ! :)
+  * Le pole [[https://services-numeriques.emse.fr/calcul-intensif-hpc/| Calcul Intensif]] dispose d'une page [[https://services-numeriques.emse.fr/calcul-intensif-hpc/cluster-calcul/ | cluster]] avec un [[https://services-numeriques.emse.fr/calcul-intensif-hpc/outils/| guide pratique]]. Consultez le ! :)
   * Vous pouvez joindre les admins à [[centaure-admins@listes.emse.fr]]
   * **La liste des logiciels** disponible est sur [[recherche:Cluster:softwares]], ainsi que comment compiler certaines choses sur votre home.
+===== Lancement massif de jobs: slurm array =====
+Il peut arriver que vous vouliez lancer massivement des jobs. Comment économiser les licences, ou simplement respecter les autres utilisateurs ?
+Avec les slurm arrays, vous définissez une pile et un nombre maximum de jobs concurrents, qui piochent dans cette pile.
+Dans le fichier job, ajoutez avec les commandes spéciales slurm du début la ligne suivante:
+<Code:bash>
+#SBATCH --array 1-500%10
+</Code>
+Ainsi, vous définissez avoir 500 jobs à lancer, mais n'en autorisez que 10 en simultané. Vous disposez alors d'une variable "$SLURM_ARRAY_TASK_ID" que vous pouvez utiliser de la sorte (par exemple, avec python):
+<Code:bash>
+module purge
+module load anaconda/python3
+cd $SCRATCH
+srun python array_job.py $SLURM_ARRAY_TASK_ID
+</Code>
+Et le python correspondant:
+<Code:python>
+import sys
+import time
+print('Job num {:d}. Dodo 10s...'.format(int(sys.argv[1])))
+time.sleep(10)
+print("voila")
+</Code>
+Les fichiers exemples sont {{ :recherche:cluster:slurm_array.tar.gz | ici}}
 ===== Tips =====