Différences

Ci-dessous, les différences entre deux révisions de la page.

--- recherche:cluster:softwares [08/06/2022 16:06] – aurelien.villani
+++ recherche:cluster:softwares [05/04/2023 16:42] (Version actuelle) – julien.favre
@@ Ligne 16: / Ligne 16: @@
   * on peut personnaliser l'installation sur son home pour un coût d'espace disque modique.
-Par défaut, deux modules sont dispos: anaconda/python2 et anaconda/python3 , qui seront toujours les dernières versions, régulièrement mises à jour, de python 2 et 3.
+Un module va etre dispobile disponible:
-Dans les deux cas, il suffit d'appeler `python` dans le fichier job, une fois le module chargé, et la bonne version sera lancée.
+`anaconda2022/python`
+qui remplacera les `anaconda3/XXX`
+Au chargement, le module indique qu'il faudra ajouter une fonction dans votre shellrc.
+Pour bash, dans `~/.bashrc` :
+<Code:bash>
+XXX
+</Code>
+Pour zsh, dans `~/.zshrc`:
+<Code:bash>
+XXX
+</Code>
+Ensuite, vous pouvez afficher les environnement disponibles avec `conda env list`, et activer celui qui vous intéresse avec `conda activate celui_que_je_veux`
+==== Env perso ====
 Il se peut que vous ayez besoin d'une version spécifique, ou d'un paquet qui n'est pas installé sur le cluster.
-Pour un python spécifique, par exemple python 2.4, vous pouvez installer un //environnement// qui sera dans votre home, et lié à l'installation système:
+Vous pouvez installer un //environnement// qui sera dans votre home, et lié à l'installation système:
 <Code:bash>
-module load anaconda/python2
+module load anaconda/python
-conda create --name monpythonamoi python=2.4
+conda create --name monpythonamoi python=3.6 numpy tensorflow ETC
 </Code>
-Vous aurez alors une installation minimale **sans les modules python du système**. Pour activer cet environnement:
+Pour activer cet environnement:
 <Code:bash>
@@ Ligne 90: / Ligne 106: @@
       * rapatriez vos données du scratch avec un scp
+====== MTEX ======
+==== Utiliser MTEX sur le cluster ====
+Référent: `[[julien.favre@emse.fr]]`
+Mtex est un package utilisable avec Matlab pour traiter les cartes EBSD. La documentation est disponible sur : https://mtex-toolbox.github.io/
+Le traitement pouvant être lourd, cela devient intéressant d'utiliser le cluster pour ça. Par contre vous devez installer Mtex sur votre home, et ça demande quelques manips.
+Plusieurs étapes pour l'installation:
+) Télécharger et décompresser Mtex
+Télecharger avec la commande (pensez à télécharger la dernière version bien sur, le lien peut changer):
+<Code:bash>
+wget https://github.com/mtex-toolbox/mtex/releases/download/mtex-5.9.0/mtex-5.9.0.zip
+</Code>
+Puis décompresser l'archive avec
+<Code:bash>
+unzip mtex-5.9.0.zip
+</Code>
+Ces deux commandes vont créer un dossier mtex-5.9.0 sur votre home (bien sur le nom des dossiers et des archives va varier avec la version que vous aurez téléchargé).
+) Dans votre dossier home, vous allez devoir installer et compiler en local une librairie. Suivez le guide...
+Importer le module GCC9 avec la commande module load gcc/9.3.0
+Importer matlab aussi, sinon ça va planter: module load matlab/R2020b
+Télécharger la librairie NFFT avec (pensez à télécharger la dernière version bien sur, le lien peut changer):
+<Code:bash>
+wget https://www-user.tu-chemnitz.de/~potts/nfft/download/nfft-3.5.3.tar.gz
+</Code>
+Puis décompresser l'archive avec:
+<Code:bash>
+tar -xf nfft-3.5.3.tar.gz
+</Code>
+On navigue dans le dossier décompressé:
+<Code:bash>
+cd nfft-3.5.3/
+</Code>
+Puis exécuter les commandes suivantes pour faire la compilation. Faites attention au chemin d'installation de Matlab qui peut différer selon la version installée:
+<Code:bash>
+./bootstrap.sh
+./configure --with-matlab=/export/apps/MATLAB/R2020b --enable-nfsoft --enable-nfsft --enable-openmp --enable-portable-binary
+make
+</Code>
+Normalement la compilation doit se dérouler sans problème. Sinon, c'est dommage pour vous.
+Maintenant copiez certains fichiers obtenus de la compilation vers le répertoire de mtex que vous avez décompressé:
+<Code:bash>
+cp ~/nfft-3.5.3/matlab/nfsoft/nfsoftmex.mex* ~/mtex-5.9.0/extern/nfft_openMP
+cp ~/nfft-3.5.3/matlab/nfsft/nfsftmex.mex* ~/mtex-5.9.0/extern/nfft_openMP
+cp ~/nfft-3.5.3/matlab/nfft/nfftmex.mex* ~/mtex-5.9.0/extern/nfft_openMP
+</Code>
+) Installation à proprement dit de Mtex.
+Naviguez dans le répertoire d'installation de Mtex avec la commande cd ~/mtex-5.9.0/
+Vérifiez bien que vous avez importé GCC9 et Matlab avec "module load gcc/9.3.0" et "module load matlab/R2020b"
+Lancer la commande "matlab -nodisplay -nojvm -nodesktop -nosplash -r install_mtex" (c'est mieux de lancer ça d'un noeud de calcul ou bien du noeud compute-build)
+Normalement Mtex va s'installer...
+) Vous pensez avoir fini... ben non... En fait quand on lance Matlab, Mtex ne se lance pas spontanément. Donc pour lancer un job avec Mtex il faut quelques astuces.
+Déja, commencez par générer un fichier job pour votre calcul avec :
+<Code:bash>
+module load tools/cluster-bin
+cluster-create-slurm-script-01.sh -matlab
+</Code>
+Pensez bien à modifier la version importée de matlab en mettant la commande module load matlab/R2020b
+Pour lancer un job matlab il faut bien utiliser la commande "matlab -nodisplay -nojvm -nodesktop -nosplash -r run_mtex" avec "run_mtex" le nom de votre fichier de script (sans marquer l'extension ".m"), vérifiez que c'est bien cette commande que vous avez dans le fichier job. Gardez le nom de script "run_mtex", car on va l'utiliser juste après...
+Une fois que vous avez fait ça, dans votre script il faut d'abord lancer Mtex, puis après seulement lancer votre script de post-traitement. Je vous propose donc de faire un script matlab de lancement; faites un fichier "run_mtex.m" contenant :
+<Code:bash>
+cd ~/mtex-5.9.0
+startup_mtex
+cd ~/mtex
+monscriptmtexici
+</Code>
+avec "monscriptmtexici" à remplacer par votre nom de fichier de script Mtex (sans marquer l'extension ".m"). On suppose aussi ici que votre répertoire de travail est /export/home/tartempion/mtex. Donc pensez bien à ajuster ce nom de répertoire dans le script de lancement.
+Pour résumer, quand vous lancez un traitement depuis un dossier de travail, mettez le fichier job dedans, celui-ci va lancer run_mtex.m, qui démarre Mtex et lance votre script. A priori ça devrait marcher. Sinon, n'hésitez pas à compléter ce tuto...