CIP101 - Premiers pas sur les serveurs de calculs

Présenté par Moïra Dion le 18 février 2025

Nos membres et

partenaires

Partenaires connectivité

Partenaires financiers

2

Formations à venir

Consultez notre page

pour découvrir nos prochains ateliers.

calculquebec.eventbrite.ca

3

Zoom

• Si vous éprouvez des problèmes techniques, mentionnez-les dans la zone de Discussion. Un assistant vous aidera.

​

​

​

• Si vous avez une question en lien avec le contenu du cours, utilisez le Q. et R.

​

​

​

• Vous pouvez également lever la main et activer votre microphone afin de poser une question.

​

4

Objectifs

• Présentation de Calcul Québec
• Introduire le calcul informatique de pointe (CIP)
• Utiliser le stockage de manière appropriée
• Soumettre des tâches de calcul

​

​

5

Déroulement

• Alternance diapositives et exercices
• Pause de 15 min vers 10h15
• Posez des questions à tout moment
• Sondage post-formation

6

Parcours de l’usager type

Réaliser qu’on �a besoin de �Calcul Québec

Créer un compte

Accéder au compte

Transférer, installer, configurer

Exécuter �une tâche

Rencontrer �un problème

Récupérer �les résultats

7

Calcul informatique de pointe

• Tout calcul qui fait une utilisation intensive de ressources informatiques, ou qui est limité par les ressources disponibles

​

Exemples

• Problèmes complexes
• Assemblage de génomes
• Dynamique des fluides
• Simulations climatiques
• Données massives
• Apprentissage automatique
• Marchés financiers
• Traitement des images

​

​

​

8

Calcul informatique de pointe

Si votre ordinateur…

• Manque de stockage
• Fait des bruits de moteur d’avion
• Doit rester allumé pendant des heures pour terminer une analyse

​

…c’est peut-être le temps de passer à un serveur de calcul !

​

9

Comparaison

avec un ordinateur de bureau

10

Composantes d’un nœud

Images: Supermicro et Wikimedia

PCIe pour Infiniband et GPU

2 (ou 4) CPU

Un SSD (parfois NVMe)

Plein de barrettes de mémoire vive par CPU

11

Grappe de calcul

• Les nœuds de calcul sont physiquement installés dans des racks, un cabinet vertical contenant des dizaines de nœuds de calcul.

​

• Les racks de stockage spécialisés contiennent plusieurs centaines de disques durs, avec des données distribuées sur les disques pour optimiser la bande passante et la redondance.�
• Interconnexion haute vitesse entre tous les noeuds (Infiniband)

12

L’accès aux supercalculateurs canadiens est gratuit pour la communauté de recherche académique.

Supercalculateur

Serveur

Grappe de calcul

Superordinateur

14

Calcul Québec c’est

une équipe de 70 expertes et experts, réparties dans une dizaine d'universités québécoises

6300 utilisateurs et utilisatrices dans 1500 groupes de recherche

60 ateliers de formation annuels

550 utilisateurs et utilisatrices qui complètent annuellement un diplôme universitaire ou un stage postdoctoral

1600 publications scientifiques annuelles qui mentionnent avoir utilisé nos services

15

Nos services

Grappes de calcul

Infonuagique

Soutien personnalisé

Stockage

​

Notebooks

Formation

Documentation

Ordinateur quantique

16

17

Parcours de l’usager type

Réaliser qu’on �a besoin de �Calcul Québec

Créer un compte

Accéder au compte

Transférer, installer, configurer

Exécuter �une tâche

Rencontrer �un problème

Récupérer �les résultats

18

Demander l’accès

https://ccdb.alliancecan.ca/

19

Créer un compte - professeur

1. Créer un compte à l’Alliance�https://ccdb.alliancecan.ca/
2. Cocher un rôle de chercheur principal
3. Confirmation manuelle par un membre du personnel
4. Parrainer les étudiants

​

20

Créer un compte - étudiant

1. Trouver un parrain
2. Demander à son parrain de se créer un compte + fournir son CCRI�(ex.: abc-123-01)
3. Créer un compte à l’Alliance�https://ccdb.alliancecan.ca/
4. Cocher un rôle d'utilisateur parrainé
5. Le parrain et un employé de l’Alliance confirment l'inscription

21

Parcours de l’usager type

Réaliser qu’on �a besoin de �Calcul Québec

Créer un compte

Accéder au compte

Transférer, installer, configurer

Exécuter �une tâche

Rencontrer �un problème

Récupérer �les résultats

22

Quelle grappe choisir?

​

• Celle que votre groupe utilise déjà
• Plusieurs changements à venir au printemps !
• Celle qui est le plus près de chez vous
• Celle qui répond à vos besoins https://docs.alliancecan.ca
• Vous ne savez toujours pas: écrivez nous�support@tech.alliancecan.ca

Une note sur le wiki de l’Alliance

23

Se connecter à une grappe

​

ssh user@server.alliancecan.ca

https://docs.alliancecan.ca/wiki/SSH/fr

Le mot de passe n’apparaîtra pas à l’écran �(même pas des astérisques)

24

Authentification multifacteur

• Depuis avril 2024, l’authentification multifacteur est obligatoire pour tous les usagers de nos grappes.

​

• En plus de votre mot de passe, vous devez utiliser une deuxième méthode d’authentification, soit avec l’application Duo sur votre téléphone ou une clé YubiKey.

​

• Pour en apprendre davantage sur cette nouvelle politique, vous pouvez consulter notre wiki : https://docs.alliancecan.ca/wiki/Multifactor_authentication/fr

​

25

• Une fois connecté, l’environnement est un environnement standard Bash. Les commandes suivantes peuvent par exemple être utilisées:
• pwd (print working directory)
• ls (list directory)
• cd <dir> (change directory)
• mkdir <dir> (make directory)
• cp <file1> <file2> (copy file)
• rm <file> (remove a file)

​

​

26

Parcours de l’usager type

Réaliser qu’on �a besoin de �Calcul Québec

Créer un compte

Accéder au compte

Transférer, installer, configurer

Exécuter �une tâche

Rencontrer �un problème

Récupérer �les résultats

27

Transférer des données

• Pour des petits fichiers sur des petites distances, utiliser scp (secure copy): scp [source] [destination]
• Exemple depuis l’ordinateur vers une grappe: �scp file1.dat username@grappe:dir1/
• Outils graphiques disponibles comme: WinSCP ou FileZilla
• Globus, la meilleure option pour des fichiers volumineux (plusieurs GB) sur des courtes ou longues distances (Montreal à Vancouver, par exemple).

​

https://globus.computecanada.ca

https://docs.alliancecan.ca/wiki/Transferring_data/fr

28

Où stocker vos données ?

• Les grappes possèdent différents espaces de stockage dont chacun a ses avantages et désavantages:

Référence: https://docs.computecanada.ca/wiki/Storage_and_file_management

29

Vérifier l’utilisation de l’espace disque

• Vous pouvez vérifier l’espace disque disponible avec la commande diskusage_report

​

30

Accès à la grappe

Navigateur: cip101.calculquebec.cloud

​

​

31

Exercice 1

​

​

1. Utilisez scp pour copier le fichier document.txt depuis votre espace local [monordi] vers le home de la grappe de formation (@login1)
2. Connectez-vous à login1 et vérifiez que le fichier est présent
3. Où est situé le répertoire def-sponsor00 ?

32

Charger des logiciels

​

• La plupart des logiciels dont vous aurez besoin sont déjà installés sur la grappe. Ces logiciels sont disponibles sous la forme de modules.

​

• Les modules permettent d’avoir plusieurs versions d’un même logiciel qui cohabitent, et de gérer les dépendances et les conflits.

​

​

33

Commandes module

​

​

module spider <mot clé> # recherche

module avail <module> # disponible

module load <module> # charger un module

module unload <module> # décharger

module list # afficher les modules activés

module purge # Revenir à l’état d’origine

​

34

Page des logiciels disponibles

​

https://docs.alliancecan.ca/wiki/Available_software/fr

​

35

Exercice 2

​

• Quels modules sont chargés par défaut dans votre environnement sur la grappe de calcul ?

​

• Combien de versions différentes de Python sont disponibles sur la grappe et laquelle est la plus récente ?

36

Le cas des logiciels Python

• La plupart des modules Python ne sont pas installés en tant que modules. Ils sont plutôt fournis sous forme de paquets binaires (wheels).

​

37

Exercice 3

​

• Quelle commande permet de lister les wheels disponibles ?

Indice : vous devez aller lire la documentation :)

https://docs.alliancecan.ca/wiki/Technical_documentation/fr

38

Les environnements Python

39

Les environnements Python

• Les dépendances en Python peuvent être compliquées à gérer pour différentes applications

​

• Les environnements virtuels permettent de gérer ces dépendances par application, exemple:

module load python/3.8 #charge python

virtualenv env --no-download #crée l’env virtuel

source env/bin/activate #active l’env

pip install --no-index seaborn==0.13 #installe les paquets

deactivate #quitte l’env

​

Nous vous demandons de ne pas utiliser conda

​

• Réplication des environnements avec les commandes:�pip freeze > requirements.txt #liste librairies installées�pip install -r requirements.txt #duplication env.

40

Installer des logiciels

• Vous avez bien sûr le droit d'installer des logiciels dans votre répertoire personnel.

​

• Vous pouvez également faire une demande à support@tech.alliancecan.ca pour qu’un logiciel soit ajouté aux modules ou aux wheels.

​

​

41

Parcours de l’usager type

Réaliser qu’on �a besoin de �Calcul Québec

Créer un compte

Accéder au compte

Transférer, installer, configurer

Exécuter �une tâche

Rencontrer �un problème

Récupérer �les résultats

42

Architecture des grappes

Stockage

home

project

scratch

Internet

Noeud de connexion

​

Ethernet

Infiniband

Ordonnanceur

​

Job

Job

Noeuds de calcul

​

Les tâches ne doivent pas être exécutées sur les noeuds de connexion

43

L’ordonnanceur

Programme qui gère :

​

• L’heure de départ des tâches
• La priorité des tâches
• L’accès aux ressources

https://docs.alliancecan.ca/wiki/Running_jobs/fr

44

L’ordonnanceur

• Maximise l’utilisation des ressources de la grappe

​

• Contrôle automatiquement le lancement des tâches de calcul en fonction des ressources demandées, du temps et des priorités des usagers

​

• L’heure à laquelle chaque tâche sera exécutée est inconnue! Mais plus grand est la tâche, plus long sera le temps d’attente

Ressources

Temps

Priorité

Tâches

45

Limites de ressources

​

​

Toutes les grappes ont des limites de ressources

46

Script de soumission de tâches

47

Commandes utiles

48

Exercice 4

1) Allez dans: ~/cip101-exercices-main/python/01-version

​

2) Utilisez un éditeur de texte, par exemple nano, pour éditer le script:

nano script.sh

​

3) Demandez 1 cœur et 256 MB de mémoire pendant une minute

​

4) Charger la dernière version de Python et exécutez la commande:

python --version

​

5) Soumettez le script.

​

6) Où se trouve le résultat de la commande?

​

7) Le calcul a-t-il été efficace ?

49

Tâches en série et parallèles

Tâches en série: Ces tâches utilisent un seul cœur (CPU) sur un seul nœud. Ça ne sert à rien de demander plus de ressources de calcul parce que cela n’augmentera pas la vitesse: le logiciel ne peut que s’exécuter sur un seul cœur.

Tâches parallèles: �Utilisent plusieurs cœurs, potentiellement sur plusieurs nœuds. Il y en a deux types:

• Parallélisme des tâches
• Parallélisme des données

​

​

50

Parallélisme des données

• Le parallélisme de données est la même tâche, souvent séquentielle, répétée plusieurs fois sur plusieurs jeux de données, par exemple:
• Filtre sur chaque pixel d’une image
• Traitement indépendant de 100 échantillons de patients différents
• Compter les occurrences d’un mot dans des milliers de documents
• Mouvement d’atomes sans interaction dans un champ magnétique

​

Les données d’entrées et les résultats sont indépendants les uns des autres!

​

51

Parallélisme des données

Exemple : construire un quartier de 6 maisons identiques

• Chaque maison est indépendante
• Chaque maison est construite par une personne

​

52

Parallélisme des tâches

​

• Le parallélisme de tâche est une seul tâche traitant un seul jeu de donnée, mais roulant sur plusieurs coeurs (CPU) pour accélérer le traitement:
• Mouvement d’atomes avec interaction dans un champ magnétique
• Simulation avec éléments finis, volumes finis ou différences finies (mécanique des fluides, simulation climatique, …)

​

Nécessite de la communication et de la synchronisation entre les processus de calcul

​

​

53

Parallélisme des tâches

Exemple : construire un quartier de 6 maisons identiques

• Chaque maison est indépendante
• Chaque maison est construite par plusieurs personnes
• Les personnes sur le chantier doivent communiquer pour faire un bon travail

​

54

Bonus: usage interactif

• Il est possible d’utiliser interactivement les noeuds de calcul par une demande à l’ordonnanceur, c’est une tâche interactive
• Utile pour:
• Outil interactif en ligne de commande comme R ou IPython
• Débogage de code et compilation
• Exploration de données lourdes
• Accès par la commande salloc:�salloc --time=1:0:0 --cpus-per-tasks=2 --mem=4G --account=def-someuser

​

Les tâches batch (sbatch) sont les tâches qui utilisent le plus efficacement les ressources des grappes et doivent être privilégiées.

55

Parcours de l’usager type

Réaliser qu’on �a besoin de �Calcul Québec

Créer un compte

Accéder au compte

Transférer, installer, configurer

Exécuter �une tâche

Rencontrer �un problème

Récupérer �les résultats

56

Des problèmes d’exécution?

​

• Jetez un coup d’œil aux fichiers de sortie
• Allez voir un collègue avec plus d’expérience
• Trouvez une référence sur notre wiki
• Écrivez nous: support@tech.alliancecan.ca

57

Parcours de l’usager type

Réaliser qu’on �a besoin de �Calcul Québec

Créer un compte

Accéder au compte

Transférer, installer, configurer

Exécuter �une tâche

Rencontrer �un problème

Récupérer �les résultats

58

Transférer des données (rappel)

• Pour des petits fichiers sur des petites distances, utiliser scp (secure copy): scp [source] [destination]
• Exemple depuis la grappe vers l’ordinateur: �scp username@grappe:fichier1.dat .
• Outils graphique disponible comme: WinSCP ou FileZilla
• Globus, la meilleure option pour de larges fichiers (plusieurs GB) sur des courtes ou longues distances (Montreal à Vancouver, par exemple).

​

https://globus.computecanada.ca

59

Formations qui pourraient vous intéresser

Mercredi 5 mars 10h

Mercredi 26 mars 9h

Mercredi 12 mars 10h

Sondage de satisfaction

Nous vous remercions de prendre quelques minutes pour nous partager vos impressions au sujet de cette formation.

61

Restons en contact!

Pour recevoir l’information liée à nos services et activités, vous pouvez:

​

• Consulter notre site web

​

• Vous abonner à nos bulletins d’information

​

• Vous abonner à nos réseaux sociaux

62

Questions ?

Merci de votre participation !