Trillium/fr
| Clé | Valeur |
|---|---|
| Disponibilité | 7 août 2025 |
| Nœuds de connexion | * sous-grappe de CPU, trillium.alliancecan.ca sous-grappe de GPU, trillium-gpu.alliancecan.ca* |
| Collections Globus | * alliancecan#trillium (système de fichiers) alliancecan#hpss* (archive/nearline) |
| Nœuds de copie (rsync, scp, sftp,...) | tri-dm{1,2,3,4}.scinet.utoronto.ca |
| Nœuds d'automatisation | * sous-grappe de CPU, robot{1,2,3,4}.scinet.utoronto.ca sous-grappe de GPU, trig-robot1.scinet.utoronto.ca* |
| Open OnDemand | ondemand.scinet.utoronto.ca (inclut JupyterLab) |
| Portail | my.scinet.utoronto.ca |
La grappe Trillium est conçue pour prendre en charge des tâches massivement parallèles. Construite par Lenovo Canada, elle est hébergée par SciNet à l'Université de Toronto.
L'utilisation de Trillium est semblable à celle des autres grappes nationales avec cependant certaines particularités. Pour les détails, voir Trillium : Guide de démarrage.
Si vous aviez accès à Niagara, nous vous encourageons fortement à prendre connaissance de la page Transition de Niagara vers Trillium.
Stockage¶
Stockage parallèle : 29 pétaoctets, SSD NVMe de VAST Data.
Réseau haute performance¶
- Réseautique Infiniband Nvidia NDR
- 400 Gbit/s pour les nœuds CPU
- 800 Gbit/s pour les nœuds GPU
- réseau entièrement non bloquant; les nœuds peuvent communiquer entre eux simultanément sur toute la bande passante
Caractéristiques des nœuds¶
| Nœud de connexion | Nœuds | Cœurs | Mémoire disponible | CPU | GPU |
|---|---|---|---|---|---|
| trillium.alliancecan.ca | 1224 | 192 | 749G ou 767000M | 2 x AMD EPYC 9655 (Zen 5) @ 2.6 GHz, cache L3 de 384Mo | |
| trillium-gpu.alliancecan.ca | 63 | 96 | 749G ou 767000M | 1 x AMD EPYC 9654 (Zen 4) @ 2.4 GHz, cache L3 de 384Mo | 4 x NVidia H100 SXM (80Go de mémoire), connexion via NVLink |
Données techniques¶
Refroidissement et efficacité énergétique¶
Le refroidissement se fait par une eau de 35 à 40 °C, ce qui a les effets suivants :
- indicateur d'efficacité énergétique (PUE) sous 1.03;
- refroidisseurs à sec en circuit fermé, sans tours d'évaporation et consommation de nouvelle eau;
- excédent de chaleur réutilisé pour le chauffage d'installations voisines afin de minimiser l'empreinte écologique.
Système de stockage¶
Le système de fichiers VAST haute performance est composé d'un ensemble de stockage unifié de 29Po soutenu par NVMe avec les caractéristiques suivantes :
- capacité effective de 29Po (dédupliquée via VAST);
- capacité de mémoire flash brute de 16.7PB;
- bande passante de 714Go/s en lecture et de 275Go/s en écriture;
- 10 millions d'IOPS en lecture et 2 millions d'IOPS en écriture;
- protocoles d'accès POSIX et S3 avec un espace de noms unifié;
- 48 CBoxes et 14 DBoxes pour les services de données.
Sauvegarde et archivage¶
L'archivage sur ruban /nearline HPSS dispose de 114Po additionnels.
- Archivage en deux copies dans des bibliothèques géographiquement distinctes;
- utilisé à des fins de sauvegarde et d'archivage;
- sauvegardes gérées par le logiciel Atempo.
Particularités¶
Il ne faut pas présumer que Trillium fonctionne comme les autres grappes. Bien que la conformité soit élevée, il y a certaines différences en matière de conception et de politiques parce que Trillium a été conçue pour le calcul à grande échelle.
La description donnée ici n'est pas complète; pour les détails, voir Trillium : Guide de démarrage.
Se connecter¶
- Il n'est pas possible de se connecter avec un mot de passe; vous devez utiliser des clés SSH et l'authentification multifacteur.
- Les sous-grappes de CPU et de GPU n'ont pas les mêmes nœuds de connexion ni les mêmes nœuds d'automatisation.
Accès à l'internet¶
- Il n'est pas possible de se connecter à l'internet à partir d'un nœud de calcul.
- Cependant, les applications interactives OnDemand ont accès à l'internet.
Espace /home¶
- Votre répertoire
$HOMEpeut contenir jusqu'à 100Go ou 1 million de fichiers. - Les tâches de calcul ne peuvent pas écrire dans
$HOME. - Cependant, les applications interactives OnDemand peuvent écrire dans
$HOME.
Espace /project¶
- Les liens vers vos espaces
/projectse trouvent dans le répertoire$HOME/links. - Par défaut, votre compte fournit un espace
/projectde 1To pour votre groupe. - Il n'est pas possible d'obtenir plus d'espace
/projectvia le service d'accès rapide.
les tâches de calcul ne peuvent pas écrire dans $PROJECT
Espace /scratch¶
- Le quota est de 25To pour chaque utilisateur; cependant, vous devriez supprimer les données non utilisées.
- Aucune procédure de purge n'est établie; cependant, une politique de purge pourrait éventuellement être adoptée.
Espace /nearline¶
- Sur Trillium, le stockage
/nearlinen'est pas monté sur les nœuds; pour y accéder, il faut soumettre une tâche sur la partition Slurm HPSS ou encore via Globus.
Espace disque local¶
- Les nœuds de Trillium n'offrent pas de stockage local.
- Dans certains cas vous pouvez utiliser le disque RAM; pour ce faire, la variable d'environnement
$SLURM_TMPDIRpointe sur un répertoire du disque RAM.
Accès via Open OnDemand (OOD)¶
- En remplacement de JupyterHub, Trillium est configurée avec Open OnDemand qui prend en charge plusieurs applications utilisées dans votre navigateur, par exemple JupyterLab, VS Code, RStudio, MATLAB, ParaView et le débogueur DDT. Open OnDemand fournit aussi un terminal et peut être être utilisé pour soumettre des tâches à l’ordonnanceur.
Ordonnancement¶
- Les ressources de la sous-grappe de CPU sont allouées par nœuds entiers de 192 cœurs.
- Les ressources de la sous-grappe de GPU sont allouées par nœuds entiers ou par GPU entiers; les GPU multi-instances (MIG) ne sont pas possibles.
Pour plus d'information sur l'ordonnancement, voir Trillium : Guide de démarrage.