Informace Fórum Stav sítě ČVUT IDS Hledání Přihlášení Mapa stránek

Load Leveler

LoadLeveler (LL) je systém pro spouštění dávkových sekvenčních i paralelních úloh. Umožňuje efektivnější využití celého systému IBM SP a IBM SP2. Poskytuje prostředky pro vytváření a zadávání (spoustění) úloh. Neinteraktivní uzly jsou přístupné pouze pomocí Load Leveleru.

Konfigurace

Současná konfigurace LL je následující. Jsou definovány tyto fronty:


Jméno        CPU      Popis

             limit



inter_SPS     2 dny   Interactive parallel jobs on new SP 

inter_HPS    20 min   Interactive parallel jobs on original SP2

                       (with HP Switch), highest priority

parallel_SPS  2 dny   Parallel jobs on new SP (with SP Switch),

                       high priority

parallel_HPS  2 dny   Parallel jobs on original SP2 (with HPS),

                       high priority

small         2 hod   Small serial jobs on both interactive and 

                       batch nodes, high priority

medium        2 dny   2 days jobs, medium priority

large        30 dni   30 days jobs, low priority

allnode       5 hod   Short time jobs on all nodes, short time,

                       low priority

Úlohy v kratších frontách (tj. s menším cpu_limit) mají větší prioritu, což má vliv na rozhodování LoadLeveleru, kterou z úloh čekajících ve frontě vybrat ke spuštění. Např. budou-li zhruba ve stejnou dobu zadány ke zpracování úloha do fronty large a úloha do fronty medium a všechny uzly budou v době zadání obsazeny, bude po uvolnění uzlu dříve spuštěna úloha z fronty medium. Proto doporučujeme vždy zvážit, do jaké fronty úlohu zařadit.

Rozmístění front na uzlech zachycuje přehledně následující tabulka. Na každém starem uzlu muze současně běžet maximálně 1 úloha.


       inter inter parallel parallel small medium large allnode

       _SPS  _HPS  _SPS     _HPS



spe01          x              x        x                   x

spe02          x              x        x                   x

spe03          x                                           x

spe05          x                       x                   x

spe06                         x        x      x     x      x

spe11                         x        x      x     x      x

spe12                         x        x      x     x      x

spe13                         x        x      x     x      x

spe14                         x        x      x     x      x

spe16                         x        x      x     x      x

spe17                         x        x      x     x      x

spe18                         x        x      x     x      x

spe19                         x        x      x     x      x 

spe20                         x        x      x     x      x

spe21                         x        x      x     x      x 

spe22                         x        x      x     x      x

spe23                         x        x      x     x      x

spe24                         x        x      x     x      x



spe101                x                x                   x

spe103                x                x                   x

spe105   x            x                x                   x

spe106                x                x                   x

spe107                x                x      x     x      x

spe108                x                x      x     x      x

spe109                x                x      x     x      x

spe110                x                x      x     x      x

spe111                x                x      x     x      x

spe112                x                x      x     x      x

spe113                x                x      x     x      x

spe114                x                x      x     x      x

spe115                x                x      x     x      x

spe116                x                x      x     x      x

V současné době je v platnosti omezení, že jednomu uživateli může běžet zároveň nejvýše 6 úloh, přičemž do front může zadat až 40 úloh.

Vytvoření úlohy

Pro spuštění úlohy pomocí LL je třeba nejprve vytvořit tzv. Job Command File (JCF), popisující jméno spustitelného programu a jeho argumenty, požadovanou frontu, jména vstupního a výstupního souboru, pro paralelní úlohy požadovaný počet procesorů,

Uvádíme dále jednoduchý příklad JCF souboru pro sekvenční, paralelní (PE) a PVM úlohu.

Poznámka: Využívá-li paralelní úloha více procesorů v rámci jednoho uzlu, pak se v JCF neuvádi min. a max. počet procesorů, ale objeví se tam příkazy:


      #@ job_type = parallel

      #@ node = 1,1

      #@ tasks_per_node = n

      

, kde n může být zatím jen 2 (u uzlů spe107 až spe114) a 2,3 nebo 4 u ostatních uzlů IBM SP (netýká se to uzlů IBM SP2).

Pro sekvenční i paralelní úlohy může být někdy užitečný požadavek, aby úloha běžela na konkrétní(m) uzl(u)ech. Pak do JCF souboru je třeba doplnit např.


       #@ requirements = ( Machine == "spe12" )

       nebo

       #@ requirements = ( Machine == {"spe21" "spe22" "spe23"} )

       tři uzly pro paralelní úlohu nebo 	

       #@ requirements = ( Machine == "spe107" || Machine ==

       "spe108" || Machine == "spe109" )   

       což je požzdavek, aby úliha byla spuštěna na jednom ze

       zadaných uzlů.

       

Další příklady možno nalézt na WWW stránkách o našich školeních a v adresáři /u/loadl/samples, jde o soubory s příponou cmd.

Zadání úlohy

Úloha se zadá ke zpracování příkazem llsubmit job.cmd, kde job.cmd je jméno souboru, jehož vytvoření bylo popsáno v předchozím odstavci. Po zadání úlohy dostane uživatel zpět její číslo, kterým je úloha jednoznačně určena a pomocí kterého je možno se na úlohu odkazovat.

Další užtečné příkazy LoadLeveleru jsou llq, llstatus, llcancel, llhold, llclass, llprio, ... Ke každému příkazu existuje manuálová stránka (man llq).

Další informace

Další informace o celém systému, o vytváření popisu úloh (tj. o vytváření *.cmd souboru) je možno získat:

Vytvoření i zadáni úlohy je možné provádět též v grafickém prostředí X-windows (xloadl).

Spouštění úloh