[Hpc-forum] debreceni hpc

[Rőczei Gábor]

Szia Tamás,

> A queue-ban való várakozás olyan dolog miatt is megtörténhet, hogy bár lenne szabad slot, de az adott slot-ban csak 1G memória szabad. Ami esetleg az adott user adott job-ához elegendő lenne, de a qsub automatikusan 2G memóriát akar lefoglalni, ha az ember nem mondja meg, hogy kevesebbet... Az ilyenek megint olyan rejtett dolgok, amit sok munka és energia kideríteni, ami csökkenti a versenyképességet...

Ezzel kapcsolatban van egy jó hírem a számotokra.

Egy HPC tréninget tervezünk majd tartani itt az NIIF Intézet alagsorában (Budapest, 13. kerület). A weben majd on-line lehet nézni illetve a http://videotorium.hu-n is archiválva lesz. A jelen állás szerint november környékén lesz majd. Többek között arról is szó lesz, hogy az SGE rendszert hogyan lehet hatékonyan használni, illetve szeretnénk majd összefoglalni az eddig előfordult tipikus felhasználói problémákat és azok megoldásait.

Gábor

> Miklos Emri wrote:
>> Szia Gábor!
>> Köszi az információt: a serial/parallel sorokról ezt nem tudtuk (gondolom elkerülte a figyelmünket valamelyik doksiban).
>> A döntésetek, hogy a párhuzamos jobokat részesítitek előnyben érthető, ha a job-ok nagy része nem adatpárhuzamosságon alapul. Ha azonban a jobok jelentős része ilyen, akkor teljesen mindegy, hogy az sge vagy egy belső kód darabolja az adatokat.
>> Az esetemben  nem gond az átírás, mert saját programról van szó, de aki más szoftverét használja (pl. gate, fsl) az nem tudja ezt megoldani és marad a több napos várakozás.
>> Arra nem gondoltatok, hogy az erőforrásokat dinamikusan osszátok meg? P.l. 15 percenként a szabad gépeket ahhoz a sorhoz rendelitek ami a terheltebb?
>> Esetleg nincs megoldás (sge konfig) arra. hogy a hosszan futó job-okat egy időre leültetitek, hogy  a rövidebb futásidejű job-ok is kapjanak processzort (ezzel a nagy számolásigényű jobok futási ideje kisebb arányban nőne ugyan, de a rövid számolást igénylő job-ok megkapnák azt a számolsái kapocitást amit igényelnek).
>> Elnézést a  "kötekedésért", de lassan ott tartunk, hogy fejben hamarabb megoldom a problémát mint ahogy job-jaim futásra kerülnek.
>> Üdv
>> Miklós
>> On 09/10/2012 08:51 AM, Rőczei Gábor wrote:
>>> Szia Miklós,
>>> 
>>> A jobjaid serial jobok, melyek nem használják ki a több CPU-s környezetet. Ebből kifolyólag a serial.q-ban fognak "elindulni". Debrecenben jelenleg 432 ilyen jobot lehet elindítani összesen.
>>> 
>>> Így áll most a várakozó sor (a serial.q esetén nincs szabad hely):
>>> 
>>> roczei at service0:~> qstat -g c
>>> CLUSTER QUEUE                   CQLOAD   USED    RES  AVAIL  TOTAL aoACDS  cdsuE
>>> -------------------------------------------------------------------------------- 
>>> parallel.q                        0.47    492      0    599   1092     12      0
>>> serial.q                          0.98    432      0      0    432      0      0
>>> test.q                            0.09      0      0     12     12      0      0
>>> roczei at service0:~>
>>> 
>>> Előbb-utóbb el fog indulni. Várnod kell türelmesen.
>>> 
>>> Gábor
>>> 
>>> Ui.: Csak megjegyzésként jegyzem meg, hogy az ilyen serial jobokat nem szuperszámítógépen kellene futtatni, hanem grides környezetben. Magyarországon a Hungrid pont ezt a célt szolgálja. Bővebb információ: http://www.lcg.kfki.hu/ A szuperszámítógépeken mi elsősorban a párhuzamos jobokat preferáljuk és azok számára biztosítunk több CPU erőforrást.
>>> 
>>> On 2012.09.10., at 7:32, Miklos Emri wrote:
>>> 
>>>> Sziasztok!
>>>> 
>>>> Normálisnak tekinthető, hogy egy hpc-n (pl. a debreceni) egy job 14 óra után is wait állapotban van?
>>>> 
>>>> Üdv
>>>> Miklós
>>>> 
>>>> _______________________________________________
>>>> Hpc-forum mailing list
>>>> Hpc-forum at listserv.niif.hu
>>>> https://listserv.niif.hu/mailman/listinfo/hpc-forum
>> _______________________________________________
>> Hpc-forum mailing list
>> Hpc-forum at listserv.niif.hu
>> https://listserv.niif.hu/mailman/listinfo/hpc-forum
> 
> 
> -- 
> Tamas Hegedus, PhD
> phone:  (36) 1-459 1500/60233
> fax:    (36) 1-266 6656
> mailto: tamas at hegelab.org
> url:    http://www.hegelab.org
> 
> _______________________________________________
> Hpc-forum mailing list
> Hpc-forum at listserv.niif.hu
> https://listserv.niif.hu/mailman/listinfo/hpc-forum