[Hpc-forum] debreceni hpc

[Tamas Hegedus]

Sziasztok!

Miklóssal teljesen egyetértek abban, hogy lehetne jobban balanszírozni a 
soros/párhuzamos job-okat.

Tegnap éjjel megnéztem a megadott linken a GRID-et, de nem tűnik a HPC-kel 
összemérhető erőforrásnak. 25 + 25 + 10 + max. 200 CPU. Szerintem a soros 
job-okat pont azért nem lokálisan futtatjuk, mert sokat kell belőle futtatni 
(pl. ha 128-at, az a fele hozzáférhető processzort lefoglalja; s ez csak egy ember).

----------------------------
A queue-ban való várakozás olyan dolog miatt is megtörténhet, hogy bár lenne 
szabad slot, de az adott slot-ban csak 1G memória szabad. Ami esetleg az adott 
user adott job-ához elegendő lenne, de a qsub automatikusan 2G memóriát akar 
lefoglalni, ha az ember nem mondja meg, hogy kevesebbet... Az ilyenek megint 
olyan rejtett dolgok, amit sok munka és energia kideríteni, ami csökkenti a 
versenyképességet...

----------------------------
Továbbá az is "nehézség", sok idő, s csökkenti a versenyképességünket, hogy 
mindent programot, adatot, amit használunk, fel kell tenni az összes rendszerre 
(és pl. a külön GRID regisztrációs folyamat is extra munka és idő). Mert nem 
tudod, hogy mikor melyik fog leállni, mikor melyikben fog a job-od elindulni.

Ez egyébként valószínűleg a rendszert feleslegesen meg is terheli, mert jó 
eséllyel az emberek ugyanazt a job-ot beküldik 2-3 klaszterre, hogy valamelyiken 
majd csak elindul...

Üdv,
Tamás

Miklos Emri wrote:
> Szia Gábor!
> 
> Köszi az információt: a serial/parallel sorokról ezt nem tudtuk 
> (gondolom elkerülte a figyelmünket valamelyik doksiban).
> 
> A döntésetek, hogy a párhuzamos jobokat részesítitek előnyben érthető, 
> ha a job-ok nagy része nem adatpárhuzamosságon alapul. Ha azonban a 
> jobok jelentős része ilyen, akkor teljesen mindegy, hogy az sge vagy egy 
> belső kód darabolja az adatokat.
> Az esetemben  nem gond az átírás, mert saját programról van szó, de aki 
> más szoftverét használja (pl. gate, fsl) az nem tudja ezt megoldani és 
> marad a több napos várakozás.
> 
> Arra nem gondoltatok, hogy az erőforrásokat dinamikusan osszátok meg? 
> P.l. 15 percenként a szabad gépeket ahhoz a sorhoz rendelitek ami a 
> terheltebb?
> Esetleg nincs megoldás (sge konfig) arra. hogy a hosszan futó job-okat 
> egy időre leültetitek, hogy  a rövidebb futásidejű job-ok is kapjanak 
> processzort (ezzel a nagy számolásigényű jobok futási ideje kisebb 
> arányban nőne ugyan, de a rövid számolást igénylő job-ok megkapnák azt a 
> számolsái kapocitást amit igényelnek).
> 
> Elnézést a  "kötekedésért", de lassan ott tartunk, hogy fejben hamarabb 
> megoldom a problémát mint ahogy job-jaim futásra kerülnek.
> 
> Üdv
> Miklós
> 
> 
> On 09/10/2012 08:51 AM, Rőczei Gábor wrote:
>> Szia Miklós,
>>
>> A jobjaid serial jobok, melyek nem használják ki a több CPU-s 
>> környezetet. Ebből kifolyólag a serial.q-ban fognak "elindulni". 
>> Debrecenben jelenleg 432 ilyen jobot lehet elindítani összesen.
>>
>> Így áll most a várakozó sor (a serial.q esetén nincs szabad hely):
>>
>> roczei at service0:~> qstat -g c
>> CLUSTER QUEUE                   CQLOAD   USED    RES  AVAIL  TOTAL 
>> aoACDS  cdsuE
>> -------------------------------------------------------------------------------- 
>>
>> parallel.q                        0.47    492      0    599   1092     
>> 12      0
>> serial.q                          0.98    432      0      0    
>> 432      0      0
>> test.q                            0.09      0      0     12     
>> 12      0      0
>> roczei at service0:~>
>>
>> Előbb-utóbb el fog indulni. Várnod kell türelmesen.
>>
>> Gábor
>>
>> Ui.: Csak megjegyzésként jegyzem meg, hogy az ilyen serial jobokat nem 
>> szuperszámítógépen kellene futtatni, hanem grides környezetben. 
>> Magyarországon a Hungrid pont ezt a célt szolgálja. Bővebb információ: 
>> http://www.lcg.kfki.hu/ A szuperszámítógépeken mi elsősorban a 
>> párhuzamos jobokat preferáljuk és azok számára biztosítunk több CPU 
>> erőforrást.
>>
>> On 2012.09.10., at 7:32, Miklos Emri wrote:
>>
>>> Sziasztok!
>>>
>>> Normálisnak tekinthető, hogy egy hpc-n (pl. a debreceni) egy job 14 
>>> óra után is wait állapotban van?
>>>
>>> Üdv
>>> Miklós
>>>
>>> _______________________________________________
>>> Hpc-forum mailing list
>>> Hpc-forum at listserv.niif.hu
>>> https://listserv.niif.hu/mailman/listinfo/hpc-forum
> 
> 
> _______________________________________________
> Hpc-forum mailing list
> Hpc-forum at listserv.niif.hu
> https://listserv.niif.hu/mailman/listinfo/hpc-forum


-- 
Tamas Hegedus, PhD
phone:  (36) 1-459 1500/60233
fax:    (36) 1-266 6656
mailto: tamas at hegelab.org
url:    http://www.hegelab.org