[Hpc-forum] queue egyesítés

[Rőczei Gábor]

Szia Tamás,

On 2012.09.17., at 13:22, Tamas Hegedus wrote:

> Sziasztok!
> 
> Megint kotnyeleskednék... Úgy, hogy az ARC-ot nem ismerem, s most nincs is időm megnézni. De úgy látom, hogy újabb köztes réteg, újabb dolgok megtanulása, stb. azaz nekem, az én szintemen, nem tűnik felhasználóbarátabbnak :-)

A HPC tréningen majd megismerheted, remélem hogy változtatni tudok majd a véleményeden. :)

> --
> Nem lehetne a GRID engine-en belül egyesíteni és összevonni a queue-kat?
> Szerintem csak arra kellene figyelni, hogy 1db párhuzamos job ne kerülhessen kiosztásra két eltérő helyen levő klaszterre.

Ez teljesen kizárt, ilyet nem fogunk csinálni.  Erre való az ARC, ami a Grid Engine felett egy szinttel helyezkedik el. Tulajdonképpen ez fogja össze az összes Grid Engine-t egy "nagy rendszerbe". 

> --
> A másik dolog, ami felhasználóbarátabbá tenné a rendszert, az egy olyan tárterület a programok tárolásához, ami minnenhonnan látszik. Hogy ne kelljen minden HPC-re feltelepítenem ugynaolyan könyvtárszerkezetben ugyanazokat a programokat. Persze ez több szempontból összetett probléma:

Ezen már dolgozunk. Jelenleg a pNFS (http://www.pnfs.com) és CEPH (http://ceph.com) megoldások tesztelése folyik.

> * Az a könyvtár lassú elérésű lenne, a job futása során produkált adatok mentésére valószínűleg nem lenne alkalmas - több odafigyelést igényelne a job kimenetének beállítása.
> 
> * A HPC-k elég heterogének, ezért valószínűleg statikusan kéne lefordítania a felhasználónak az adott programját, ami nem biztos, hogy mindig megoldható. Vagy megoldható, de nem biztos, hogy le tud futni mindegyik HPC-n.
> 
> Szóval ezek csak olyan nem-igazán-hozzáértő felvetések, de ha megvalósíthatóak lennének, akkor szerintem egyszerűsítene a munkán.

Minden ilyen ötletnek örülünk. Ami kivitelezhető és van rá emberi erőforrásunk azt megpróbáljuk megvalósítani.

Gábor

> Rőczei Gábor wrote:
>> Szia Géza,
>> Amire gondolsz arra van lehetőség. Mind a négy szuperszámítógépen már telepítve van az ARC köztesréteg. Bővebben: http://www.nordugrid.org/arc A novemberi HPC-s tréningen szeretném majd "átadni" a felhasználóknak. Jelenleg ez már működik, csak a niif.hu-s weblapon még nincs hozzá dokumentáció. X509-es felhasználói tanúsíványra van szükség a használatához amit az NIIF CA-nak kell aláírnia. A tanúsítvány igénylés menetéről itt olvashatsz: http://www.ca.niif.hu/hu/igenyles Szóval ha van kedved akkor már akár tesztelheted is... :) CC-hez hozzáadtam a hpc-forum-ot is hátha valaki mást is érdekel ez. A nagy előnye ennek a grid köztesrétegnek, hogy sokkal felhasználó barátabb módon lehet használni a szuperszámítógépeket. Például mindenki a saját operációs rendszeréről tud jobokat küldeni: Windows, MacOSX, Debian, Ubuntu, stb. Nem kell ssh-n keresztül belépni a szupergépekre. Gábor
>> On 2012.09.16., at 23:54, Geza Odor wrote:
>>> Szia,
>>> arra gondoltam, hogy nem lehetne-e a 4 szuperszamitogep batch
>>> queue-kat egyesiteni, miutan ez "grid engine"-nek hivjak.
>>> Tehat, hogy grid stilusban feladni a jobot aztan fusson le
>>> ott ahol tud (Bp, Pecs. ...).
>>> De lehet, hogy valahol nagyon lemaradtam... a walltime=ot nem
>>> ismerem.
>>> Udv.:
>>> 	Geza
>>> 
>>> ---------------------
>>> www.mfa.kfki.hu/~odor
>>> 
>>> On Sun, 16 Sep 2012, Geza Odor wrote:
>>> 
>>>> Szia,
>>>> van arra remeny, hogy osszevonjatok a szupergepet SGE queue-it, ahogy
>>>> valamenyik forumozo kerdezte ? Sokkal hatekonyabb lenne az egesz, kikerulve a leallasok miatti elveszeseket es a duplikacoikat.
>>>> Udv.:
>>>> 	Geza
>>>> 
>>>> ---------------------
>>>> www.mfa.kfki.hu/~odor
>>>> 
>>>> 
>> _______________________________________________
>> Hpc-forum mailing list
>> Hpc-forum at listserv.niif.hu
>> https://listserv.niif.hu/mailman/listinfo/hpc-forum
> 
> 
> _______________________________________________
> Hpc-forum mailing list
> Hpc-forum at listserv.niif.hu
> https://listserv.niif.hu/mailman/listinfo/hpc-forum