[Hpc-forum] queue egyesítés

[Rőczei Gábor]

Szia Géza,

On 2012.09.17., at 10:43, Geza Odor wrote:

> Szia,
> koszi a valaszt. NIIF-es tanusitvanyom van. Ti mar probaltatok az arc-al hasznalni a rendszert ?

Igen, kipróbáltuk. HP-SEE projekt keretén belül már ketten használják. Nagyon szívesen segítek ezzel kapcsolatban, legalább közben elkészül végre a dokumentáció is. 

Légyszives töltsd fel valamelyik szupergépes login gépre az X509-es tanúsítványodat és írd meg nekem hogy hol van. Ez azért kell mert szeretném ellenőrizni és ezután pedig engedélyezni fogom számodra  a hozzáférést az ARC köztesréteghez.

Használat lépései vázlatosan:

1)

X509-es proxy készítése:

arcproxy 

2)

Job elküldése:

arcsub test.jsdl

3)

Job állapotának a lekérdezése:

arcstat JOB_ID

4)

Job eredményeinek a letöltése:

arcget JOB_ID


Illetve még ezek is hasznos parancsok:
 
arcinfo
arcsyc
arc* (ez az összes többi, majd teszteld őket...)

Itt egy példa JSDL fájl (10 CPU core-t használó MPI job):

<JobDefinition
 xmlns="http://schemas.ggf.org/jsdl/2005/11/jsdl"
 xmlns:posix="http://schemas.ggf.org/jsdl/2005/11/jsdl-posix"
 >
 <JobDescription>
   <JobIdentification>
     <JobName>ARC test job</JobName>
   </JobIdentification>
   <Application>
     <posix:POSIXApplication>
       <posix:Executable>/usr/mpi/gcc/openmpi-1.4.3/bin/mpirun</posix:Executable>
       <posix:Argument>-np</posix:Argument>
       <posix:Argument>10</posix:Argument>
       <posix:Argument>/home/roczei/test/mpi/connectivity</posix:Argument>
       <posix:Argument>-v</posix:Argument>
       <posix:Output>out.txt</posix:Output>
       <posix:Error>err.txt</posix:Error>
     </posix:POSIXApplication>
   </Application>
   <DataStaging>
     <FileName>out.txt</FileName>
     <DeleteOnTermination>false</DeleteOnTermination>
   </DataStaging>
   <DataStaging>
     <FileName>err.txt</FileName>
     <DeleteOnTermination>false</DeleteOnTermination>
   </DataStaging>
 <Resources>
        <CandidateTarget>
           <QueueName>parallel.q</QueueName>
        </CandidateTarget>
        <SlotRequirement>
           <ProcessPerHost>
              <UpperBoundedRange>10</UpperBoundedRange>
           </ProcessPerHost>
        </SlotRequirement>
        <RunTimeEnvironment>
           <Software>
              <Name>ENV/GCC/MPI/OPENMPI</Name>
              <Version require="eq">1.4.3</Version>
           </Software>
        </RunTimeEnvironment>
        <!--RunTimeEnvironment>
           <Software>
              <Name>ENV/GCC/OPENMP</Name>
              <Version require="eq">2.5</Version>
           </Software>
        </RunTimeEnvironment-->
   </Resources>
 </JobDescription>
</JobDefinition>

Kommentben van az OpenMP-s rész, jelenleg ez egy MPI-os job. Ezzel a paraccsal tudod lekérdezni, hogy milyen futtatási környezetek (PVM, MPI, OpenMP, stb.) érhető el a szupergépeken:

arcinfo -l
 
További fontos információ:

Az ARC köztesréteget jelenleg csak HBONE-os IP címekről lehet elérni.

Ezt kell beállítani az ARC kliens esetén ($HOME/.arc/client.conf):

[common]

[computing/budapest]
url=https://login.budapest.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/szeged]
url=https://login.szeged.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/debrecen]
url=https://login.debrecen.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/pecs]
url=https://login.pecs.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes


> Melyik helyrol toltitek le pl egy ubuntura ?

http://download.nordugrid.org/repos-12.05.html

Ha további kérdésed van akkor írj nyugodtan. Ezt kérem cserébe: légyszives hagyd CC-ben a hpc-forum-ot. Köszi!

Gábor

> ________________________________________
> From: Rőczei Gábor [roczei at niif.hu]
> Sent: 17 September 2012 06:57
> To: odor at mfa.kfki.hu
> Cc: hpc-forum at listserv.niif.hu
> Subject: Re: queue egyesítés
> 
> Szia Géza,
> 
> Amire gondolsz arra van lehetőség. Mind a négy szuperszámítógépen már telepítve van az ARC köztesréteg. Bővebben: http://www.nordugrid.org/arc A novemberi HPC-s tréningen szeretném majd "átadni" a felhasználóknak. Jelenleg ez már működik, csak a niif.hu-s weblapon még nincs hozzá dokumentáció. X509-es felhasználói tanúsíványra van szükség a használatához amit az NIIF CA-nak kell aláírnia. A tanúsítvány igénylés menetéről itt olvashatsz: http://www.ca.niif.hu/hu/igenyles Szóval ha van kedved akkor már akár tesztelheted is... :) CC-hez hozzáadtam a hpc-forum-ot is hátha valaki mást is érdekel ez. A nagy előnye ennek a grid köztesrétegnek, hogy sokkal felhasználó barátabb módon lehet használni a szuperszámítógépeket. Például mindenki a saját operációs rendszeréről tud jobokat küldeni: Windows, MacOSX, Debian, Ubuntu, stb. Nem kell ssh-n keresztül belépni a szupergépekre.
> 
> Gábor
> 
> On 2012.09.16., at 23:54, Geza Odor wrote:
> 
>> Szia,
>> arra gondoltam, hogy nem lehetne-e a 4 szuperszamitogep batch
>> queue-kat egyesiteni, miutan ez "grid engine"-nek hivjak.
>> Tehat, hogy grid stilusban feladni a jobot aztan fusson le
>> ott ahol tud (Bp, Pecs. ...).
>> De lehet, hogy valahol nagyon lemaradtam... a walltime=ot nem
>> ismerem.
>> Udv.:
>>      Geza
>> 
>> ---------------------
>> www.mfa.kfki.hu/~odor
>> 
>> On Sun, 16 Sep 2012, Geza Odor wrote:
>> 
>>> Szia,
>>> van arra remeny, hogy osszevonjatok a szupergepet SGE queue-it, ahogy
>>> valamenyik forumozo kerdezte ? Sokkal hatekonyabb lenne az egesz, kikerulve a leallasok miatti elveszeseket es a duplikacoikat.
>>> Udv.:
>>>     Geza
>>> 
>>> ---------------------
>>> www.mfa.kfki.hu/~odor
>>> 
>>> 
>