[Hpc-forum] SLURM utemezo es memoria OMP joboknal

[Balazs Nagy]

Kedves Tamas!

Ertem a szamlazasi koncepciot, de nem tartom fairnek. Egyreszt a 2600 
MB/core memoria manapsag mar egy alap laptopban is elerheto. A 
szamlazasi rendszer ebben a formaban kizarolag a CPU igenyes feladatokat 
tamogatja, ami rendben is lenne, viszont a nagy memoriaigeny 
kiszolgalasanak CPU szamlahoz torteno hozzairasa szerintem nem 
szerencses. Ezzel - a tulszamlazasi probleman tul - feleslegesen 
foglalom  a CPU-kat a job-omhoz, amiket nem feltetlenul kellene. 
Rengeteg olyan job van, aminek eleg a default 1000 MB/core memoria, vagy 
akar meg ennel is kevesebb, igy a keves szalon futo, de nagyobb memoriat 
igenylo job-ok melle lehetne utemezni az elobbieket. Az elozo utemezo 
(-l h_vmem) ezt tapasztalataim szerint jol kezelte, az uj ezek szerint 
erre nem kepes? Azaz a nagy memoriat igenylo job-ok a memoria miatt 2X, 
3X, 4X, ... kerulnek felszamlazasra memoria igenytol fuggoen? 
Mindenkeppen szeretnenk, ha egy, a regi utemezohoz hasonlo 
memoriafoglalasi rendszert vezetnetek be a SLURM utemezot hasznalo gepeken.

Koszonettel,
Balazs

On 05/23/2014 11:40 AM, Hornos Tamas wrote:
> On 5/23/14 11:11 AM, Balazs Nagy wrote:
>> Tisztelt Lista!
>>
>> OpenMP parhuzamositott G09 es Molpro jobokat szeretnek futtatni a
>> szegedi szupergepen a SLURM utemezovel. A G09 jobokat 4 vagy 6 szalon,
>> osszesen rendre 16 vagy 24 GB memoriaval, a Molpro futasokat 2 szalon,
>> osszesen 16 GB memoriaval. A runjob scriptben ezekben az esetekben a
>> /--mem-per-cpu/ ertekhez nagyobb erteket kellene megadnom, mint a
>> maximalis 2600 MB, hiszen a G09 jobokhoz ez az ertek 4000 MB lenne,
>> mig a Molpro eseten 8000 MB. Ha a /--mem='mem in MB'/ parametert
>> hasznalom, es lefoglalom a szukseges teljes memoriat a node-on, akkor
>> az utemezo kiszamolja, hogy ehhez mennyi CPU core szukseges, es azt
>> foglalja le. Azaz elindultak a 6 szalas G09 futasaim /--mem=30000/
>> parameterrel, amihez 12 CPU kerult foglalasra, viszont ebbol csak 6-ot
>> hasznalok a programmal. A runjob scriptem relevans resze:
>>
> Sziasztok!
>
> A rövid válasz az, hogy nincs rá más mód. A memória a CPU-hoz hasonlóan
> korlátozott, foglalható (elszámolt) erőforrás. A felhasználás mérésének
> legegyszerűbb módja, ha a CPU-hoz kötjük a memória foglalást: 1 core
> óra, 2600MB órának felel meg. Úgy is lehet érteni, hogy ha túlfoglalod a
> memória/core-t, akkor más elől veszel el CPU-t, ezért kerül elszámolásra
> a nem használt core ideje is. A memória / core arány az adott gép hw
> tulajdonsága, ezen változtatni nem tudunk.
>
> Üdv
>


-- 
Balazs, NAGY
Research Assistant
MTA-BME "Lendület" Quantum Chemistry Research Group
Department of Physical Chemistry and Materials Science
Budapest University of Technology and Economics
P.O. Box 91
H-1521 Budapest
Hungary
Phone: +36-1/463-1632