[Hpc-forum] SLURM utemezo es memoria OMP joboknal

[Hornos Tamas]

On 5/23/14 1:07 PM, Balazs Nagy wrote:
> Kedves Tamas!
>
> Ertem a szamlazasi koncepciot, de nem tartom fairnek. Egyreszt a 2600
> MB/core memoria manapsag mar egy alap laptopban is elerheto. A
> szamlazasi rendszer ebben a formaban kizarolag a CPU igenyes
> feladatokat tamogatja, ami rendben is lenne, viszont a nagy
> memoriaigeny kiszolgalasanak CPU szamlahoz torteno hozzairasa
> szerintem nem szerencses. Ezzel - a tulszamlazasi probleman tul -
> feleslegesen foglalom  a CPU-kat a job-omhoz, amiket nem feltetlenul
> kellene. Rengeteg olyan job van, aminek eleg a default 1000 MB/core
> memoria, vagy akar meg ennel is kevesebb, igy a keves szalon futo, de
> nagyobb memoriat igenylo job-ok melle lehetne utemezni az elobbieket.
> Az elozo utemezo (-l h_vmem) ezt tapasztalataim szerint jol kezelte,
> az uj ezek szerint erre nem kepes? Azaz a nagy memoriat igenylo job-ok
> a memoria miatt 2X, 3X, 4X, ... kerulnek felszamlazasra memoria
> igenytol fuggoen? Mindenkeppen szeretnenk, ha egy, a regi utemezohoz
> hasonlo memoriafoglalasi rendszert vezetnetek be a SLURM utemezot
> hasznalo gepeken.
>
> Koszonettel,
> Balazs
>
A számlázásra a fair és tervezhető elosztás miatt van szükség. Nem az a
probléma, ha valaki sok időt kér, hanem ha nem használja el.

A memória / core arány valóban nem nagy, HPC viszonylatban viszont átlag
fölötti!. Ezek a gépek már 3 évesek, és gondolom azt sem kell említenem,
hogy itt enterprise grade ECC memóriákról van szó. Laptoppal
összehasonlítani a HPC node-okat nem igazán érdemes. Nagymemóriás OpenMP
jobokat a pécsi gépen tudunk kiszolgálni. Az előző ütemezővel több más
probléma is volt. A jelenlegi helyzet egy világos, átlátható, tervezhető
rendszer.

A "felszámlázással" nincs probléma, több CPU időt kell kérni. Az ilyen
jobokat ún. bigmem sorokban (bigmem node-okon) szokták futtatni, ahol a
számlázási szorzó >1. A memória szorzó lényege az, hogy a memória is
foglalható erőforrás. Ez a fajta CPU / memória elszámolás az összes
nagyobb HPC központra jellemző.

Én azt szeretném megkérdezni, hogy miért nem tudod kihasználni az összes
OpenMP szálat?

Üdv

-- 
Tamas Hornos, PhD
NIIF Institute