[Hpc-forum] [Szuper-hirek] h_vmem használt / Usage of h_vmem

[Ferenc Bartha]

 Kedves Gábor!

 Gyakran nem lehet megbecsülni sem, hogy mekkora memóriát igényel a 
számolás.

 Segíthet, ha a tipikus job-okra, futóknál és már lefutottaknál egyaránt, a
 felhasználók megnézik, hogy mekkora volt a maximális memóriaigény. Futó
 job-nál: qstat -j JOB_ID, lefutottnál: qacct -j JOB_ID. Mindkettőben a
 maxvmem értékét kell megnézni.
 (JOB_ID: az a szám, ami a pl. qstat válaszában az első oszlopban szerepel.)

 ÜdvFeri
 ------------:
 Dr. Ferenc BARTHA, tel: 62/54-6821, E-mail: barthaf at sol.cc.u-szeged.hu
 SKYPE: ferenc.bartha, WWW: http://www.staff.u-szeged.hu/~barthaf/
 SZTE DNT - High Performance Computing Group, 6725 Szeged, Szikra u. 2.
 SZTE, Department of Medical Chemistry, 6720 Szeged, Dóm tér 8.

> ----- Original Message ----- 
> From: "Rőczei Gábor" <roczei at niif.hu>
> To: <szuper-hirek at listserv.niif.hu>
> Sent: Monday, October 08, 2012 8:36 AM
> Subject: [Szuper-hirek] h_vmem használt / Usage of h_vmem
>
>
> Kedves Felhasználóink,
>
> Már több felhasználónknak gondot okozott a h_vmem használata ezért pár 
> sorban szeretném Önöknek összefoglalni, hogy mire érdemes odafigyelni.
>
> h_vmem-nek az a célja hogy a job csak akkor induljon el, ha elegendő 
> szabad memória áll rendelkezésre. Tulajdonképpen particionáljuk a 
> felhasználható fizikai memóriát és szétosztjuk a jobok között.
>
> Így kell használni:
>
> -l h_vmem=1G
>
> A job csak akkor fog elindulni, ha 1 GByte szabad memória lesz valamelyik 
> gépen. Párhuzamos jobok esetén ennek az értéke megszorzódik a kért slotok 
> számával.
>
> Fontos: ha például a párhuzamos jobunk esetén 10 slotot kértünk és 
> slotonkét 1 GByte memóriára van szükség akkor h_vmem=1G -t kell megadni, 
> nem pedig h_vmem=10G-t!
>
> Budapesten és Szegeden a default h_vmem érték 2.5GByte, ami akkor lesz 
> beállítva ha nem adott meg h_vmem értéket a job beküldésekor. Ha azt 
> szeretnénk, hogy a jobunk hamarabb induljon el és kevesebb memória is 
> elegendő a számára akkor egy kisebb h_vmem értéket érdemes beállítani.
>
> Pécsen és Debrecenben nincsen beállítva default h_vmem érték, mert az SGI 
> MPI (MPT)-s alkalmazások "meghalnak" emiatt. Pécsen és Debrecenben nem 
> ajánlott h_vmem-et használni SGI MPI esetén. Itt olvashatnak erről a SGI 
> MPI-os vmem hibáról: 
> http://techpubs.sgi.com/library/tpl/cgi-bin/getdoc.cgi/linux/bks/SGI_Developer/books/LX_AppTune/sgi_html/ch09.html#Z1078440651tls
>
> Az Open Grid Scheduler esetén van egy kezdeményezés ami nagyon ígéretes, 
> itt olvashatnak erről: 
> http://blogs.scalablelogic.com/2012/05/grid-engine-cgroups-integration.html A 
> cgroups használatával már elvileg megfelelő módon lehet majd a memóriával 
> kapcsolatos művelteket szabályozni, de erre még várni kell pár hónapot.
>
>                                                             --o--
>
> Dear Users,
>
> Several users have already experienced problems with the h_vmem option 
> therefore I would like to summary that what you need to pay attention.
>
> The target with h_vmem is that the job will start only if there are enough 
> free memory. We are partitioning the available physical memory and we are 
> distributing it among the jobs.
>
> Usage:
>
> -l h_vmem=1G
>
> The job will start only if there will be 1 GByte memory on one machine. 
> This value will be multiplied when you are using it by parallel job.
>
> Important: if you request 10 slots by parallel job and you reguest 1 GByte 
> memory per slot then you need request h_vmem=1G and not h_vmem=10G!
>
> The default h_vmem value is 2.5G in Szeged and Budapest which will be set 
> if you have not requested h_vmem by the job submission. If you would like 
> that your job start earlier and your job need less memory then you need to 
> set a lower value for h_vmem.
>
> We have not set the default h_vmem value in Pécs and Debrecen because the 
> SGI MPI (MPT) jobs will "die" in this case. We are not recommending that 
> you try to use h_vmem in Pécs and Debrecen. You can read here about this 
> SGI MPI's  vmem error: 
> http://techpubs.sgi.com/library/tpl/cgi-bin/getdoc.cgi/linux/bks/SGI_Developer/books/LX_AppTune/sgi_html/ch09.html#Z1078440651tls
>
> There is a promising initiative by Open Grid Scheduler which will be a 
> good solution. Here you can read about it: 
> http://blogs.scalablelogic.com/2012/05/grid-engine-cgroups-integration.html 
> You can limit the memory usage in adequately way with cgroups but we  have 
> to wait a few months for this.
>
> Best regards,
>
>               Gabor Roczei
> _______________________________________________
> https://listserv.niif.hu/mailman/listinfo/szuper-hirek
> http://www.niif.hu/szuper/