[Hpc-forum] SLURM utemezo es memoria OMP joboknal

2014. Május. 23., P, 11:29:17 CEST

Kedves Balazs!
Bocsanat, igazad van! 
Korabban rakerdeztem es azt a valaszt kaptam sajnos, hogy a memoria korlat mem/slot-kent, nem pedig a teljes node-ra ertendo.
Nagyon sajnalatos es varom en is a feloldasat!
UdvFeri
  ----- Original Message ----- 
  From: Ferenc Bartha 
  To: Balazs Nagy ; HPC-Forum 
  Sent: Friday, May 23, 2014 11:17 AM
  Subject: Re: [Hpc-forum] SLURM utemezo es memoria OMP joboknal


  Kedves Balazs!
  Javaslom, hogy hasznald a subg08 job-kuldo scriptet! Bizom benne, hogy ott ezt megoldottam, bar meg nagyon uj es nem derultek ki a hibai.
  ÜdvFeri
  ------------:
  Dr. Ferenc BARTHA, tel: 62/54-6821, E-mail: barthaf at sol.cc.u-szeged.hu
  SKYPE: ferenc.bartha, WWW: http://www.staff.u-szeged.hu/~barthaf/
  SZTE DNT - High Performance Computing Group
     6725 Szeged, Tisza Lajos krt. 113 (Szikra u. 2.)
  SZTE, Department of Medical Chemistry, 6720 Szeged, Dóm tér 8. 
    ----- Original Message ----- 
    From: Balazs Nagy 
    To: HPC-Forum 
    Sent: Friday, May 23, 2014 11:11 AM
    Subject: [Hpc-forum] SLURM utemezo es memoria OMP joboknal


    Tisztelt Lista!

    OpenMP parhuzamositott G09 es Molpro jobokat szeretnek futtatni a szegedi szupergepen a SLURM utemezovel. A G09 jobokat 4 vagy 6 szalon, osszesen rendre 16 vagy 24 GB memoriaval, a Molpro futasokat 2 szalon, osszesen 16 GB memoriaval. A runjob scriptben ezekben az esetekben a --mem-per-cpu ertekhez nagyobb erteket kellene megadnom, mint a maximalis 2600 MB, hiszen a G09 jobokhoz ez az ertek 4000 MB lenne, mig a Molpro eseten 8000 MB. Ha a --mem='mem in MB' parametert hasznalom, es lefoglalom a szukseges teljes memoriat a node-on, akkor az utemezo kiszamolja, hogy ehhez mennyi CPU core szukseges, es azt foglalja le. Azaz elindultak a 6 szalas G09 futasaim --mem=30000 parameterrel, amihez 12 CPU kerult foglalasra, viszont ebbol csak 6-ot hasznalok a programmal. A runjob scriptem relevans resze:

    #SBATCH --ntasks=1
    #SBATCH --cpus-per-task=2
    #SBATCH --partition=prod
    #SBATCH --mem=20000

    Az scontrol show job kimenete:

    JobId=583 Name=xg_5Z_at_3Z-G0929568
       UserId=nbalazs(11084) GroupId=nbalazs(11084)
       Priority=10118 Account=lokalkorr QOS=normal
       JobState=RUNNING Reason=None Dependency=(null)
       Requeue=1 Restarts=0 BatchFlag=1 ExitCode=0:0
       RunTime=1-00:40:45 TimeLimit=20-00:00:00 TimeMin=N/A
       SubmitTime=2014-05-22T10:21:20 EligibleTime=2014-05-22T10:21:20
       StartTime=2014-05-22T10:21:42 EndTime=2014-06-11T10:21:42
       PreemptTime=None SuspendTime=None SecsPreSuspend=0
       Partition=prod AllocNode:Sid=loginnode:8337
       ReqNodeList=(null) ExcNodeList=(null)
       NodeList=cn11
       BatchHost=cn11
       NumNodes=1 NumCPUs=12 CPUs/Task=6 ReqS:C:T=*:*:*
       MinCPUsNode=12 MinMemoryNode=30000M MinTmpDiskNode=0
       Features=(null) Gres=(null) Reservation=(null)
       Shared=OK Contiguous=0 Licenses=(null) Network=(null)
       Command=/home/nbalazs/bin/G09_Run_One.sh xg_5Z_at_3Z
       WorkDir=/fs01/home/nbalazs/JOBs/Gaussian/xg_5Z_at_3Z

    Tehat a job-om OMP_NUM_THREADS=6 szalon fut, viszont a szamlazasnal 12 szal  kerul elszamolasra. A Molpro eseteben meg rosszabb a helyzet: 8 CPU core szamlazodik az accountomra, amibol 2-t hasznalok a Molpro-val. 
    A kerdesem: Hogyan tudok a SLURM-mal tobb memoriat foglalni OMP jobokhoz anelkul, hogy a CPU core-okat is foglalom hozza, amiket tulajdonkeppen nem hasznalok.

    Udvozlettel,
    Nagy Balazs

-- 
Balazs, NAGY
Research Assistant
MTA-BME "Lendület" Quantum Chemistry Research Group
Department of Physical Chemistry and Materials Science
Budapest University of Technology and Economics
P.O. Box 91
H-1521 Budapest
Hungary
Phone: +36-1/463-1632

----------------------------------------------------------------------------


    _______________________________________________
    Hpc-forum mailing list
    Hpc-forum at listserv.niif.hu
    https://listserv.niif.hu/mailman/listinfo/hpc-forum


------------------------------------------------------------------------------


  _______________________________________________
  Hpc-forum mailing list
  Hpc-forum at listserv.niif.hu
  https://listserv.niif.hu/mailman/listinfo/hpc-forum
--------- következ? rész ---------
Egy csatolt HTML állomány át lett konvertálva...
URL: <https://listserv.niif.hu/pipermail/hpc-forum/attachments/20140523/cf3e7827/attachment-0001.html>