[Hpc-forum] Gromacs probléma

[Rőczei Gábor]

Kedves Gromacs felhasználók,

Ha tudtok akkor légyszives segítsetek Komáromi Istvánnak. Sajnos én ehhez kevés vagyok. :(

Előre is köszönöm szépen!

Gábor

Begin forwarded message:

> From: Rőczei Gábor <roczei at niif.hu>
> Date: 2012. szeptember 12. 19:12:24 CEST
> To: Komáromi István <komaromi at med.unideb.hu>
> Cc: HPC üzemeltetés Rendszergazda <szuper at niif.hu>
> Subject: Re: [Szuper-hirek] Karbantartás Debrecenben / Maintenance in Debrecen
> 
> On 2012.09.12., at 18:25, Komáromi István wrote:
> 
>> Kedves Gábor,
>> 
>> Köszönöm, hogy foglalkozott a problémámmal. Megpróbálom azt is, amit ajánlott, de a gondom
>> az, hogy UGYANEZZEL a binárissal (mdrun_mpi), UGYANENNYI processzormagot (96) allokálva,
>> UGYANILYEN (nagyságú) rendszerre, UGYANAZZAL az input file-al elindítva augusztus elején
>> kb. napi 56 ns-ot tudott megcsinálni, most pedig kb. 5-6 ns megy le egy nap alatt.
>> Ennek mi lehet az oka?
> 
> Elnézést, de sajnos nem tudom. 
> 
> Gábor

> Egyébként tapasztalatom szerint a gromacs mdrun modulja gcc-vel is hatékony (nincs lényeges
> különbség a gcc-vel és az intel (vagy portland group) compilerekkel fordított mdrun
> hatékonysága között.
> 
> Üdv:
> István


>> ----- Eredeti üzenet -----
>> Feladó: "Rőczei Gábor" <roczei at niif.hu>
>> Címzett: "Komáromi István" <komaromi at med.unideb.hu>
>> Másolatot kap: "HPC üzemeltetés Rendszergazda" <szuper at niif.hu>
>> Elküldött üzenetek: Szerda, 2012 Szeptember 12 18:07:07
>> Tárgy: Re: [Szuper-hirek] Karbantartás Debrecenben / Maintenance in Debrecen
>> 
>> Kedves istván,
>> 
>> Ránéztem a sp_mdrun_mpi-os binárisra és ezt látom:
>> 
>> komaromi at service0:~/soft/gromacs454ompi/bin> ldd sp_mdrun_mpi
>> 	linux-vdso.so.1 =>  (0x00007fff9c9b6000)
>> 	libmpi.so => /opt/sgi/mpt/mpt-2.04/lib/libmpi.so (0x00007ffe0d9c1000)
>> 	libnsl.so.1 => /lib64/libnsl.so.1 (0x00007ffe0d76d000)
>> 	libm.so.6 => /lib64/libm.so.6 (0x00007ffe0d517000)
>> 	libc.so.6 => /lib64/libc.so.6 (0x00007ffe0d1b9000)
>> 	/lib64/ld-linux-x86-64.so.2 (0x00007ffe0dcfb000)
>> 	libdl.so.2 => /lib64/libdl.so.2 (0x00007ffe0cfb4000)
>> 	librt.so.1 => /lib64/librt.so.1 (0x00007ffe0cdab000)
>> 	libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007ffe0cb94000)
>> 	libcpuset.so.1 => /usr/lib64/libcpuset.so.1 (0x00007ffe0c986000)
>> 	libpthread.so.0 => /lib64/libpthread.so.0 (0x00007ffe0c769000)
>> 	libbitmask.so.1 => /usr/lib64/libbitmask.so.1 (0x00007ffe0c565000)
>> komaromi at service0:~/soft/gromacs454ompi/bin>
>> 
>> Az ldd szerint ezt GCC-vel fordította le. Érdemes lenne Intel fordítót és a hozzá tartozó Intel MKL-es matematikai könyvtárral próbálkozni.  Szerintem sokkal gyorsabban futna ezáltal. MPI esetén mpt-2.04-t használ, ez rendben van.
>> 
>> Gábor

>>> On 2012.09.12., at 9:59, Komáromi István wrote:
>>> 
>>>> Kedves Kristóf és Gábor
>>>> 
>>>> Tegnap küldtem egy levelet Önöknek az alábbi problémával (és nem a türelmetlenségem
>>>> miatt küldöm el ismét, hanem mert talán elkerülte a figyelmüket). Még egy adalék a
>>>> tegnapihoz: megnéztem a a logfile-t és tényleg úgy tűnik, hogy 8 node-ot allokál a
>>>> 96 szálhoz. Valami beállítás megváltozott mostanában?
>>>> 
>>>> A tegnapi üzenet:
>>>> Néhány hét kihagyás után újra használom a debreceni site-ot, de meglepetésemre időközben
>>>> jelentős lassulás következett be a joboknál (legalábbis az én jobjaimnál).
>>>> A most futó jobot összevetve a (kémiailag kicsit különböző, de "számítástechnikailag" egy
>>>> korábbival mindenben megegyező GROMACS (openmpi) jobbal, midkettőt a
>>>> 
>>>> qsub -l exclusive=true -pe mpi 96 r_TGCaS1_SM_02
>>>> 
>>>> módon elküldve és a r_TGCaS1_SM_02 script-ben ugyanazokat a beállításokat alkalmazva
>>>> (
>>>> #!/bin/sh
>>>> #
>>>> #
>>>> #$ -N TGCaSM_02
>>>> 
>>>> #
>>>> MPI_GROUP_MAX=96
>>>> export MPI_GROUP_MAX
>>>> #
>>>> mpirun -np 96 /home/komaromi/soft/gromacs454ompi/bin/sp_mdrun_mpi -s TGCaS1_SM_c3d_0_800.tpr -o TGCaS1_SM_c3d_0_800.trr -c TGCaS1_SM_c3dr_0_800.gro -cpo TGCaS1_SM_c3d_0_800.cpt \
>>>> -e TGCaS1_SM_c3d_0_800b.edr -x TGCaS1_SM_c3d_0_800b.xtc -g TGCaS1_SM_c3d_0_800b.log
>>>> )
>>>> mint korábban, a korábbi számításoknak kb. 20-ad részét végzi el ugyanazon idő alatt.
>>>> (Csak egy megjegyzés: ez így nem éri el a "desktop" négymagos gépem teljesítményét.)
>>>> Mi lehet ennek az oka? Valami beállításon még "csiszolnom" kellene?
>>>> Bármilyen ötletet hálásan megköszönnék!
>>>> 
>>>> Üdvözlettel:
>>>> Komáromi István