[Hpc-forum] LIGGGHTS forditas es futtatas -57570- [1. scaling] [2. scaling]

Ferenc Bartha barthaf at sol.cc.u-szeged.hu
2015. Júl. 6., H, 14:02:10 CEST 

Kedves David es Forum!

[2. scaling] Eleszultem egy masodik teszttel. Lasd a mellekletet!
- Az output-okban van mindenfele megjegyzes arrol, hogy a program vegul 
miket csinalt, ezzel nem foglalkoztam.
  Csak Brute-Loop-Time van a tablazatban.
- Van kulonbseg a bind-to-core bycore (BTC) non-BTC kozott.
- Nincs lenyegi kulonbseg a ket forditas kozott.Mindegyik "jol" fut, csaknem 
(kiveve large 8-12, no-BTC) monoton skalazodik
- Ezen tesztek mindegyike exclusive modban futott, Lehet, hogy mast latnank 
(ossze-visszasagot), ha engednenk mas job-okkal interferalni. Voltak 
korabban olyan tapasztalataim, hogy a job eltevedt, ha nem volt BTC, ahogy 
az eredeti leveledben (alabb) is demonstraltad. Ugy tunik, hogy 
exclusive-ban ez nem fordul elo.
- A BTC kellemetlen, en is csak work-around megoldasnak hasznaltam korabban, 
persze, aztan nem tertem vissza kerdeshez es igy maradt...
 a) A kulonbozo OpenMPI verziokban mas-es-mas a bind-to syntax es a default. 
Lehetseges, hogy ez a magyarazata annak, hogy neha botlott a scaling. Nem 
nezem meg, hogy eppen abban az OpenMPI-ben mi a default, de megerne par 
percet. Majd egyszer...
 b) A BTC (szerintem) meggatolja, hogy OMP+MPI mixed futas legyen, a BTC 
egyuttal az OMP=1-et is magaval hozza. Hiaba van az outputban, hogy az OMP=2 
pl., az valojaban csak 100% CPU, azaz OMP=1. Ezt a teljesitmeny is mutatja.
- A LIGGGHTS forditasokkal BTC nelkul sem sikerult OMP=1 fole mennem (sem 
CPU%-ban, sem tenyleges teljesitmenyben, masokkal, pl. GMX no-BTC-vel 
szemben). Majd megnezem a forditast ujra, ott lehet valami hiba, hogy az OMP 
valojaban nem mukodik non-BTC-vel sem a jelenlegi programra/forditasra.
- Erre majd kesobb (egyszer, valaha) visszaterunk....

Most kovetkezik elobb majd a [3. CUDA]

ÜdvFeri
------------:
Dr. Ferenc BARTHA, tel: 62/54-6821, E-mail: barthaf at sol.cc.u-szeged.hu
SKYPE: ferenc.bartha, WWW: http://www.staff.u-szeged.hu/~barthaf/
SZTE DNT - High Performance Computing Group
   6725 Szeged, Tisza Lajos krt. 113 (Szikra u. 2.)
SZTE, Department of Medical Chemistry, 6720 Szeged, Dóm tér 8.

----- Original Message ----- 
From: "Visontai Dávid" <jegesm at gmail.com>
To: "Ferenc Bartha" <barthaf at sol.cc.u-szeged.hu>
Cc: <hpc-forum at listserv.niif.hu>; "visontai.david" 
<visontai.david at zoldhazec.hu>
Sent: Thursday, July 02, 2015 10:53 AM
Subject: Re: [Hpc-forum] LIGGGHTS forditas es futtatas -57570- [1. scaling]


Kedves Ferenc,

koszonom a segitseget!

A fura skalazas oka megoldodott kozben. Miutan N-edszerre is
atolvastam a manualokat, kiprobaltam a --bind-to-core kapcsolot mind a
--bycore es --bynode ertekkel, amik hatasara a vart modon skalazodott
a futas.

A GPU-s fejlemenyeket tovabbra is varom.

Koszonom!

Udv
David

2015-07-02 10:11 GMT+02:00 Ferenc Bartha <barthaf at sol.cc.u-szeged.hu>:
> Kedves Forum es kulonosen David!
>
> [1. scaling]
> Forditottam egy full MKL verziot (FFTW is MKL). Ezzel az altalad alabb
> jelentett skalazodasi hibat nem tapasztaltam, sem a kis, sem a nagy
> rendszeredre. Monoton csokkent a "Loop time" az MPI szalak novelesevel.
> (exclusive-ban futtatam)
>
> next: [2. scaling]
> Meg ellenoriznem kell, hogy az altalad keszitett binaris-e az oka annak,
> hogy neked maskepp jott ki, vagy eppen szerencsetlenul belefutottal valami
> tars programba, esetleg zombiba es az fogta meg a szamolast. Hamarosan
> megnezem es jelentem.
>
> next: [3. CUDA]
> Az mca hibauzenetekkel, ugy emlekszem, hogy Debrecenben talalkoztam
> (intel/openmpi). A GPU-kon Intel processzor van, csak ugy, mint 
> Debrecenben,
> itt lehet a kozos pont. Meg fogom nezni a szegedi GPU-n es a BP2-n is, 
> hogy
> mi a megoldas. Rovidesen.
>
> ÜdvFeri
> ------------:
> Dr. Ferenc BARTHA, tel: 62/54-6821, E-mail: barthaf at sol.cc.u-szeged.hu
> SKYPE: ferenc.bartha, WWW: http://www.staff.u-szeged.hu/~barthaf/
> SZTE DNT - High Performance Computing Group
>   6725 Szeged, Tisza Lajos krt. 113 (Szikra u. 2.)
> SZTE, Department of Medical Chemistry, 6720 Szeged, Dóm tér 8.
>
>
> ----- Original Message ----- From: "Ferenc Bartha"
> <barthaf at physx.u-szeged.hu>
> To: "Rőczei Gábor" <roczei at niif.hu>; <hpc-forum at listserv.niif.hu>
> Cc: "HPC support" <hpc-support at niif.hu>; <visontai.david at zoldhazec.hu>
> Sent: Tuesday, June 30, 2015 10:32 AM
> Subject: Re: [Hpc-forum] LIGGGHTS forditas es futtatas -57570-
>
>
> Kedves Forum!
>
> Fogok segiteni, ha addig nem oldodik meg.
> Addig is megmelitem, talalkoztam mar ilyen forditasi problemaval. Az
> intel/2013_sp1 es az openmpi/1.6.3-intel hianyos. Vagy nem intel, vagy mas
> openmpi lesz egy megoldas.
>
> ÜdvFeri
> ------------:
> Dr. Ferenc BARTHA, tel: 62/54-6821, E-mail: barthaf at sol.cc.u-szeged.hu
> SKYPE: ferenc.bartha, WWW: http://www.staff.u-szeged.hu/~barthaf/
> SZTE DNT - High Performance Computing Group
>   6725 Szeged, Tisza Lajos krt. 113 (Szikra u. 2.)
> SZTE, Department of Medical Chemistry, 6720 Szeged, Dóm tér 8.
>
> ----- Original Message ----- From: "Rőczei Gábor" <roczei at niif.hu>
> To: <hpc-forum at listserv.niif.hu>
> Cc: "HPC support" <hpc-support at niif.hu>; <visontai.david at zoldhazec.hu>
> Sent: Monday, June 29, 2015 4:53 PM
> Subject: Re: [Hpc-forum] LIGGGHTS forditas es futtatas -57570-
>
>
> Kedves Listatagok!
>
> Van esetleg valakinek tapasztalata LIGGGHTS fordításban? Nagyon örülnék
> annak, ha mostantól ezen a listán keresztül folyna a kommunikáció a HPC
> alkalmazások lefordításával kapcsolatban.
>
> Üdvözlettel,
>
>       Rőczei Gábor
>        NIIF Intézet
>
> Ui.: A hpc-forum-ra itt lehet feliratkozni:
> https://listserv.niif.hu/mailman/listinfo/hpc-forum
>
>> On 2015 May 28, at 17:10, Visontai Dávid <jegesm at gmail.com> wrote:
>>
>> Kedves Support,
>>
>> a LIGGGHTS nevü molekuláris dinamikai csomagot szeretném lefordítani és
>> ehhez szeretnék segitséget kérni, ha van rá kapacitás.
>>
>> Ami eddig sikerült (a szegedi gépen):
>>
>> Sorosan megy, ezzel nincs gond. A korábban futtatásra használt géppel 
>> való
>> összehasonlítás alapján egyezik, hogy 3x lassabban fut.
>>
>> Párhuzamos (gnu vagy intel+mkl fordítóval): működik az alábbi
>> eredményekkel:
>> procs = --ntasks-per-node
>> Az idő a programon beluli rutin által számolt tiszta futási idő
>>
>> - Kis rendszeren 4376 atom:
>> 1 procs    35.3s
>> 2 procs    18.4s   1.9x
>> 4 procs    14.8s   2.3x
>> 8 procs    10.2s   3.4x
>> 12 procs 298.9s  0.1x
>> 16 procs 139.6s  0.2x
>> 24 és 48-nál SEGFAULT valószínűleg túl kicsi a rendszer
>>
>> - Nagy rendszeren 35008 atom
>> 1 procs  239.8s
>> 2 procs  129.6s  1.8x
>> 4 procs    73.2s  3.2x
>> 8 procs   330.1s 0.7x
>> 12 procs 378.2s 0.6x
>> 16 procs 236.8s 1.0x
>> 24 procs 157.8s 1.5x
>> 48 procs  19.6s  12.1x
>>
>>
>> Kis rendszernél még elfogadom, hogy sok process esetén több a
>> kommunikáció, mint a tényleges számolás, de azért azt nem várom, hogy
>> ennyire lelassuljon.
>> Nagy rendszernél viszont nem értem mi történik.
>> Lehetséges, hogy rossz struktúrában küldi be a processeket?
>>
>> Bárminemü útbaigazítást szívesen fogadok!
>>
>> A program a LAMMPS 2013 Nov verziójára épül
>> A program elérhetősége:
>> https://github.com/CFDEMproject/LIGGGHTS-PUBLIC
>> https://github.com/CFDEMproject/LIGGGHTS-3-beta-PUBLIC
>>
>>
>> OPENMP:
>> nem sikerült lefordítani és nem vagyok benne biztos, hogy ezt a verziót
>> lehet. Az interneten viszont léteznek beszámolók benchmarkokról
>>
>> CUDA
>> Elvileg lehet gpu-val is gyorsítani. Sikerült lefordítani a következő
>> modulokkal:
>> fftw/3.3.3-intel
>> intel/2013_sp1
>> openmpi/1.6.3-intel
>> cuda/6.5.14
>>
>> Futásnál viszont a következő hibát kapom rögtön az elején
>> [gpu1.szeged.hpc.niif.hu:12750] mca: base: component_find: unable to open
>> /opt/nce/packages/global/openmpi/1.6.3-intel/lib/openmpi/mca_btl_openib:
>> libosmcomp.so.3: cannot open shared object file: No such file or 
>> directory
>> (ignored)
>> (Részletesebben a /home/jegesm/Work/Teszt_82_cuda/stdout -ban)
>>
>> az LD_LIBRARY_PATH-ban szerepel a /usr/lib64/ , ahol libosmcomp.so
>> található, de innentől kezdve nem értem mi történik.
>>
>>
>>
>> Előre is köszönöm!
>>
>> Üdvözlettel
>> --
>> Visontai David
>> ELTE-KRFT
>> http://zoldhazec.hu/
>> http://villapanorama.hu/
>
>
>
> _______________________________________________
> Hpc-forum mailing list
> Hpc-forum at listserv.niif.hu
> https://listserv.niif.hu/mailman/listinfo/hpc-forum
>
>
> _______________________________________________
> Hpc-forum mailing list
> Hpc-forum at listserv.niif.hu
> https://listserv.niif.hu/mailman/listinfo/hpc-forum



-- 
Visontai David
ELTE-KRFT
http://zoldhazec.hu/
http://villapanorama.hu/ 
--------- következő rész ---------
A non-text attachment was scrubbed...
Name: liggghts.pdf
Type: application/pdf
Size: 5504 bytes
Desc: nem elérhető
URL: <https://listserv.niif.hu/pipermail/hpc-forum/attachments/20150706/460f732d/attachment.pdf>

További információk a(z) Hpc-forum levelezőlistáról