[Hpc-forum] nagy fájl probléma

[Sandor Fekete]

Kedves Endre!

Megpróbáljuk megoldani a problémát.
Nyitok két hibajegyet a mi bugtrack rendszerünkben, a nyomonkövethetőség 
végett.

Üdv,
Sanyi

Udv / Best regards,
Sandor Fekete
Support engineer, Silicon Computers Ltd.
www.silicon.hu

On 2013-07-05 09:26, Endre Barta wrote:
> Tisztelt Szuperszámítógép Üzemeltetők!
>
> Az alábbi levelemet június 12-én már egyszer elküldtem a NIIF Rendszergazda címre, de sajnos nem kaptam semmi választ, ezért most a szélesebb nyilvánosság előtt elküldöm mégegyszer, remélve, hogy valaki segítséget tud adni a probléma megoldásához.
>
> Köszönettel:
>
> Endre
>
> ----------------------------------------------------------
> Tisztelt Szuperszámítógép Üzemeltetők, Kedves Tamás!
>
> Köszönöm, hogy ismét elérhető a pécsi gép, ahol most a gímszarvas genomjának összeillesztését próbálom elvégezni (egyébként ez lenne az első a világon). Sajnos azonban beleütköztem egy egyelőre megoldhatatlannak tűnő problémába:
>
> A denovo assembly preprocesszálását elvégeztem Debrecenben a saját Silicon klaszterünkön (head node: 2x6 core, 144GB RAM, helyi diszkek! stb, + 6 node 48GB RAM). A fő feladathoz azonban minimum 400-500 GB RAM kell, ehhez elvileg a pécsi szerver lenne a megfelelő . Az előprocesszálás során kb. 550 GB adat keletkezett, amit megpróbáltam átmásolni a pécsi szerverre. Kisebb fennakadásokkal sikerült is, kivéve egy fájlt, ami 159GB nagyságú. Ezt akárhányszor is próbáltam, nem sikerült áttranszferálni.
>
> Ezt áthidalandó a "split" shell paranccsal széjjelszedtem 4.9GB-os darabokra. Ezeket sikeresen át is másoltam a pécsi gépre, azonban azóta akárhányszor, akárhogyis próbáltam (scratchból a home-ba, először kisebb, aztán nagyobb darabok stb.)nem sikerült a "cat" paranccsal összefűzni a fájlokat. A hibaüzenet:
>
> PÉCS[vserver] Aros (0)$ cat nohup.err
> cat: íráshiba: Ismeretlen hiba 512
> PÉCS[vserver] Aros (0)$
>
> Azt kérném, hogy valahogy segítsetek ezt a problémát megoldani, nagyon fontos lenne, hogy el tudjam indítani ezt a programot.
>
> A split-tel széjjelszedett darabok a:
> /scratch/ebarta/szarvas/darabok
>
> könyvtárban vannak.
>
> További genomikai munkámhoz szeretném kérni a trinityrnaseq programcsomag installálását a pécsi gépre. Ez szintén sok (100-200GB) memóriát igényel. A program elérhetősége:
>
> http://trinityrnaseq.sourceforge.net/
>
> Köszönettel:
>
> Endre
>
>
> __________________________
> Endre Barta PhD.
> University of Debrecen
> Department of Biochemistry and Mol. Biol.
> Egyetem ter 1.
> H-4032, Debrecen
> HUNGARY
> Mobile: +36208249725
> E-mail: endre.barta at gmail.com
> http://nlab.med.unideb.hu/