[Hpc-forum] nagy fájl probléma

[Endre Barta]

Tisztelt Szuperszámítógép Üzemeltetők!

Az alábbi levelemet június 12-én már egyszer elküldtem a NIIF Rendszergazda címre, de sajnos nem kaptam semmi választ, ezért most a szélesebb nyilvánosság előtt elküldöm mégegyszer, remélve, hogy valaki segítséget tud adni a probléma megoldásához.

Köszönettel:

Endre

----------------------------------------------------------
Tisztelt Szuperszámítógép Üzemeltetők, Kedves Tamás!

Köszönöm, hogy ismét elérhető a pécsi gép, ahol most a gímszarvas genomjának összeillesztését próbálom elvégezni (egyébként ez lenne az első a világon). Sajnos azonban beleütköztem egy egyelőre megoldhatatlannak tűnő problémába:

A denovo assembly preprocesszálását elvégeztem Debrecenben a saját Silicon klaszterünkön (head node: 2x6 core, 144GB RAM, helyi diszkek! stb, + 6 node 48GB RAM). A fő feladathoz azonban minimum 400-500 GB RAM kell, ehhez elvileg a pécsi szerver lenne a megfelelő . Az előprocesszálás során kb. 550 GB adat keletkezett, amit megpróbáltam átmásolni a pécsi szerverre. Kisebb fennakadásokkal sikerült is, kivéve egy fájlt, ami 159GB nagyságú. Ezt akárhányszor is próbáltam, nem sikerült áttranszferálni.

Ezt áthidalandó a "split" shell paranccsal széjjelszedtem 4.9GB-os darabokra. Ezeket sikeresen át is másoltam a pécsi gépre, azonban azóta akárhányszor, akárhogyis próbáltam (scratchból a home-ba, először kisebb, aztán nagyobb darabok stb.)nem sikerült a "cat" paranccsal összefűzni a fájlokat. A hibaüzenet:

PÉCS[vserver] Aros (0)$ cat nohup.err
cat: íráshiba: Ismeretlen hiba 512
PÉCS[vserver] Aros (0)$

Azt kérném, hogy valahogy segítsetek ezt a problémát megoldani, nagyon fontos lenne, hogy el tudjam indítani ezt a programot.

A split-tel széjjelszedett darabok a:
/scratch/ebarta/szarvas/darabok

könyvtárban vannak.

További genomikai munkámhoz szeretném kérni a trinityrnaseq programcsomag installálását a pécsi gépre. Ez szintén sok (100-200GB) memóriát igényel. A program elérhetősége:

http://trinityrnaseq.sourceforge.net/

Köszönettel:

Endre


__________________________
Endre Barta PhD.
University of Debrecen
Department of Biochemistry and Mol. Biol.
Egyetem ter 1.
H-4032, Debrecen
HUNGARY
Mobile: +36208249725
E-mail: endre.barta at gmail.com
http://nlab.med.unideb.hu/