View Full Version : [help] calcolo distribuito home-made?
ciao a tutti, è il mio primo post in questa sezione.
non sono un utente di boinc, seti, folding@home, sio sono, ehm...
"dall'altra parte" della barricata :sofico:
cmq, io ce provo:
sono dottorando in genetica all'università di Pavia.
mi occupo di biologia molecolare
spesso mi capita di dover far girare degli applicativi di bioinformatica
capita che questi applicativi siano pesantucci
(a volte li scrivono in Java, che non è proprio un mostro di velocità)
il mio portatile con PentiumM 1 gHz e 1 Gb di Ram a volte fa parecchia fatica costringendomi a splittare i file e/o aspettare parecchio tra una botta di calcoli e l'altra.
mi domandavo se qualcuno di voi non fosse disposto, per amore della gloria e per un ringraziamento segli (eventuali) articoli pubblicati, a "prestarmi" la sua potenza di calcolo (so che avete tutti dei PC astronomici, maledetti! :asd: ).
pensavo, una volta in contatto con chi se la sente, di passarvi software, file e istruzioni e ovviamente la spiegazione di quel che si sta facendo.
la maggior parte sono per linux, qualcuno per windows.
chi se la sente? :D :D
attualmente sto usando questi
http://www.hsph.harvard.edu/~cli/complab/dchip/
http://sundarlab.ucdavis.edu/mirna/
http://acgt.cs.tau.ac.il/amadeus/index.html
gabi.2437
09-10-2008, 17:41
Butta su un progetto BOINC :D E qua qualcuno parteciperà di sicuro
Io cmq ho windows, se vuoi passarmi qualcosa ci sono
non è roba così tanto pesante :D
se avessi un PC più performante me lo farei da solo :D
se vuoi possiamo iniziare subito :D
hai una casella GMAIL e Java sul PC?
ti mando Amadeus e tre file (uno grossino 7 mb, gli altri piccoli).
daiiiiiiiiiiiiiiiii :sofico:
gabi.2437
09-10-2008, 18:01
Niente gmail, e java boh, avevo installato una volta una roba... non puoi uppare i file su qualcosa tipo rapidshare?
SwOrDoFmYdEsTiNy
09-10-2008, 18:15
io posso fare quelli su linux senza problemi
P.s. siccome sono abba strodito, se mi rispondi, fallo x pm (XD)
banana snapple
09-10-2008, 19:26
se non è una cosa troppo difficile da fare, passa pure qualcosa per windows :fagiano:
EDIT: contattami in pvt su come fare, se vuoi ti passo anche la mail di gmail se ti fa più comodo! ;)
gabi.2437
09-10-2008, 19:30
Fai un zip, uppa su rapidshare e bon, al max dici chi deve elaborare cosa :D
SwOrDoFmYdEsTiNy
09-10-2008, 19:44
Fai un zip, uppa su rapidshare e bon, al max dici chi deve elaborare cosa :D
ma sopratutto come fare :D
P.s. io ho ubuntu, non so a quale distro linux ti riferisci, però penso che vada bene lo stesso ^^
grazie a tutti :)
adesso metto in ordine di priorità le cose da fare poi mi faccio vivo :)
ok ci siamo :D
chi ha 2 Gb di ram e Java su windows? :sofico:
banana snapple
10-10-2008, 16:00
ok ci siamo :D
chi ha 2 Gb di ram e Java su windows? :sofico:
sui 2 gb di ram ci sono :fagiano:
per il java anche credo di si, tengo installato Java(TM) 6 Update 7 :stordita:
tutto perfetto! :D
ok
mandami in pvt una casella GMAIL che ti mando tutto (i file di 7 mb dell'applicativo JAva, un file di 7 mb da dargli in pasto, più altre cosettine piccole e le istruzioni).
ti linko anche la pagina del programmino, magari ti interessa sapere cosa stiamo calcolando ;)
poi scappo che devo annà :D
banana snapple ti sto mandando un file con dentro tutto ma anche zippato risulta di 42 mb!!!
adesso lo sto uploadando su rapidshare.
però mò stacco, se riesco mi colelgo nel weekend, sennò ci sentiamo lunedì ;)
peccato perchè mi sarebbe piaciuto fare tutti in "presa diretta" :)
banana snapple
10-10-2008, 17:04
banana snapple ti sto mandando un file con dentro tutto ma anche zippato risulta di 42 mb!!!
adesso lo sto uploadando su rapidshare.
però mò stacco, se riesco mi colelgo nel weekend, sennò ci sentiamo lunedì ;)
peccato perchè mi sarebbe piaciuto fare tutti in "presa diretta" :)
ok! non ti preoccupare fa con comodo! ;)
mentre parte la mail, dovrebbe arrivarti in mail il link di rapidshare.
provi a controllare se è arrivato? :)
EDIT a me è arrivato, prova un pò a scaricare
banana snapple
10-10-2008, 17:09
arrivato! file in download ;)
nooooooooooooooooooooooooooooooooooooooooooo la mail!!!
mi si è cancellata, ci avevo messo un quarto d'ora a mettere dentro le istruzioni :cry: :cry: :cry:
devo proprio scappare, divertiti se hei tempo e voglia, ci sentiamo lunedì ;)
ciaoooooooo e grazie :)
banana snapple
10-10-2008, 17:18
ok! :D
vedo che combino da solo, al limite aspetto le istruzioni! :fagiano:
SwOrDoFmYdEsTiNy
10-10-2008, 19:57
se serve una mano anche io ho 2 gb di ram su windows (XP) e java, dovrebbe esserci già
P.s. io sono disponibile per fare anche le cose su Ubuntu (linux)
se serve una mano anche io ho 2 gb di ram su windows (XP) e java, dovrebbe esserci già
P.s. io sono disponibile per fare anche le cose su Ubuntu (linux)
ciao :)
semi dai una casella di posta ti scrivo link istruzioni e tutto ;)
grazie anche a te :)
ok! :D
vedo che combino da solo, al limite aspetto le istruzioni! :fagiano:
appena riesco ti iscrivo le istruzioni :)
banana snapple
13-10-2008, 16:13
appena riesco ti iscrivo le istruzioni :)
ok! va bene!
cmq, io ce provo:
sono dottorando in genetica all'università di Pavia.
mi occupo di biologia molecolare
...
Complimenti!
se serve una mano anche io ho 2 gb di ram su windows (XP) e java, dovrebbe esserci già
P.s. io sono disponibile per fare anche le cose su Ubuntu (linux)
Anche io. Ho sicuramente disponibile un host Win2003 x64 e alcune vm Ubuntu (x86) e CentOS (x64).
Mi puoi provare a scrivere a
r a l 1
3 1
0
7 8 chiocciola hotmail punto com
dove il testo in rosso lo devi unire senza lasciare spazi.
Le parole in corsivo sostituiscile con il simbolo descritto.
Ciao
Federico
mi scuso con tutti, sono in contatto con l'autore del software per un problemino di input (il software non è stato studiato per essere applicato ai database di organismi vegetali, quindi gli input vano un pò adattati e non è semplicissimo visto che sono oltre 20mila sequenze e quindi va fatto tutto in automatico :cry: )
appena risolvo, mi faccio vivo.
mi scuso in particolare con BananaSnapple di cui sto già occupando 40 mb su disco.
questione di pochi giorni, spero.
intanto sto facendo girare un altro algoritmo, se è troppo pesante per il mio PC ve lo passo.
thanks! :)
gabi.2437
14-10-2008, 17:27
Ma perchè vuoi la mail e non ci mandi un semplice PM? Uppi su rapidshare la roba, spedisci il link in PM e noi elaboriamo la roba
Anche io. Ho sicuramente disponibile un host Win2003 x64 e alcune vm Ubuntu (x86) e CentOS (x64).
Mi puoi provare a scrivere a
r a l 1
3 1
0
7 8 chiocciola hotmail punto com
dove il testo in rosso lo devi unire senza lasciare spazi.
Le parole in corsivo sostituiscile con il simbolo descritto.
Ciao
Federico
ehi grazie!
le macchine a 64 bit non so se riesco a farle funzionare, c'è un algoritmo che consuma molta memoria e i 64 bit gli potrebbero far bene, ma dovrei ricompilarlo e non potrei testarlo.
se mastichi linux potresti farlo tu, sarebbe un problema?
servono i soliti GCC etc...
mò controllo
Ma perchè vuoi la mail e non ci mandi un semplice PM? Uppi su rapidshare la roba, spedisci il link in PM e noi elaboriamo la roba
si mi sono accorto venerdì che rapidshare è sicuramente il modo più veloce, da adesso in poi mi sa che faccio così ;)
se avessi tutto pronto vi darei subito la roba ma impostare tutto in modo che sia immediato per voi, con le istruzione passo-passo, richiede una marea di tempo!! :muro:
gabi.2437
14-10-2008, 17:38
Già che ci sei spiegami che roba devo fare con java, così poi quando spedisci faccio subito partire
è tutto nell'applicativo, devi solo mettergli gli input nella mascherina della GUI e dargli START.
gli applicativi sono:
- STEM (http://www.cs.cmu.edu/~jernst/stem/)
- Timeclust (http://aimed11.unipv.it/TimeClust/ - questo non è in java, usa delle librerie di mathlab).
l'output di questi due poi lo butterò dentro Amadeus che ho già dato a banana snapple (amadeus ha dei problemi di input dovuti alla formattazione dei nomi dei geni).
gli input per STEM e Timeclust sono dei livelli di espressione di geni di interesse (in pratica tabelle di 5000 righe - 5000 geni - e 10 time point) derivati da microarray AHT1.
l'idea è di clusterizzare i geni coespressi temporalmente e cercare in ogni cluster degli elementi regolativi, cioè delle sequenze regolative comuni a monte dei geni coespressi.
SwOrDoFmYdEsTiNy
14-10-2008, 18:40
è tutto nell'applicativo, devi solo mettergli gli input nella mascherina della GUI e dargli START.
gli applicativi sono:
- STEM (http://www.cs.cmu.edu/~jernst/stem/)
- Timeclust (http://aimed11.unipv.it/TimeClust/ - questo non è in java, usa delle librerie di mathlab).
l'output di questi due poi lo butterò dentro Amadeus che ho già dato a banana snapple (amadeus ha dei problemi di input dovuti alla formattazione dei nomi dei geni).
gli input per STEM e Timeclust sono dei livelli di espressione di geni di interesse (in pratica tabelle di 5000 righe - 5000 geni - e 10 time point) derivati da microarray AHT1.
l'idea è di clusterizzare i geni coespressi temporalmente e cercare in ogni cluster degli elementi regolativi, cioè delle sequenze regolative comuni a monte dei geni coespressi.
:fagiano: detto in termini semplici? :ciapet:
comunque, io sono sempre disponibile, istruzioni passo passo (volendo potrei pure provarci, ma non so proprio dove iniziare, e ti do la potenza ellaborativa del mio procio (4 core ti bastano? :ciapet: )
ok sono pronto.
ho preparato un file zippato, come per BananaSnapple, con applicativo, dataset e un file di configurazione bello e pronto.
lo uppo su rapidshare.
mando un pvt a BananaSnapple con il link
se qualcuno vuole cimentarsi e dirmi quanto impiega a girare (sulle vostre bestie non dovrebbe impiegare più di 10 minutii) me lo dica qua nel 3d e gli mando il pvt.
grazie a tutti!! :)
gabi.2437
14-10-2008, 20:32
Dai manda sto pvt, sono gratis eh :D
intanto chi ha linux se vuole può scaricarsi findMirna (http://sundarlab.ucdavis.edu/mirna/findmirna_programs.tar.gz - dentro c'è il source e la versione precompilata per red hat, io l'ho usata su Mandriva 10.0 e ha funzionato alla grande) e una sua dipendenza (http://www.tbi.univie.ac.at/~ivo/RNA/ViennaRNA-1.7.2.tar.gz) che però va compilata separatamente (non c'è pre-compilata).
lavora con un'architettura tipo query su un database:
i database sono "grossini" (un'intero genoma, 120 milioni di basi :cry: tradotto: mezzo giga di sequenze in un unico file :eek: ).
la query sono le sequenze di interesse (non credo più di 1000 sequenze a botta)
Io lo facevo girare su "pezzi" di database da 100 mb con una query piccolina, tipo 20 sequenze, e ci metteva (sul mio pentiuM da 1 gHz e 1 Gb di ram) un'oretta a botta.
il database posso splittarlo per voi oppure darvi l'indirizzo FTP (sono pubblicamente disponibili) e lo scriptino per splittarli (una fesseria).
Oppure potremmo usare come DB i singoli cromosomi che sono più piccoli.
volevo inziare con una query piccola su un DB piccolo, per farmi un'idea di quanto impiega sui rispettivi computer e come conviene dimensionare il tutto.
chi ci sta? :D
Dai manda sto pvt, sono gratis eh :D
fatto :)
è che non volevo intasare i pvt della gente con assurde richieste di calcolo :asd:
gabi.2437
14-10-2008, 20:42
Lorekon has exceeded their stored private messages quota and can not accept further messages until they clear some space.
Cmq, il link che mi hai mandato l'hai scritto male cioè, ..share.zip, hai copiato il link versione abbreviata:D
Np, per quel che mi riguarda ti ho dato la disponibilità quindi se mi intasi posso prendermela solo con me :D
oooooooooops :D provvedo
funge il link?
io starei andando, se hai voglia di farlo subito ti aspetto altrimenti vediamo domani. :)
SwOrDoFmYdEsTiNy
14-10-2008, 20:54
oooooooooops :D provvedo
funge il link?
io starei andando, se hai voglia di farlo subito ti aspetto altrimenti vediamo domani. :)
io riavvio il pc e faccio partire ubuntu, aspetto un tuo pm ^^
gabi.2437
14-10-2008, 20:56
Funge, mò devo capire come funge sto amadeus
visto che hai linux (e tanta ram!) potresti se ti vz provare questo
http://www.hwupgrade.it/forum/showpost.php?p=24568194&postcount=33
però devi essere pratico e saper compilare (e avere i compilatori installati etc etc) il che non è scontato (anche se molto molto facile... ho imparato anche io! :D )
intanto ti mando il pvt ;)
Funge, mò devo capire come funge sto amadeus
se parte sei a posto :D
c'è il file di configurazione dentro "E2F Dataset", si chiama "E2F parameters".
clicca l'ultimo tasto dei cinque in basso per caricarlo, il resto viene da sè ;)
gabi.2437
14-10-2008, 21:00
No non funge, suppongo che devo scaricare qualcos'altro giusto? Tipo sequences files e background files?
No non funge, suppongo che devo scaricare qualcos'altro giusto? Tipo sequences files e background files?
è tutto dentro :stordita:
nella cartella "E2F Dataset".
scompatta tutto il file prima di lanciarlo
nel file di configurazione che ho preparato dovrbbe esseri già il percorso che porta ai file id input.
gabi.2437
14-10-2008, 21:04
Si, l'ho scompattato in una cartella sul pc, faccio ultimo tasto-->ef2 parameters, poi pigio play ma...
http://img143.imageshack.us/my.php?image=amadeusnl7.jpg
gabi.2437
14-10-2008, 21:07
Oook funge!
Dovevo indicare i vari file dove sono sul mio pc, ovvero dove ho scompattato il tutto, visto che di default indica il percorso sul TUO pc :D
Si, l'ho scompattato in una cartella sul pc, faccio ultimo tasto-->ef2 parameters, poi pigio play ma...
http://img143.imageshack.us/my.php?image=amadeusnl7.jpg
oh, no!!! :muro: :muro: :muro: :muro: :muro:
sono davvero un pirla!! :mad:
what a stupid guy!!
il percorso è rimasto quello del MIO computer!!! :cry:
dovresti fare "browse" e dargli manualmente:
- sequences (è il file che inizi aper TAIR...)
- Background (è quello che inizia per BG...)
- target (è il terzo, più piccolo, __test_E2F_regulated... )
sorry sorry sorry.
le altre impostazioni le ha prese?
p.es il cursore è su Large o Normal?
Oook funge!
Dovevo indicare i vari file dove sono sul mio pc, ovvero dove ho scompattato il tutto, visto che di default indica il percorso sul TUO pc :D
ah ecco, sei decisamente più sveglio di me :D
quando ha finito mi dici quanto ci ha messo, e che Proc e quanta RAM hai?
thanks ;)
gabi.2437
14-10-2008, 21:10
Sisi ci sono arrivato da solo, quando ho visto che le path varie erano del tuo pc ho individuato il problema, ho visto i nomi dei file e, visto che dentro la cartella EF2 parameters c'erano, risolto subito. È su Large, perchè?
Procio E6600 a 2,4ghz (non overclockato quindi), 2gb di RAM e è alla fase 3
perchè di default è su "normal" ma io nel file di config l'avevo messo su LArge e volevo vedere se aveva preso quell'impostazione.
se si blocca non curartene, non è in freeze è solo rallentato.
sta ancora girando? :stordita:
gabi.2437
14-10-2008, 21:12
Si, dal task manager vedo che usa tutto un core quindi bene
E' al 70% della fase 3: merging motifs
Edit: continua la fase 3, merge iteration #2
è pesante sto carognone eh? :asd:
sopratutto perchè è in Java credo.
Ah, che bella cosa la portabilità... :p
dopo proviamo a farlo girare sotto AlphaWinux :O
gabi.2437
14-10-2008, 21:15
In java roba di elaborazione pesante: :ahahah:
Iteration #3...quante ce ne sono? :asd:
Sotto Alphawinux ho sentito dire che usa entrambi i core (anche se il thread è uno solo chissenefrega) e li overclocka automaticamente!!!!!
Edit: ma pesa 1 giga sta roba? LOL java.exe 944.000KB circa...
Ora sta eliminando le ridondanze... FINE
ehm... ahr... well... quante ce ne sono?
non lo so :stordita:
In java roba di elaborazione pesante: :ahahah:
Iteration #3...quante ce ne sono? :asd:
Sotto Alphawinux ho sentito dire che usa entrambi i core (anche se il thread è uno solo chissenefrega) e li overclocka automaticamente!!!!!
Edit: ma pesa 1 giga sta roba? LOL java.exe 944.000KB circa...
Ora sta eliminando le ridondanze... FINE
si nel file .bat che lo lancia sono specificati i parametri per java con 1,3 Gb di Ram o qlcs di simile.
BRAVO!!!
tempo impiegato?
puoi salvare l'output e mandarmelo?
bella lì!
esperimento riuscito!
gabi.2437
14-10-2008, 21:23
Fatto, è giusto?
non lo so perchè non ho mai aperto un output salvato.
aprendolo come TXT ovviamente non si capisce un cavolo.
(sono nuovo anch'io di amadeus)
se non hai chiuso l'applicativo, dovresti vedere sulla destra un pò di cose, i loghi dei siti di binding e alcuni parametri.
dovrebbe aver trovato 8 siti di binding di cui uno E2F-simile.
ti torna?
mò stacco, che devo ancora cenare :cry:
domani se vuoi ti mando un altro file conun test per i 3'UTR (questo era per i promotori)
ciao e grazie :)
gabi.2437
14-10-2008, 21:31
Boh c'è tanta roba...sotto Output tutto testuale, sotto Results e PairResults più grafica la cosa... ma ci sono più di 8 motifs, se vuoi ti mando le varie immagini che salva...
Cmq devi dirci anche come mandarti i risultati perchè in effetti ho provato ad aprire quella roba col blocco note e non ci si capisce niente
Ok, a domani allora!
ho provato ad aprirla con UltraEdit e si allineano meglio i risultati, cmq la cosa è da studiare un pò.
stanotte leggo l'articolo e vi so dire.
gabi.2437
14-10-2008, 21:39
Ok! Cmq quando arriva il Q9550 ci metterà ancora meno :sofico:
SwOrDoFmYdEsTiNy
14-10-2008, 22:06
Ok! Cmq quando arriva il Q9550 ci metterà ancora meno :sofico:
io ho il q6600 e sto facendo andare il file che mi hanno passato x pm, e ti posso dire che usa solo il 30% di tutti e 4 i core (circa) quindi se fosse un core solo sarebbe al 100% se potesse usare tutti e 4 i core al 100% sarebbe meglio
P.s. si mi sono accorto pure io di quell'errore che c'è stato nell'indirizzamento dei file ( o come cavolo si chiama XD)
EDIT: finita in circa 12-14 minuti (ero in bagno e nn ho visto precisamente il tempo XD)
P.p.s. q6600 2.4ghz (non overclokkato) 2gb di ram, windows xp sp3
P.p.p.s. a quando altro lavoro da fare? (se per domani verso le 2 riesci a farmi avere tutto (e dico veramente TUTTO) quello che c'è per linux) faccio partire il tutto e per sera ti mando il tutto
P.p.p.p.s. non penso che il lavoro per linux sia molto + pesante rispetto a quello per windows (anche se ci ha messo 13 minuti, penso che per fare una cosa di quelle belle pesanti per linux non ci debba mettere molto)
RI-EDIT: se salvi l'uotput in formato txt e lo apri con word si vede tutto bello in ordine ;)
io ho il q6600 e sto facendo andare il file che mi hanno passato x pm, e ti posso dire che usa solo il 30% di tutti e 4 i core (circa) quindi se fosse un core solo sarebbe al 100% se potesse usare tutti e 4 i core al 100% sarebbe meglio
P.s. si mi sono accorto pure io di quell'errore che c'è stato nell'indirizzamento dei file ( o come cavolo si chiama XD)
EDIT: finita in circa 12-14 minuti (ero in bagno e nn ho visto precisamente il tempo XD)
P.p.s. q6600 2.4ghz (non overclokkato) 2gb di ram, windows xp sp3
P.p.p.s. a quando altro lavoro da fare? (se per domani verso le 2 riesci a farmi avere tutto (e dico veramente TUTTO) quello che c'è per linux) faccio partire il tutto e per sera ti mando il tutto
P.p.p.p.s. non penso che il lavoro per linux sia molto + pesante rispetto a quello per windows (anche se ci ha messo 13 minuti, penso che per fare una cosa di quelle belle pesanti per linux non ci debba mettere molto)
RI-EDIT: se salvi l'uotput in formato txt e lo apri con word si vede tutto bello in ordine ;)
allora, per linux c'è findmirna di cui sopra ho spiegato un pò il funzionamento.
dovresti scaricarti i due programmini (findmirna+viennaRNA package) e compilarli.
intanto ti preparo i DB e le query.
per le query purtroppo ci vuole ALTRA potenza di calcolo, devo far girare Timelcust (di cui ho messo il link più sopra) ma nonso ancora quanto ci metterà (dipende anche dai parametri che si impostano.
intanto preparo i DB per findmirna, poi li zippo e gli uploado su Rapidshare.
killercode
15-10-2008, 13:02
se è roba piccola puoi passarmi qualcosa per windows, però devo finire per sera che poi vado via e non torno per un pò su questo computer
pentium 4
1 gb ram
java
uhm mi sa che più o meno siamo messi uguale, io ho un centrino da 1 gHz con 1 gb di ram.
fa lo stesso, grazie mille cmq ;)
killercode
15-10-2008, 13:15
purtroppo è quello che mi resta con accesso ad internet
il mio portatile bicore con 2gb con linux è senza connessione per un problema con l'umts che non ho ancora risolto
comunque è un p4 4 GHz e HT :read:
SwOrDoFmYdEsTiNy
15-10-2008, 13:47
allora, per linux c'è findmirna di cui sopra ho spiegato un pò il funzionamento.
dovresti scaricarti i due programmini (findmirna+viennaRNA package) e compilarli.
intanto ti preparo i DB e le query.
per le query purtroppo ci vuole ALTRA potenza di calcolo, devo far girare Timelcust (di cui ho messo il link più sopra) ma nonso ancora quanto ci metterà (dipende anche dai parametri che si impostano.
intanto preparo i DB per findmirna, poi li zippo e gli uploado su Rapidshare.
O_O vuoi dire che un c2q (posso portarlo a 3ghz senza problemi) non ce la farebbe?
P.s. in caso posso lasciare acceso il pc circa 16 ore al giorno ;)
spero che non sia necessario :asd:
intanto provi a scaricare e compilare i software del post 33?
è tutto nell'applicativo, devi solo mettergli gli input nella mascherina della GUI e dargli START.
gli applicativi sono:
- STEM (http://www.cs.cmu.edu/~jernst/stem/)
- Timeclust (http://aimed11.unipv.it/TimeClust/ - questo non è in java, usa delle librerie di mathlab).
l'output di questi due poi lo butterò dentro Amadeus che ho già dato a banana snapple (amadeus ha dei problemi di input dovuti alla formattazione dei nomi dei geni).
gli input per STEM e Timeclust sono dei livelli di espressione di geni di interesse (in pratica tabelle di 5000 righe - 5000 geni - e 10 time point) derivati da microarray AHT1.
l'idea è di clusterizzare i geni coespressi temporalmente e cercare in ogni cluster degli elementi regolativi, cioè delle sequenze regolative comuni a monte dei geni coespressi.
qualcuno si è installato Timeclust? :stordita:
posso mandare due filettini di input?
Flisi71 ti ho mandato una mail, vedi quel che riesci a fare ;)
thanks
X BananaSnapple
rispondo qui perchè ho i pvt pieni
ottimo, quel dataset è una specie di benchmark, vediamo quanto ci impiega il tuo PC ;)
thanks :)
banana snapple
15-10-2008, 19:31
X BananaSnapple
rispondo qui perchè ho i pvt pieni
ottimo, quel dataset è una specie di benchmark, vediamo quanto ci impiega il tuo PC ;)
thanks :)
domani sto tutto il giorno a casa, mi ci metto con calma dopo fatto colazione :fagiano:
cmq ho un E2180 come processore, niente quad purtroppo :stordita:
una precisazione: se puoi seleziona "bootstrap" e mettilo a 20.
(non farlo alla prima botta, questo farà ripetere 20 volte il calcolo con un target random, vedi prima quanto ci impiega... se sono meno di 5 minuti si, se sono di più ti occuperebbe il PC per troppo tempo...).
intanto di mando dei target più piccoli e più veloci (sono da usare con gli stessi input, ad eccezione del target ovviamente).
ciauz
gabi.2437
15-10-2008, 20:06
Cancella un pò di MP così non hai più la casella piena :D
fatto :O
sei pronto a macinare nuovi intriganti dataset?
i primi due input non cambiano, solo il terzo che è piccolino...
però col bootstrap ci mette molto molto dipiù, ahimè!
gabi.2437
15-10-2008, 20:35
Manda manda, solo dimmi cosa fare, se ancora con amadeus o che altro..però manda! E spiega come spedirti i risultati!
SwOrDoFmYdEsTiNy
15-10-2008, 20:46
Manda manda, solo dimmi cosa fare, se ancora con amadeus o che altro..però manda! E spiega come spedirti i risultati!
concordo!
P.s. adesso cerco di capire come far andare il tutto su ubuntu
Manda manda, solo dimmi cosa fare, se ancora con amadeus o che altro..però manda! E spiega come spedirti i risultati!
se riesco lo faccio già stasera.
è che ho messo i portatile sul ballatoio (GIURO! :D) perchè scalda troppo e lì il wireless prende male...
un attimo solo.
cmq sarà una lista di geni da caricare in "target", il resto è uguale.
nel frattempo se qualcuno si scarica Timeclust...
x sword: i link te li ho messi, se non riesci a compilare proviamo a farlo insieme (hai Gcc, si?)
per l'output di Amadeu basta salvare l'output testuale come testo e l'output grafico come JPG (c'è l'opzione apposita).
SwOrDoFmYdEsTiNy
15-10-2008, 21:12
se riesco lo faccio già stasera.
è che ho messo i portatile sul ballatoio (GIURO! :D) perchè scalda troppo e lì il wireless prende male...
un attimo solo.
cmq sarà una lista di geni da caricare in "target", il resto è uguale.
nel frattempo se qualcuno si scarica Timeclust...
x sword: i link te li ho messi, se non riesci a compilare proviamo a farlo insieme (hai Gcc, si?)
ci sono tutti i santi a farmi compagnia :muro: non riesco a compilare nulla T_T
P.s. io avevo detto che mettevo a disposizione il processore non il mio cervello (:ciapet: )
P.p.s. se mi dai una mano ne sarei molto felice (e credo anche tu)
P.p.p.s. il mio contatto di msn è: lifeofsword@hotmail.it
non conosco Ubuntu cmq ci dovrebbe essere un sistema per accedere ai repository on line (qualsoa tipo apt-get visto che deriva da debian, cmq non sono sicuro).
ecco, accedi e scaricati Gcc che è un programma per compilare ovvero fare un file eseguibile sulla tua distribuzione a partire da un "source".
non è necessario per FindMirna (c'è una versione precompilata per fedora che dovrebbe andar bene) ma per Vienna RNA Package sì, purtroppo.
dentro il file compresso di Vienna cmq ci sono tutte le istruzioni per la compilazione.
in linea di massima dovresti scompattare tutto, entrare nella cartella dalla bash (col comando "cd /percorsocartella/nomecartella"), scrivere
./configure (invio)
e lui butta fuori un pò di parametri, quando ha finito scrivi
make (invio, e aspetti un attimo che finisca)
poi
make check (lui fa un paio di test e controlla che sia tutto ok
poi ti logghi come admin (su mandrake c'è il comando "su", su ubuntu non so, cmq se fai "login" poi metti nome di root e password ti logga).
occhio che una volta loggato come admin devi riposizionarti nella cartella in cui hai fatto tutto.
una volta loggato scrivi "make install" e lui ti installa il programma.
prova, poi vediamo ;)
no nuso molto msn, se hai skype è meglio :stordita: sennò dalla chat di gmail :stordita:
SwOrDoFmYdEsTiNy
15-10-2008, 21:42
non conosco Ubuntu cmq ci dovrebbe essere un sistema per accedere ai repository on line (qualsoa tipo apt-get visto che deriva da debian, cmq non sono sicuro).
ecco, accedi e scaricati Gcc che è un programma per compilare ovvero fare un file eseguibile sulla tua distribuzione a partire da un "source".
non è necessario per FindMirna (c'è una versione precompilata per fedora che dovrebbe andar bene) ma per Vienna RNA Package sì, purtroppo.
dentro il file compresso di Vienna cmq ci sono tutte le istruzioni per la compilazione.
in linea di massima dovresti scompattare tutto, entrare nella cartella dalla bash (col comando "cd /percorsocartella/nomecartella"), scrivere
./configure (invio)
e lui butta fuori un pò di parametri, quando ha finito scrivi
make (invio, e aspetti un attimo che finisca)
poi
make check (lui fa un paio di test e controlla che sia tutto ok
poi ti logghi come admin (su mandrake c'è il comando "su", su ubuntu non so, cmq se fai "login" poi metti nome di root e password ti logga).
occhio che una volta loggato come admin devi riposizionarti nella cartella in cui hai fatto tutto.
una volta loggato scrivi "make install" e lui ti installa il programma.
prova, poi vediamo ;)
no nuso molto msn, se hai skype è meglio :stordita: sennò dalla chat di gmail :stordita:
ho provato ma mi da degli errori, domani (o venerdì mattina che c'è sciopero) cerco di vedere bene e di risolvere, adesso il sonno mi attanaglia (e anche mia madre XD)
P.s. se vuoi posso fare qualcosa con windows prima di spegnere ;)
no tranqui vai a nanna ;)
SwOrDoFmYdEsTiNy
16-10-2008, 13:53
no tranqui vai a nanna ;)
è normale che dopo + di 5 ore non abbia ancora finito? eppure l'utilizzo della cpu è a zero
gabi.2437
16-10-2008, 13:57
Se l'utilizzo della cpu è 0 io mi preoccuperei :D
SwOrDoFmYdEsTiNy
16-10-2008, 14:13
Se l'utilizzo della cpu è 0 io mi preoccuperei :D
non so perchè ma si è bloccato tutto e ho dovuto riavviare, comunque l'utilizzo della cpu era a zero, ma quello della memoria era a quasi 2 gb
gabi.2437
16-10-2008, 14:38
Beh non c'entra niente, anche con la roba che ha spedito a me quando l'elaborazione finisce la memoria rimane occupata finchè non chiudo l'applicazione :D
se avete tempo-macchina a disposizione dovreste far girare tutto come prima selezionando "pair analysis" o "bootstrapping" i quali danno una misura della bontà della predizione.
thanks ;)
timeclust lo sta facedo girare Flisi71 (:ave:)
x flisi
c'è qualcosa che non va secondo la tizia dell'algoritmo.
ferma tutto che riproviamo.
EDIT
niente pvt, ti ho mandato una mail a quell'indirizzo.
gabi.2437
16-10-2008, 15:33
Uno esclude l'altro o entrambi? E quanti bootstrap? 50?
x flisi
c'è qualcosa che non va secondo la tizia dell'algoritmo.
ferma tutto che riproviamo.
hai pvt.
Ok, ho fermato.
Avevamo superato la soglia dei 30000 file
model_xxxxx.mat
Ciao
Federico
50 sono molto, direi tra 10 e 20 (10 per la prima prova, così abbiamo una misura del tempo che ci mette).
in arrivo dei file di Target nuovi (sono piccoli), per valutare se l'algoritmo è adatto alle piante (è stato ottimizzato per i metazoa).
gli altri due file sono uguali (seuqenze e background).
dovreste avere 2 file per gli UTR (uno grosso di sequenze e uno piccolo di background coi soli nomi) e 2 file per i promotori (gli UpstreamXXYYZZ, semper sequenze e background).
quelli sono fissi (dipende se si usano dei 3'UTR o dei promotori, ovviamente)
quel che cambia è la lista di geni da screenare ma visto che sono solo i nomi delle etichette, sono file piccoli.
per favore guardate se all'inizio, quando prende gli input, scarta dei geni e per quale motivo (se per ridondanza è OK, se è perchè non li trova nel BG o nel target no perchè significa che devo correggere gli input).
Ok, ho fermato.
Avevamo superato la soglia dei 30000 file
model_xxxxx.mat
Ciao
Federico
nella mail c'è spiegato tutto.
penso che la chiave sia l'opzione "Heuristic"
gabi.2437
16-10-2008, 15:46
Nella roba che mi inviasti si, scarta 1 gene perchè non era presente nel BG set mentre ne scarta 4067 per ridondanza
Ok, buttato su analyze pairs e 20bootstrap...ma vuol dire che lo rifa 20volte? :D
ehm... si :D
paghiamo un tributo a Bonferroni! :O
gabi.2437
16-10-2008, 15:57
Ma deve per forza pesare 1giga? :D Dai E6600, dai, susu che ce la fai
Uh che tenere le WU di BOINC, si sono strette su un core solo
banana snapple
16-10-2008, 16:32
problema:
clicco sul file batch run_1.3G_mem come dice nelle istruzioni, si apre la finestra dos e.... si riavvia il pc :help:
ho provato un paio di volte, sempre stessa storia :stordita:
gabi.2437
16-10-2008, 16:56
Uh, se esaurisce la memoria dà exception e ferma il tutto :D Per il bootstrap facciamo domani ok? :D
Ma deve per forza pesare 1giga? :D Dai E6600, dai, susu che ce la fai
Uh che tenere le WU di BOINC, si sono strette su un core solo
si può anche lanciare l'altro programmino .bat che c'è dentro che non setta la memoria per Java, ma così usa solo 100 mega circa e ci mette UNA VITA :cry:
rpvare per credere :asd:
(forse però dipende dal procesore)
problema:
clicco sul file batch run_1.3G_mem come dice nelle istruzioni, si apre la finestra dos e.... si riavvia il pc :help:
ho provato un paio di volte, sempre stessa storia :stordita:
uhm strano... forse JAva non gradisce il settaggio.
prova anceh tu a lanciare l'altro .bat
per Findmirna lascia stare, Flisi71 dovrebbe riuscire a fare tutto lui (che prodigio di ragazzo!! :yeah: )
SwOrDoFmYdEsTiNy
16-10-2008, 18:05
uhm strano... forse JAva non gradisce il settaggio.
prova anceh tu a lanciare l'altro .bat
per Findmirna lascia stare, Flisi71 dovrebbe riuscire a fare tutto lui (che prodigio di ragazzo!! :yeah: )
io ci sono per quello bello pesante! se serve basta piemmarmi ;)
P.s. adesso provo a mettere 10 bootstrap
gabi.2437
16-10-2008, 18:24
L'altro .bat ora usa 700mb e mi sa che ci mette uguale (si che dovrei cronometrare il tutto se no è facile confondersi)
non stare a cronometrare, se la differenza non si vede a occhio è perchè è trascurabile.
SwOrDoFmYdEsTiNy
16-10-2008, 19:35
non stare a cronometrare, se la differenza non si vede a occhio è perchè è trascurabile.
è normale che ci stia 30 minuti per fare il bootstrap2?
Bootstrapping
------------------------------------------------------------------------
-> Running Amadeus on 10 randomly chosen target sets
Running on tar set number: 1
Best P-val: 1.7E-9
Running on tar set number: 2
sono 30 minuti che la cpu è a zero....ma di bootstrap dovrebbe farne 10....
gabi.2437
16-10-2008, 19:37
Se la cpu è a 0-->non sta elaborando e c'è qualcosa che non va...
porcazzozza... carogna di programmino...
ieri gliene ho fatti fare 10 di bootstrap, ci ha messo un paio d'ore ma poi ha finito.
provate a cliccare sul pannellino che dice che iniziano i bootstrap.
è strano che non lo faccia a nessuno dei due... a me l'ha fatto...
state usando la versione del .bat con tanta RAM o quella normale?
se volete chiudere e riprovare fatelo con "compare pair" al posto di "bootstrap".
gabi.2437
16-10-2008, 20:37
No ma a me il bootstrap funge, solo che lo faccio domani che oggi non ho tempo :asd:
ok!
anche io smammo!
a domani, ciauz :)
gabi.2437
17-10-2008, 18:44
Mumble...in effetti dopo un pò che elabora a tempo random (cmq non dopo il secondo bootstrap) dà eccezione di java heap space e smette...ho provato con entrambi i .bat (casomai fosse colpa dei 2gb non sufficienti, visto che sto a 95% di memoria usata con quello grosso) ma niente, finisce il primo giro però sui bootstrap non prosegue
strano, sul mio finisce...
(ci ha messo due ore)
riemergo adesso da una inutile riunione, mi scuso con tutti per i ritardi, in particolare con FLisi che aspettava un file alle 13 :muro: :muro:
oltreutto mi è saltata la partizione di windows sul portatile, sto rifacendo tutto (naturalmente ci metto meno perchè so cosa fare esattamente adesso).
gabi.2437
17-10-2008, 19:41
Poi provo a lasciarlo elaborare senza che lo uso che meglio...
rieccomi :O
avevo preparato dei file di input e di configurazione per Flisi, per Amadeus.
mi sa che è meglio lasciar perdere il bootstrap per ora.
qualcuno vuole provarli?
qualcuno vuole provare Timeclust? (clusterizza i geni in funzione del livello di espressione)
SwOrDoFmYdEsTiNy
18-10-2008, 11:42
rieccomi :O
avevo preparato dei file di input e di configurazione per Flisi, per Amadeus.
mi sa che è meglio lasciar perdere il bootstrap per ora.
qualcuno vuole provarli?
qualcuno vuole provare Timeclust? (clusterizza i geni in funzione del livello di espressione)
IO :D :cool: ;) :ciapet:
edit: ma c'è qualcuno di questi che sfrutta il multi core? perchè se c'è io vorrei usare quello (quad core Rulez), però vanno benone tutti ;)
IO :D :cool: ;) :ciapet:
edit: ma c'è qualcuno di questi che sfrutta il multi core? perchè se c'è io vorrei usare quello (quad core Rulez), però vanno benone tutti ;)
va sotto winzozz
http://aimed11.unipv.it/TimeClust/
occhio che sono 100 mega.
a breve uploado gli input su rapidshare, è roba piccolissima (10k tipo).
seguiranno istruzioni
ragazzi un consiglio:
ho strappato al prof l'acquisto di un PC da usare (anche) per questi calcoli.
può anche non avere fronzoli (no scheda audio o scheda grafica buone, anche integrate e "vase" vanno bene, niente cianfrusaglie etc)
deve essere fatturabile e mi devo far fare un'offerta.
Pensavo di prenderlo tipo da Essedi o qualcosa di simile.
Deve essere un negozio fisico.
voi che mi consigliate?
dove posso farmelo assemblare?
deve essere o Pavia o al massimo Milano.
thanks
ragazzi un consiglio:
ho strappato al prof l'acquisto di un PC da usare (anche) per questi calcoli.
può anche non avere fronzoli (no scheda audio o scheda grafica buone, anche integrate e "vase" vanno bene, niente cianfrusaglie etc)
deve essere fatturabile e mi devo far fare un'offerta.
Pensavo di prenderlo tipo da Essedi o qualcosa di simile.
Deve essere un negozio fisico.
voi che mi consigliate?
dove posso farmelo assemblare?
deve essere o Pavia o al massimo Milano.
thanks
Questo mi sembra perfetto: http://h10010.www1.hp.com/wwpc/it/it/sm/WF06b/15351-15351-241434-241477-241477-1121474-3638368.html
Questo mi sembra perfetto: http://h10010.www1.hp.com/wwpc/it/it/sm/WF06b/15351-15351-241434-241477-241477-1121474-3638368.html
3500 € più IVA è decisamente fuori budget :asd:
oltretutto Flisi mi fa notare che gli applicativi usano un solo core (non so perchè)
e spesso se uno non lancia JAva specificando l'uso di un tot di memoria, usano anche poca RAM.
il collo di bottiglia è nel software, è roba fatta per girare su PC da ufficio, potenti ma da ufficio.
Flisi mi suggeriva di prendere un dual core (o single core se si trova ancora in giro) con il clock il più alto possibile.
intanto per adesso il vostro generoso aiuto mi serve meno, una persona si è fatta in quattro - gli devo moltissimo - e mi ha procurato due macchine da controllare in remoto, una con winzozz l'altra con linux. :ave: :ave:
gabi.2437
25-10-2008, 12:31
Allora piglia un qualcosa con un quadcore, Q6600 o Q9xxx (con xxx uno dei vari modelli) o aspetta gli iCore7, ok che 1 applicativo=1core ma nulla vieta di aver 4 applicativi in contemporanea...no?
SwOrDoFmYdEsTiNy
25-10-2008, 12:54
Allora piglia un qualcosa con un quadcore, Q6600 o Q9xxx (con xxx uno dei vari modelli) o aspetta gli iCore7, ok che 1 applicativo=1core ma nulla vieta di aver 4 applicativi in contemporanea...no?
o di fare in modo che le applicazioni usino tutti e 4 i core
P.s. se serve una mano cmq io sono sempre disponibile
come posso forzare l'utilizzo dei 4 core?
non ci vuole un software per parallelizzare?
(non ridete, son 4 anni che mi è passata la scimmia dell'hardware, sono "un pochino" indietro :asd: )
Basta scrivere codice in grado di funzionare su più core contemporaneamente... credo che Intel abbia buttato fuori qualche compilatore che ti aiuta a sputare fuori codice parallelizzato ma non saprei come funziona.
gabi.2437
25-10-2008, 15:00
come posso forzare l'utilizzo dei 4 core?
non ci vuole un software per parallelizzare?
(non ridete, son 4 anni che mi è passata la scimmia dell'hardware, sono "un pochino" indietro :asd: )
Non puoi
L'unica è programmare l'applicazione appositamente...oppure far partire 4 applicazioni ognuna delle quali occupa 1 core :D
hakermatik
16-12-2008, 00:01
ciao....ho trovato ora questa discussione. ti serve ancora una mano. Se si, manda un pvt...
ciauz!!!
Oh vorrei provare anche io , dammi le istruzioni versione " for dummies" e tutto il resto ;)
C,lòaò,zò,a
gabi.2437
02-01-2009, 12:34
In effetti è da un pò che non si fa sentire... nel frattempo CYRANO, vero che elabori con BOINC?
EHI :)
grazie a tutti, non ho più molto bisogno (per adesso, ma chi lo sa...) per due motivi:
- un'utente mi ha meso a disposizione una macchina in remoto che mi basta e avanza
- la direzione delle mie ricerche ha subito una COLOSSALE sterzata dopo un "chiarimento" (:cry:) coi piani alti :( per adesso dovrò dedicarmi ad altro e il calcolo è sceso nell'orine delle priorità
mi faccio vivo se dovessero esserci novità ;)
grazie a tutti in ogni caso :)
vBulletin® v3.6.4, Copyright ©2000-2025, Jelsoft Enterprises Ltd.