Aprire un GROSSO file di testo (2,2 Gb!)

[Lorekon]

cioa a tutti


devo aprire un GROSSO (o meglio... COLOSSSALE!! ) file di testo... 2,2 Gb...

si tratta di un file che contiene un gran numero di sequenze di DNA di circa 100mila basi ciascuna.
all'inizio di ciascuna sequenza c'è una intestazione che inizia col simbolo ">" (che compare solo all'inizio di ciascuna sequenza).

lo apro proprio per farlo a pezzi più piccoli (pensavo 300 mb) che sono più maneggevoli.
il problema è che devo "farlo a pezzi" per forza a mano, non posso farlo in automatico, perchè è necessario che ogni file risultante inizi con una sequenzze, quindi che il primo carattere di ogni file risultante sia ">".


è possibile fare il lavoro con GREP?
ci sono altri modi?

non trovo un editor di testo che mi apra un file così grosso (Xemacs arriva a 2 Gb se non sbaglio, mentre Emacs lo può fare ma bisogna smanettarlo, normalmente mi dà un errore di "buffer overflow"...)

ringrazio in anticipo che vorrà aiutarmi

[arara]

Se hai una sequenza per ogni riga prova con qualcosa del genere:

index=0
for i in 'cat input.txt';
do echo $i > out${index}.txt;
index=((index+1))
done

seno usa uno script simile a questo:

#!/usr/bin/python

input = open("/file/da/aprire", "r")
dest = "/cartella/di/destinazione/"
index=0

for line in input.readline():
  if ">" in line:
    if out: out.close()
    out = open(dest + str(index) +".txt")
    index=index+1
  out.writeline(line)

in.close()
out.close()

sono pieni di errori da sistemare, siccome sono su win non posso neanche provarli... è solo per dare un'idea.

[Lorekon]

ma questo mi divide il file grosso in N file piccoli, ciascuno per sequenza, giusto?

a me servirebbe di "impacchettarli" a pezzi più grossi...


cmq adesso provo, al max poi potrei ri-accorparli in file della dimensione giusta.

grazie, per intanto

[Lorekon]

ah, cmq non so programmare
quindi se non fungono sarà difficile che riesca a sistemarli
(faccio già fatica a fare "./configure", "make", "make install" e "make clean" )

[patel45]

Come sei messo a ram ? Potresti provare a editarlo con Ultraedit sotto Windows. Oppure spezzarlo con una delle tante utility in circolazione (splitter per es.) e poi ricostruire i record nelle zone di divisione.

[Lorekon]

ram 1 giga.
centrino 2 GHz.
la partizione di swap è circa 3 giga.


come faccio a ricostruire i record se non aprendo il file "grosso"?
ho provato con Kate, Kwrite, Kedit... niente da fare.. si bloccano tutti.

[Lorekon]

ma non ptrei, con GREP, greppare tipo "dalla riga X alla riga Y"?
essendo strutturato così
>nome sequenza
ACATGATGACGAT......etc....

tutti i nomi sono nella riga dispari, tutte le sequenze nella riga pari.

potrei greppare fino alla dispari in modo da avere tutti i file risultanti ch einiziano con un ">nome sequenza".

o no?

[Lorekon]

scusate se insisto (non vorrei intasarvi la sezione... )

ho trovato questo nella sintassi di GREP

-m NUM, --max-count=NUM
Stop reading a file after NUM matching lines. If the input is
standard input from a regular file, and NUM matching lines are
output, grep ensures that the standard input is positioned to
just after the last matching line before exiting, regardless of
the presence of trailing context lines. This enables a calling
process to resume a search. When grep stops after NUM matching
lines, it outputs any trailing context lines. When the -c or
--count option is also used, grep does not output a count
greater than NUM. When the -v or --invert-match option is also
used, grep stops after outputting NUM non-matching lines.

da http://maxint.dynalias.org/index.php/Grep


potrei fare del GREP per linee a blocchi di 1000 e vedere il size del file che esce.
è plausibile?

[patel45]

Quello che intendo è dividere il file in 10 parti uguali con il comando split http://www.techiecorner.com/107/how-...r-files-linux/
Poi editando ogni parte ricostruisci il record che sarà tagliato casualmente dalla divisione in parti uguali.

[arara]

Originariamente inviato da Lorekon

essendo strutturato così
>nome sequenza
ACATGATGACGAT......etc....


tutti i nomi sono nella riga dispari, tutte le sequenze nella riga pari.

Potevi dirlo subito che aveva quella struttura, in questo caso è molto semplice da fare.
sto codice funziona, salvalo nel file split ed esegui:

python split InputFile X

che crea tanti file con ognuno X sequenze al suo interno.


(occhio alle tabulazioni!!! devono essere uguali)

import sys

inputFile = open(sys.argv[1], "r")
numeroFile=0
sequenzeCopiate=0
sequenzePerFile=int(sys.argv[2])*2

outputFile = open(str(numeroFile)+".txt", "w")

for linea in inputFile:
	if sequenzeCopiate == sequenzePerFile:
		outputFile.close()
		numeroFile = numeroFile+1
		outputFile = open(str(numeroFile)+".txt", "w")
		sequenzeCopiate=0
	outputFile.write(linea)
	sequenzeCopiate = sequenzeCopiate+1

inputFile.close()
outputFile.close()

[Lorekon]

mò provo.

il punto è i file di output vanno analizzati (è DNA) e ho paura di introdurre involontariamente errori splittando il file grosso.

dovrei farlo con due size diversi, poi analizzare le sequenze "interrotte e sostituirle con le stesse, intere, copiate dai file ottenuto splittando con l'altro size ("taglierà" in punti diversi).


così può andare secondo voi?

[patel45]

Originariamente inviato da Lorekon

dovrei farlo con due size diversi, poi analizzare le sequenze "interrotte e sostituirle con le stesse, intere, copiate dai file ottenuto splittando con l'altro size ("taglierà" in punti diversi).
così può andare secondo voi?

Proprio quello che volevo aggiungere io !

[Lorekon]

perfetto!


l'ho fatto con split, specificando il numero di linee

split -l 1000 NOMEFILE

mi sono usciti file di circa 80 mb... decisamente più abbordabili!

grazie a tutti