[Vari] Contest 19: Full Text Search(e non solo).

[Vincenzo1968]

L'applicazione compilata con GCC a 64 bit:

[Vincenzo1968]

Originariamente inviato da VICIUS

time è un comando di linux

Sei fortunato che ho 5 minuti mentre fa il deploy. "Nuova" versione http://cl.ly/MEjp.

Ricordati di usare l'opzione -server di java

Minchia ma ditelo! Lo sapete che è da pochi giorni che uso Linux e ultimamente sono stato occupato col contest e quindi non c'ho dedicato molto tempo.

[Tommo]

Originariamente inviato da Vincenzo1968

@Tommo: hai apportato le modifiche ai sorgenti? quando posti la versione corretta?

Sono in mezzo a due release e in quanto a numero di bug non è andata per niente bene, mi metterò sul contest quando capita
Comunque non dovrebbe diventare più lento una volta fixato.

[Vincenzo1968]

I tempi di Vicius su Linux a 64 bit:

[Vincenzo1968]

La macchina Linux è questa:

[VICIUS]

Originariamente inviato da Vincenzo1968

I tempi di Vicius su Linux a 64 bit:

Vabbe ora non serve usare time. Nell'ultima ti ho messo il messaggio "ci ho messo xyz secondi".

[Vincenzo1968]

Originariamente inviato da VICIUS

Vabbe ora non serve usare time. Nell'ultima ti ho messo il messaggio "ci ho messo xyz secondi".

Nell'ultima? Dov'è?

[VICIUS]

Originariamente inviato da VICIUS

… "Nuova" versione http://cl.ly/MEjp…

Qui.

[Vincenzo1968]

Originariamente inviato da VICIUS

Qui.

Ma se non stampa niente senza il comando time:

[Vincenzo1968]

Ah no, avevo fatto confusione io.

Minchia! 32 secondi!



Grande Vicius! Che modifiche hai apportato?

[Vincenzo1968]

Su Windows XP a 32 bit invece è leggermente più veloce la mia:



Ma non posso usare l'opzione "-server".

[Vincenzo1968]

Ho scaricato e reinstallato jre e jdk 7 ma niente da fare. La cartella server non c'è proprio su bin:







EDIT:

E il bello è che con la nuova versione di Java i tempi di Vicius peggiorano:

[marco.r]

Versione pigra (a.k.a. Unix Style)

Preparazione "base testo"

#!/bin/sh
# uso: prepare.sh <documenti di testo>
# esempio: prepare.sh *.txt
cat $*  | sed -e 's/\s+/ /g' | grep -v '^\s*$' > text.dat

Generazione documenti

#!/bin/sh
# uso: generate.sh <n. linee> <output>
# esempio: generate.sh 1000 /tmp/testo.txt
shuf text.dat | head -n $1 > $2

La versione che prende come input la dimensione e' un po' piu' complicata

[marco.r]

Versione che prende dimensione e non linee

#!/bin/sh
SIZE=$(echo $1 | sed 's/G/ * 1000 M/;s/M/ * 1000 K/;s/K/ * 1000/;s/$/ +\\/; $a0' | bc)
BS=1000000
COUNT=$(echo 1 + $SIZE / $BS | bc )
OUTPUT=$2

echo > $OUTPUT
while $(test  `stat --format '%s' $OUTPUT` -lt $SIZE )
do
    shuf text.dat | dd bs=$BS iflag=fullblock count=$COUNT >> $OUTPUT
done
truncate -s $SIZE $OUTPUT

Meno elegante ma cmq efficace

time ./prepare.sh *.txt
./prepare.sh *.txt  1.80s user 0.52s system 115% cpu 2.002 total

time ./generate 1G prova.dat
./generate.sh 1G prova.dat  2.58s user 7.82s system 100% cpu 10.372 total

[Vincenzo1968]

Ciao Marco.

Interessante. Ma che è? Cioè, che linguaggio è?

[AnonimoVeneziano]

Tra un pochino arrivo pur io ...

[AnonimoVeneziano]

Ah, approposito, se in un file di testo c'è tipo :

" \n"

E' considerata una linea vuota anche se c'è un carattere spazio all'inizio della linea o no?

[VICIUS]

Originariamente inviato da Vincenzo1968

Ah no, avevo fatto confusione io.

Minchia! 32 secondi!



Grande Vicius! Che modifiche hai apportato?

Ho aggiunto un BufferedOutputStream. C'è anche la println che stampa i tempi ma non credo sia stata quella

Originariamente inviato da Vincenzo1968

Ciao Marco.

Interessante. Ma che è? Cioè, che linguaggio è?

È uno script per la shell. Anche piuttosto banale visto che sono due comandi in croce. Se rimarrai abbastanza su linux in futuro potresti imbatterti in mostruosità da migliaia di linee in questo linguaggio.

Originariamente inviato da AnonimoVeneziano

Ah, approposito, se in un file di testo c'è tipo :

" \n"

E' considerata una linea vuota anche se c'è un carattere spazio all'inizio della linea o no?

Io righe con soli spazi le ho ignorate.

[Vincenzo1968]

Originariamente inviato da AnonimoVeneziano

Ah, approposito, se in un file di testo c'è tipo :

" \n"

E' considerata una linea vuota anche se c'è un carattere spazio all'inizio della linea o no?

Si, esatto.

[Vincenzo1968]

Originariamente inviato da VICIUS

Ho aggiunto un BufferedOutputStream. C'è anche la println che stampa i tempi ma non credo sia stata quella


È uno script per la shell. Anche piuttosto banale visto che sono due comandi in croce. Se rimarrai abbastanza su linux in futuro potresti imbatterti in mostruosità da migliaia di linee in questo linguaggio.


Io righe con soli spazi le ho ignorate.

Nein. Non le devi ignorare.

Se rimarrò abbastanza su Linux? Io non mi stacco più da Linux.

Senti maaaaa che cosa fa il parametro -server?
Su Linux che lo usi o no il tuo programma da gli stessi tempi(ma solo nell'ultima versione con BufferedOutputStream). E come mai non ce l'ho su XP?