[Vari] Contest 19: Full Text Search(e non solo).

[AnonimoVeneziano]

Aspe, mi sto confondendo

Devo ingnorare il fatto di eliminare la linea o ignorare la linea (nel senso di eliminarla) ?

[Vincenzo1968]

La seconda che hai detto: va eliminata.

[VICIUS]

Originariamente inviato da Vincenzo1968

Nein. Non le devi ignorare.

Se rimarrò abbastanza su Linux? Io non mi stacco più da Linux.

Senti maaaaa che cosa fa il parametro -server?
Su Linux che lo usi o no il tuo programma da gli stessi tempi(ma solo nell'ultima versione con BufferedOutputStream). E come mai non ce l'ho su XP?

-server dice a java di compilare il codice e di gestire alcune cose in maniera diversa dal solito. Ci mette di più a partire ma in genere è più veloce per certi tipi di programmi.

Sul tuo linux probabilmente è attivo di default (avrai sicuro openjdk). Su windows non ti so aiutare. Stai parlando con l'ex moderatore della sezioni linux ed apple. Manco me lo ricordo come è fatto windows.

Originariamente inviato da Vincenzo1968

La seconda che hai detto: va eliminata.

Bene così. È quello che fa ora.

[Vincenzo1968]

Windows a 32 bit:


Linux a 64 bit:

[Vincenzo1968]

Originariamente inviato da VICIUS

-server dice a java di compilare il codice e di gestire alcune cose in maniera diversa dal solito. Ci mette di più a partire ma in genere è più veloce per certi tipi di programmi.

Sul tuo linux probabilmente è attivo di default (avrai sicuro openjdk). Su windows non ti so aiutare. Stai parlando con l'ex moderatore della sezioni linux ed apple. Manco me lo ricordo come è fatto windows.

Bene così. È quello che fa ora.

Ah nientedimeno!

Eri moderatore della sezione Linux e io non ne sapevo niente. Pensavo che fossi moderatore qui, insieme a Cionci.

Sempre all'ultimo le debbo venire a sapere le cose

[Vincenzo1968]

Originariamente inviato da VICIUS

Sul tuo linux probabilmente è attivo di default (avrai sicuro openjdk). Su windows non ti so aiutare. Stai parlando con l'ex moderatore della sezioni linux ed apple. Manco me lo ricordo come è fatto windows.
...

Può essere che su XP non è previsto? Debbo provare su Windows 8.

[Vincenzo1968]

[VICIUS]

480 mb/s in scrittura? Che diavolo di disco hai?

[Vincenzo1968]

Originariamente inviato da VICIUS

480 mb/s in scrittura? Che diavolo di disco hai?

Alt! Fermi tutti!

Errore mio. Mi troncava il file a 2.5 GiB.

I tempi corretti sono questi:



Era troppo bello per essere vero.

[Vincenzo1968]

Non ci sono funzioni standard ansi C per gestire i file di grosse dimensioni?

[Vincenzo1968]

Domani posto il codice. Per il momento voglio vedere se riesco a ottimizzare ancora un pochino.

[banryu79]

Originariamente inviato da Vincenzo1968

Può essere che su XP non è previsto? Debbo provare su Windows 8.

Io al momento ho due JRE nel mio pc: quella diciamo stand-alone (quella che di solito scaricano solo gli utenti) e quella presente in bundle con il JDK.

Beh, quella stand-alone non contiene la vm server, mentre quella nel JDK sì.

E quando lancio java da riga di comando non riesco ad usare la server vm perchè il path nella variabile di ambiente punta alla JRE "stand-alone"; mentre se lancio una main class dal NetBeans posso usarla (perchè ovvimente qui il path è quello della JRE in bundle col JDK... che a sua volta ho scaricato in bundle con NetBeans )

[Vincenzo1968]

Pure io ce l'ho nel jdk:



E ho messo il percorso nelle variabili d'ambiente(la variabile PATH).

Ma nisba.

Poi provo su Windows 8.

Certo che Linux è tutto un altro mondo

[Vincenzo1968]

Su Windows 8 l'opzione -server ce l'ho:





La macchina è questa:


Il mio programma l'ho compilato a 64 bit con Visual Studio 2012.

Comunque se eseguito successivamente, dalla seconda volta in poi, il tempo di Vicius scende a 110 secondi. Sarà perché la prima volta i file non erano in cache

[AnonimoVeneziano]

Ed eccolo che alle 3 e mezza di notte (4 e mezza per voi) tornato dal pub si mette a programmare la sua versione!

L'ho fatta in C99 perché mi andava Non ho potuto testarlo su Windows perché non ce l'ho qua, ma su Linux e Mac va.

Da compilare consigliato con:

clang -std=c99 -O3 -fstrict-aliasing -march=corei7 c19input2.c -o c19input
o
gcc -std=gnu99 -O3 -fstrict-aliasing -march=corei7 c19input2.c -o c19input

Per semplicità ho fatto che tutti i file da cui lavorare sono presi da una cartella presente nella directory corrente chiamata "All", quindi i file di testo da caricare dovrebbero stare in ./All/*txt (nel file che ho uploadato su file dropper i file sono già contenuti).
Questo parametro sarebbe facilmente spostabile in un parametro da passare a linea di comando ... ma non ne ho voglia ora

Ne ho fatte 2 versioni: c19input.c e c19input2.c.

L'unica differenza è che la seconda usa un buffer in scrittura e POTREBBE essere più veloce ( sperimentalmente in tempi è più veloce, ma per qualche ragione la velocità di scrittura rilevata è minore)

Esempio di run:

europa:Contest Kariddi$ ./c19input output.txt -D10GiB
Started loading the files
Files loaded, it took: 0.012177 seconds

Started processing the files
File processing finished, it took: 0.075228 seconds

Started final file output
Final file output finished, it took: 24.184353 seconds

http://www.filedropper.com/c19input_3

Cheers!

[Vincenzo1968]

Con Visual Studio 2010 su Windows non trova dirent.h:



Mo provo su Linux con GCC.

[Vincenzo1968]

Originariamente inviato da AnonimoVeneziano

Per semplicità ho fatto che tutti i file da cui lavorare sono presi da una cartella presente nella directory corrente chiamata "All", quindi i file di testo da caricare dovrebbero stare in ./All/*txt (nel file che ho uploadato su file dropper i file sono già contenuti).
Questo parametro sarebbe facilmente spostabile in un parametro da passare a linea di comando ... ma non ne ho voglia ora

Pure io e Vicius(e Tommo) abbiamo fatto cosi. Mettiamola come regola: I file da leggere in input devono stare nella directory All(sottodirectory di quella in cui si trova l'eseguibile).

[Vincenzo1968]

Ecco il mio sorgente:

http://www.filedropper.com/contest19

Va compilato cosi:

gcc -O3 main.c -o C19Gen

o

clang -O3 main.c -o C19Gen

o

icc -O3 main.c -o C19Gen

Se usate Visual Studio, invece, ricordatevi di selezionare l'opzione "Compile as C" e non "Compile as C++"

Il file rand.dat dev'essere piazzato nella stessa directory dell'eseguibile.

[Vincenzo1968]

I tempi di AnonimoVeneziano su Linux:



mi batte di 3/4 secondi.

Mo provo a compilare il mio con le opzioni "-fstrict-aliasing -march=corei7".

EDIT: non succede niente. I tempi rimangono uguali.

[AnonimoVeneziano]

Originariamente inviato da Vincenzo1968

Con Visual Studio 2010 su Windows non trova dirent.h:



Mo provo su Linux con GCC.

Mmm, immaginavo ci sarebbero stati problemi del genere su visual studio ...

Mi sa che l'unica cosa sarebbe usare MinGW o usare una libreria che implementa Windows come questa http://softagalleria.net/dirent.php .... o certo, potrei usare io direttamente le API di windows (e mettere nel codice dei bei #if) ... ma che palle Dovrò valutare