[mysql] query LENTISSIME! E' normale?

[cipi]

Ciao,
sono niubbo di mysql ma devo assolutamente creare e gestire un database che avrà una decina di tabelle ma milioni di dati; una di queste tabelle, infatti, ha circa 40 colonne ma oltre 40 milioni di righe... Ho terminato di importare i primi 8 milioni (da file di testo) di righe; provo a fare qualche query (da notare che ho creato tre PRIMARY KEY e le query erano ristrette a valori su queste colonne) per testarne la velocità e.... sono LENTISSIME... (devo attendere ore!)
Ora mi chiedo, avrò sbagliato qualcosa o è normale?
Vi prego, aiuto... sono già molto incacchiato
please!

[vizzz]

ammazza...sono parecchi record.
non ti è possibile frammentare quella tabella in più sottotabelle? (poi gestisci da codice quale interrogare)
il server è abbastanza performante?
hai provato qualche altro db? (postgres, oracle?)

[-fidel-]

Originariamente inviato da cipi

Ciao,
sono niubbo di mysql ma devo assolutamente creare e gestire un database che avrà una decina di tabelle ma milioni di dati; una di queste tabelle, infatti, ha circa 40 colonne ma oltre 40 milioni di righe... Ho terminato di importare i primi 8 milioni (da file di testo) di righe; provo a fare qualche query (da notare che ho creato tre PRIMARY KEY e le query erano ristrette a valori su queste colonne) per testarne la velocità e.... sono LENTISSIME... (devo attendere ore!)
Ora mi chiedo, avrò sbagliato qualcosa o è normale?
Vi prego, aiuto... sono già molto incacchiato
please!

Devi ottimizzare il database, ma non so con mysql quanto spazio di manovra hai. Su Oracle ti saprei aiutare di più. Comunque prova a suddividere la tabella che contiene milioni di record in sottotabelle.
Considera che, se hai una tabella con, mettiamo, 3 milioni di record e dici al database di tirare su la tabella per fare una query, come impostazione di default essa viene caricata in memoria di solito per intero: ovvio che poi ci stai ore per fare una query.
Il problema non è comunque banale.

[cionci]

Controlla l'uso della memoria e dello swap sul server...se vedi che il server swappa allora monta più memoria...è l'unico modo...
Oppure vale sempre il suggerimento che ti è stato dato: dividi le tabelle...

[cipi]

ammazza, speravo di aver sbagliato qualcosa...
quindi la via unica sembra quella di spezzare in più tabelle. Ora però i problemi diventano i seguenti:
1) essendo che le tabelle le tiro su da file di testo (giuro, mai visti prima file di testo così grandi... ) come LOAD DATA LOCAL INFILE ..., come faccio a dirgli metti le righe da 1 a 100000 in tab1, da 100001 a 200000 in tab2, etc?
2) come gestisco una ricerca di un dato? Se non è in tab1 allora cerca in tab2 e così via o c'è qualche modo pre creare query ad hoc?
PS, grazie hwupgradati...

[cionci]

Hai guardato l'utilizzo della memoria durante la query ?
Che tipo di ricerche devi fare nelle tabelle ? Devi ricercare testo ?

Comunque le tabelle le puoi spezzare dopo che hai importato i dati...

[-fidel-]

Originariamente inviato da cipi

ammazza, speravo di aver sbagliato qualcosa...
quindi la via unica sembra quella di spezzare in più tabelle. Ora però i problemi diventano i seguenti:
1) essendo che le tabelle le tiro su da file di testo (giuro, mai visti prima file di testo così grandi... ) come LOAD DATA LOCAL INFILE ..., come faccio a dirgli metti le righe da 1 a 100000 in tab1, da 100001 a 200000 in tab2, etc?
2) come gestisco una ricerca di un dato? Se non è in tab1 allora cerca in tab2 e così via o c'è qualche modo pre creare query ad hoc?
PS, grazie hwupgradati...

Non per farmi i fatti tuoi () ma devi necessariamente creare un database per cercare uno o più dati?
Più volte ho avuto a che fare con file con milioni di righe (di solito output di simulazione di traffico di rete, files di testo da 500 Mb), ma per fare le analisi non creavo un database apposta (che diventa la soluzione peggiore...).

[cipi]

Originariamente inviato da cionci

Hai guardato l'utilizzo della memoria durante la query ?
Che tipo di ricerche devi fare nelle tabelle ? Devi ricercare testo ?

Comunque le tabelle le puoi spezzare dopo che hai importato i dati...

La memoria non sembra andare su di molto... (PS: la macchina ha 2 giga di ram) Inoltre si, devo ottenere numeri cercando nel testo. E' un database finanziario, quindi query del tipo:

SELECT fatturato FROM database.dati WHERE country_initials LIKE 'IT'

Interessante la cosa di spezzare dopo le tabelle... mi dici qualcosa in più o dove leggere in merito?

[cipi]

Originariamente inviato da -fidel-

Non per farmi i fatti tuoi () ma devi necessariamente creare un database per cercare uno o più dati?
Più volte ho avuto a che fare con file con milioni di righe (di solito output di simulazione di traffico di rete, files di testo da 500 Mb), ma per fare le analisi non creavo un database apposta (che diventa la soluzione peggiore...).

In realtà ti stai facendo i fatti miei...
Mi serve proprio un database... I dati li devo poi mettere a disposizione via web. Ecco perché le query DEVONO essere veloci!

[cionci]

Credevo che tu dovessi fare ricerche in campi di testo molto grandi...in quel caso c'è la possibilità di organizzare la ricerca come full text search.
Comunque in tal caso crea un indice sul campo country_initials e guarda come si comporta.

Riguardo allo spezzare: http://dev.mysql.com/doc/refman/5.0/...rt-select.html
Seleziona righe con caratteristiche precise dalla tabellona e vai ad inserirle in una tabella più piccola.

[simoneart]

Il problema potrebbe pure essere nel modo in cui scrivi la query e quindi fai la ricerca sulla tabella.

Per esempio un grosso problema di performance potrebbe essere dato dalla ricerca con LIKE.

Nel caso che hai riportato come esempio conviene probabilmente creare un nuovo campo indicizzato del tipo IT, UK sul quale fare la ricerca diretta dei record che ti interessano.

[cipi]

Originariamente inviato da cionci

Credevo che tu dovessi fare ricerche in campi di testo molto grandi...in quel caso c'è la possibilità di organizzare la ricerca come full text search.
Comunque in tal caso crea un indice sul campo country_initials e guarda come si comporta.

Riguardo allo spezzare: http://dev.mysql.com/doc/refman/5.0/...rt-select.html
Seleziona righe con caratteristiche precise dalla tabellona e vai ad inserirle in una tabella più piccola.

grazie del link, cionci. Ora gli darò una letta...
Per quanto riguarda country_initials, questo è già indicizzato... La tabella è del tipo:
ID; country_initials; date; data_a; data_b; ...
Io ho indicizzato le prime 3 colonne.
Rimane comunque molto lento... soprattutto se penso che dovrò inserire selle condizioni sui dati tipo "WHERE data_a>0 AND data_b<100"

[cipi]

Originariamente inviato da simoneart

Il problema potrebbe pure essere nel modo in cui scrivi la query e quindi fai la ricerca sulla tabella.

Per esempio un grosso problema di performance potrebbe essere dato dalla ricerca con LIKE.

Nel caso che hai riportato come esempio conviene probabilmente creare un nuovo campo indicizzato del tipo IT, UK sul quale fare la ricerca diretta dei record che ti interessano.

Scusa ma sono ancora un po' ignorantello su sql... Intendi dire indicizzare la colonna country_initials o creare qualcos'altro a parte?
thx

[thebol]

Originariamente inviato da cipi

Scusa ma sono ancora un po' ignorantello su sql... Intendi dire indicizzare la colonna country_initials o creare qualcos'altro a parte?
thx

la like rallenta molto le query, cerca di sostituirla con una =

[cipi]

Originariamente inviato da thebol

la like rallenta molto le query, cerca di sostituirla con una =

ok, thx.

[kingv]

non è che con LIKE usi qualche wildcard?
in questo caso gli indici non verrebbero usati.

[cipi]

no, nessuna wildcard. Tra l'altro, per la cronaca, ho lanciato due query: una con "valore = 'IT'" e l'altra con "valore LIKE 'IT'" e, sorpresa delle sorprese, ci hanno messo lo stesso tempo.
Comunque il problema non stava li... Ho deciso di studiare bene l'architettura del db; dal mega tabellone di 40e6 righe creerò qualche decina di tabelle da usare a seconda dei casi... Unico modo per ottimizzare, credo.
Attendo altri consigli.

[cionci]

Probabilmente perché il like senza wildcard viene tradotto con l'uguale...
Guarda anche fra le impostazioni di configurazione di mysql...magari puoi ottimizzare qualcosa anche in quel modo...

[kingv]

Originariamente inviato da cionci

Probabilmente perché il like senza wildcard viene tradotto con l'uguale...

è esatto.
mi sembra strano però che una ricerca indicizzata, anche su una tabella enorme, impieghi minuti.

[cionci]

Per curiosità: che tipo di tabelle hai creato ? MyISAM o InnoDB ? E' MySQL 5 ?