View Full Version : [SQL] Query Delete su tabella Access di 500k record che si blocca. Avete soluzioni?
doctorAle85
16-04-2015, 09:03
Ciao a tutti,
Sto impazzendo perchè non riesco a far eseguire una query Delete su una tabella Access di circa 5 milioni di record. Ho provato anche a splittare la tabella in più tabelle da 500k record ognuna, ma non sono riuscito a risolvere il problema.
Sia T1 la tabella da cui devo cancellare i record. A e B sono i campi di T1, la cui concatenazione può essere o non nel campo C della tabella T2 (ha solo il campo C).
Se la concatenazione di A e B non è presente nel campo C, cancello il record da T1.
La query utilizzata è la seguente:
DELETE * FROM T1
WHERE A&B NOT IN (SELECT * FROM T2)
Una volta che la lancio (sia nella tabella da 5 milioni di record che in quelle da 500k), sembra come se la query non facesse nulla. Ho provato anche ad attendere 20/30 min ma è come se non girasse.
Ho un PC con processore i5-2520M dual core 2,50ghz e 6gb di RAM.
Avete qualche consiglio da darmi?
Soluzioni?
Grazie
Daniels118
16-04-2015, 10:40
Se ho ben capito anche T2 ha molti record.
Non conosco benissimo access, ma in genere la IN è poco performante perché viene eseguita su dati non indicizzati, se poi questi dati vengono da una select è ancora peggio perché non conoscendo i valori a priori l'engine non è in grado di eseguire ottimizzazioni.
Prima di tutto assicurati di creare un indice su T2.C.
Poi sostituisci la NOT IN con una cosa tipo:
NOT EXISTS (SELECT 1 FROM T2 WHERE T2.C = T1.A&T2.B)
Mi perdonerai se ci sono errori di sintassi, l'ho scritta al volo.
Ciao a tutti,
Sto impazzendo perchè non riesco a far eseguire una query Delete su una tabella Access di circa 5 milioni di record. Ho provato anche a splittare la tabella in più tabelle da 500k record ognuna, ma non sono riuscito a risolvere il problema.
Sia T1 la tabella da cui devo cancellare i record. A e B sono i campi di T1, la cui concatenazione può essere o non nel campo C della tabella T2 (ha solo il campo C).
Se la concatenazione di A e B non è presente nel campo C, cancello il record da T1.
La query utilizzata è la seguente:
DELETE * FROM T1
WHERE A&B NOT IN (SELECT * FROM T2)
Una volta che la lancio (sia nella tabella da 5 milioni di record che in quelle da 500k), sembra come se la query non facesse nulla. Ho provato anche ad attendere 20/30 min ma è come se non girasse.
Ho un PC con processore i5-2520M dual core 2,50ghz e 6gb di RAM.
Avete qualche consiglio da darmi?
Soluzioni?
Grazie
Ciao
Se la query non fa nulla vuol dire che è in corso una full table scan. E lo vedi tranquillamente con il task manager verificando l'I/O su disco.
Ma su questa tabella ci sono indici ? I dati che vuoi cancellare quanti sono in percentuale sul totale ?
doctorAle85
16-04-2015, 11:27
Se ho ben capito anche T2 ha molti record.
Non conosco benissimo access, ma in genere la IN è poco performante perché viene eseguita su dati non indicizzati, se poi questi dati vengono da una select è ancora peggio perché non conoscendo i valori a priori l'engine non è in grado di eseguire ottimizzazioni.
Prima di tutto assicurati di creare un indice su T2.C.
Poi sostituisci la NOT IN con una cosa tipo:
NOT EXISTS (SELECT 1 FROM T2 WHERE T2.C = T1.A&T2.B)
Mi perdonerai se ci sono errori di sintassi, l'ho scritta al volo.
Sto aggiornando la tabella in modo che verifico solo la presenza di A in C (ho aggiornato il campo). Per ora mi risparmio la concatenazione. In un secondo momento magari la reintroduco.
Dato che è un Access creato da altri colleghi, ho appena verificato e non c'erano indici.
Ora ho indicizzato sia il campo A (che può contenere duplicati), sia il campo C (non contiene duplicati).
Proverò anche ad utilizzare la NOT EXIST.
Ciao
Se la query non fa nulla vuol dire che è in corso una full table scan. E lo vedi tranquillamente con il task manager verificando l'I/O su disco.
Ma su questa tabella ci sono indici ? I dati che vuoi cancellare quanti sono in percentuale sul totale ?
I dati che voglio cancellare penso che saranno circa l'80/90%.
Già avevo controllato il task manager, ma anche li era completamente 'fermo'. L'utilizzo della RAM non aumentava e idem per la CPU.
doctorAle85
16-04-2015, 11:47
Ragazzi, è andataaaa!:sofico:
Ci ha messo una decina di minuti, ma quando mi è comparsa la popup per confermarmi che non avrei potuto fare l'undo mi sono emozionato! :D
Grazie mille ;)
I dati che voglio cancellare penso che saranno circa l'80/90%.
Già avevo controllato il task manager, ma anche li era completamente 'fermo'. L'utilizzo della RAM non aumentava e idem per la CPU.
Quand'è così ti conviene quasi fare il contrario, cioè, salvare solo i dati che vuoi tenere buttandoli su una seconda tabella. Almeno vai per indice e non in full table scan.
Sul task manager in questi casi devi vedere l'I/O su disco, non la cpu e la ram.
Ciao
vBulletin® v3.6.4, Copyright ©2000-2025, Jelsoft Enterprises Ltd.