[mysql] rappresentare una matrice.

[dierre]

Se ho una struttura dati di tipo matriciale, quale è il miglior modo per salvarla su mysql?
Io ho pensato a due "metodi":

- il primo metodo sarebbe quello di fare una struttura tipo (matrice_id, x, y, valore)

- il secondo metodo invece è quello di serializzare la matrice e poi salvarla.

Voi come fareste?

[Xalexalex]

Non hai modo di creare una tabella per matrice e usare direttamente quella?

[dierre]

potenzialmente saranno 8000 matrici...non mi sembra molto performante creare una tabella per matrice, anche perché dovendo essere probabilmente 25*25 in realtà non sono poi molti record usando il metodo 1.
Cioè son tante ma non per un dbms, credo.

[Xalexalex]

Originariamente inviato da dierre

potenzialmente saranno 8000 matrici...non mi sembra molto performante creare una tabella per matrice, anche perché dovendo essere probabilmente 25*25 in realtà non sono poi molti record usando il metodo 1.
Cioè son tante ma non per un dbms, credo.

Ah ecco immaginavo una causa simile
Però potresti chiedere a qualcuno più esperto di me se 8000 tabelle sono davvero così poco performanti, e quindi è meglio uno dei tuoi metodi, o magari vanno bene lo stesso... Tra i due proposti direi il primo, mi pare richieda meno operazioni complessivamente, e dà una maggior facilità di accesso ai dati..Anche se tra i due metodi vedo comunque migliore il mio (egocentrico inside )

[vizzz]

uhmm io farei 3 campi 4 con un id come chiave primaria:

righe, colonne, matrice serializzata con valori separati da virgola.

[dierre]

Originariamente inviato da vizzz

uhmm io farei 3 campi 4 con un id come chiave primaria:

righe, colonne, matrice serializzata con valori separati da virgola.

puoi spiegarmi meglio?

che intendi per matrice serializzata con valori separati da virgola?

[vizzz]

Originariamente inviato da dierre

puoi spiegarmi meglio?

che intendi per matrice serializzata con valori separati da virgola?

id    righe    colonne    dati
1     2        2             1,2,3,4
2     3        3             1,2,3,4,5,6,7,8,9

[_Claudio]

Che senso ha salvare una matrice su un DB?
Perchè spesso la soluzione a questo genere di problemi dipende molto dal contesto (tipo di dati) e spesso e volentieri non contempla un DB...
In termini prestazionali salvare una matrice di interi in una tabella o altra struttra dati per un DB è a dir poco un obrobrio (meglio creare una struttura dati tipo arraylist o simili e salvare il tutto il un file)...
Comunque dipende molto dal contesto l'eventuale soluzione.

[dierre]

Non una matrice, circa 8000.
Ogni matrice rappresenta una mappa. Ogni cella è un punto di una mappa. Esistono X mappe. Come salvo l'informazione che si trova all'interno delle mappe?

[dierre]

Originariamente inviato da vizzz

id    righe    colonne    dati
1     2        2             1,2,3,4
2     3        3             1,2,3,4,5,6,7,8,9

Scusa poi come ritrovo la cella che mi interessa? Le coordinate di una matrice sono simmetriche.

[_Claudio]

Originariamente inviato da dierre

Non una matrice, circa 8000.
Ogni matrice rappresenta una mappa. Ogni cella è un punto di una mappa. Esistono X mappe. Come salvo l'informazione che si trova all'interno delle mappe?

8000 mappe rappresentate in 8000 matrici... immagino vuoi anche una buona velocità di elaborazione del tutto... percui un DB non è la soluzione migliore.
L'ideale sarebbe creare una struttura dati apposita, che linguaggio usi?
Ogni cella della matrice rappresenta una caratteristica del punto della mappa giusto?
L'ideale sarebbe un oggetto mappa che estende un oggetto singolo punto che salva coordinate e caratteristiche, poi dell'oggetto mappa fai un arraylist di 8000 elementi, oppure suddividi ulteriormente il tutto. Quando hai bisogno di salvare il tutto salvi l'arraylist su un file e non hai bisogno di un DB.
Altrimenti se non usi Java ma C il metodo più "soffice" è tenersi 8000 matrici e fare accesso direttamente.
Un DB io te lo sconsiglio visto che mette a disposizione funzionalità aggiuntive (e anche la stessa struttura del dbms...) che appesantirebbero notevolmente l'applicazione.

[dierre]

Originariamente inviato da _Claudio

8000 mappe rappresentate in 8000 matrici... immagino vuoi anche una buona velocità di elaborazione del tutto... percui un DB non è la soluzione migliore.
L'ideale sarebbe creare una struttura dati apposita, che linguaggio usi?
Ogni cella della matrice rappresenta una caratteristica del punto della mappa giusto?
L'ideale sarebbe un oggetto mappa che estende un oggetto singolo punto che salva coordinate e caratteristiche, poi dell'oggetto mappa fai un arraylist di 8000 elementi, oppure suddividi ulteriormente il tutto. Quando hai bisogno di salvare il tutto salvi l'arraylist su un file e non hai bisogno di un DB.
Altrimenti se non usi Java ma C il metodo più "soffice" è tenersi 8000 matrici e fare accesso direttamente.
Un DB io te lo sconsiglio visto che mette a disposizione funzionalità aggiuntive (e anche la stessa struttura del dbms...) che appesantirebbero notevolmente l'applicazione.

Python, framework Django.
Scusa ma la tua la soluzione la vedo poco produttiva. Prima di tutto non ho bisogno di modificare ogni volta tutte le 8000 mappe, ma ognuna è indipendente dall'altra, quindi dover ricarcare un intero file per fare una modifica ad una mappa la vedo poco funzionale. Magari salvare un file per mappa, però non so sinceramente. 8000 records sono davvero pochi per un db.
O forse non ho capito bene perché tu vuoi usare un file. Tra l'altro sono un massimo di 8000 mappe, ma non è detto che lo siano. Dipende se vengono aggiunte oppure no dall'utente. Potrebbero anche essere 4 (spero di no altrimenti vuol dire che sto facendo qualcosa di inutile).
Un file per gestire l'aggiunta e la modifica delle mappe...boh...mi sembra poco funzionale. Se puoi spiegarmi meglio mi fai un piacere, credo di non aver capito.

[_Claudio]

Originariamente inviato da dierre

Python, framework Django.
Scusa ma la tua la soluzione la vedo poco produttiva. Prima di tutto non ho bisogno di modificare ogni volta tutte le 8000 mappe, ma ognuna è indipendente dall'altra, quindi dover ricarcare un intero file per fare una modifica ad una mappa la vedo poco funzionale. Magari salvare un file per mappa, però non so sinceramente. 8000 records sono davvero pochi per un db.
O forse non ho capito bene perché tu vuoi usare un file. Tra l'altro sono un massimo di 8000 mappe, ma non è detto che lo siano. Dipende se vengono aggiunte oppure no dall'utente. Potrebbero anche essere 4 (spero di no altrimenti vuol dire che sto facendo qualcosa di inutile).
Un file per gestire l'aggiunta e la modifica delle mappe...boh...mi sembra poco funzionale. Se puoi spiegarmi meglio mi fai un piacere, credo di non aver capito.

Non un file in sè ma un arraylist (io ti parlo di java, python l'ho visto veramente poco) salvato su file, quando carichi il file è vero che ti carica tutte le 8000 mappe nell'arraylist (ram), ma quando ci accedi, accedi direttamente a quello che ti interessa. La soluzione di creare più file per ogni mappa non mi sembra neanche tanto male, solo che avresti 8000 file salvati su file system, quindi intuitivamente io creerei qualcosa che suddivide le mappe su tipo 200 files e contemporaneamente tiene ordinate le stesse sui file con le stesse politiche che usano le varie cache (località spaziale e temporale: le mappe che si accedono più frequentemente le tengo su un file così come tengo su un file le mappe adiacenti a quella acceduta se mi è utile, trasferimenti intelligenti automatici di mappe tra un file e l'altro, più difficile a dirsi che a farsi, te lo assicuro).
Tieni conto che 8000 tabelle su un DB sono una quantità spropositata, mentre salvare una tupla per ogni mappa la vedo improbabile come cosa (come fai se la mappa è molto grande? Dovresti mettere un campo per ogni coordinata).

La genialata che mi è venuta in mente ora mentre scrivo è creare una tabellona in cui ogni tupla (riga) salva un arraylist (o simile) in formato BLOB (quindi 8000 tuple di tipo BLOB, che è anche il formato che è stato creato appositamente per salvare immagini in un db).
es. Nome | Oggetto
Mappa1 | bytecode dell'arraylist(mappa1) salvato in formato BLOB

Ma tieni conto che stilisticamente è bruttissima come cosa, usi un DB non per le sue potenzialità ma in una maniera poco ortodossa e inoltre non è così diverso dal salvarsi 8000 file, solo che se si incasina qualcosa incasini solo il DB e non il file system (che però adotta politiche più sicure, o almeno si spera), e inoltre il carico di lavoro è comunque maggiore rispetto il salvarsi 8000 file.
Oppure puoi cercare in giro qualche metodo di memorizzazione di grosse quantità di dati non strutturati (prova con una googlata).
Il problema è proprio quello, i dati non sono strutturati e non adatti quindi ad un DB.

[dierre]

Originariamente inviato da _Claudio

Non un file in sè ma un arraylist (io ti parlo di java, python l'ho visto veramente poco) salvato su file, quando carichi il file è vero che ti carica tutte le 8000 mappe nell'arraylist (ram), ma quando ci accedi, accedi direttamente a quello che ti interessa. La soluzione di creare più file per ogni mappa non mi sembra neanche tanto male, solo che avresti 8000 file salvati su file system, quindi intuitivamente io creerei qualcosa che suddivide le mappe su tipo 200 files e contemporaneamente tiene ordinate le stesse sui file con le stesse politiche che usano le varie cache (località spaziale e temporale: le mappe che si accedono più frequentemente le tengo su un file così come tengo su un file le mappe adiacenti a quella acceduta se mi è utile, trasferimenti intelligenti automatici di mappe tra un file e l'altro, più difficile a dirsi che a farsi, te lo assicuro).
Tieni conto che 8000 tabelle su un DB sono una quantità spropositata, mentre salvare una tupla per ogni mappa la vedo improbabile come cosa (come fai se la mappa è molto grande? Dovresti mettere un campo per ogni coordinata).

La genialata che mi è venuta in mente ora mentre scrivo è creare una tabellona in cui ogni tupla (riga) salva un arraylist (o simile) in formato BLOB (quindi 8000 tuple di tipo BLOB, che è anche il formato che è stato creato appositamente per salvare immagini in un db).
es. Nome | Oggetto
Mappa1 | bytecode dell'arraylist(mappa1) salvato in formato BLOB

Ma tieni conto che stilisticamente è bruttissima come cosa, usi un DB non per le sue potenzialità ma in una maniera poco ortodossa e inoltre non è così diverso dal salvarsi 8000 file, solo che se si incasina qualcosa incasini solo il DB e non il file system (che però adotta politiche più sicure, o almeno si spera), e inoltre il carico di lavoro è comunque maggiore rispetto il salvarsi 8000 file.
Oppure puoi cercare in giro qualche metodo di memorizzazione di grosse quantità di dati non strutturati (prova con una googlata).
Il problema è proprio quello, i dati non sono strutturati e non adatti quindi ad un DB.

Però è un sistema multiutente, dovendo usare un file poi bisognerebbe dare l'accesso esclusivo per modificare i dati, non va bene.

[_Claudio]

Originariamente inviato da dierre

Però è un sistema multiutente, dovendo usare un file poi bisognerebbe dare l'accesso esclusivo per modificare i dati, non va bene.

Su QUEI dati dai i permessi... se si può fare...
In questi casi spesso è meglio fermarsi un attimo a pensare a quale sarebbe la soluzione migliore dal punto di vista elaborativo che la semplicità di realizzazione. Perchè, soprattutto se è qualcosa di "serio", in futuro si potrebbero avere non pochi problemi di aggiornamento/utilizzo.