Configurazione server (mysql+tomcat)

[vegelith1]

Salve a tutti.

ho da poco sviluppato un software per un cliente ed ora devo installargli il server dove dovrà girare.

Il software gira in una rete locale ed ha un volume massimo di 4 accessi concorrenti, è un applicazione web java (spring+hibernate) che girerà su db mysql + apache tomcat.

Il problema cruciale è che ci sono delle operazioni massive che possono andare ad inserire anche 20mila record in un unica operazione. Sul mio pc di sviluppo (i3+4gb di ram) le operazioni sembrano essere comunque lentine (20mila inserimenti in circa 30secondi), tralasciando problemi di tecnologie(hibernate comunque gestita con un flusso "batch") o di sviluppo, vorrei sapere secondo voi quale configurazione può essere ottimale con un budget di 500/600 euro(scheda madre+procio+ram+alimentatore).

Io stavo optando in via teorica per un i5 con 8gb di ram, poichè con lo xeon avrei prestazioni ottimali soltanto col doppio core(credo non me ne intendo poi cosi tanto non è il mio settore) e la spesa salirebbe di molto.

Avete consigli da darmi?

[PhoEniX-VooDoo]

sei siruco che la lentezza sia imputabile al processore e non al disco? hai fatto dei test di carico durante l'inserimento? (occupazione cpu, occupazione ram, I/O disco)

ciao

[vegelith1]

penso sia probabile che dipenda anche dal disco perchè un operazione poco onerosa come l'inser (nonostante il grosso volume) non può impiegare tempi cosi lunghi.
fondamentalmente una configurazione per il server l'ho trovata e penso vada più che bene:
XEON E3-1225V2
P8Z77-M PRO (Z77)
8GB Kit Dominator Platinum DDR3-1600 CL9 (2x4GB) corsair

il dubbio è solo per l'hard disk. consigli sono molto ben accetti!

[PhoEniX-VooDoo]

appunto, prova.

ti colleghi al server, apri il monitoraggio delle risore CPU e memoria e poi lanci dall'applicazione questo comando che esegue l'operazione massiva e tieni d'occhio quanto sale l'occupazione.

- se la CPU resta tranquilla ma la RAM invece finisce ed il disco si mette a paginare ti serve prima di tutto più RAM
- se la cpu resta tranquilla e la RAM disponibile non viene saturata il problema è di I/O disco
- se la CPU va al 100% allora serve più potenza (improbabile)

[Tasslehoff]

Quoto, se il tutto è installato su linux e vuoi un'indicazione visuale immediata puoi usare nmon, idem se vuoi salvare un report da analizzare nel dettaglio in seguito usando nmon analyser.

Se il collo di bottiglia dovesse risultare lo storage verifica anche la configurazione dell'eventuale array, se il carico dovesse essere principalmente in scrittura (o se comunque la scrittura dovesse risultare critica in certi frangenti) oppure se il collo di bottiglia risultasse essere quello degli IOPS evita di usare array raid5.

[PhoEniX-VooDoo]

non avevo dubbi che trovavi il mondo di sconsigliare il raid5

mitico

[Tasslehoff]

Originariamente inviato da PhoEniX-VooDoo

non avevo dubbi che trovavi il mondo di sconsigliare il raid5

mitico

Repetita iuvant

In realtà ce l'ho abbastanza a morte anche con hibernate, il caso tipico è:
cliente: "Non funziona una fava!"
helpdesk: "Ok verifico"
helpdesk: mumble mumble
helpdesk: "Incredibile dictu! per una volta il cliente ha ragione e non sta sparando il solito piagnisteo inutile! Sviluppatore pensaci tu!" Hop... (suono tipico del passaggio di sfiga, detto tecnicamente "scaricabarile")
sviluppatore: mumble mumble
sviluppatore: "Non ci sono problemi dal punto di vista applicativo (e quando mai? nd Tas), qui è il db che da problemi, lo vedo chiaramente dai log!"
sviluppatore: "Amico sistemista, a te la sfiga!" Hop...
sistemista: mumble mumble... crunch crunch... bestemm.. bestemm...
... alla fine il povero tapino sistemista, dopo essersi smazzato trilioni di log che lo sviluppatore non vuole (o non sa... ) smazzarsi, scopre il solito vincolo di integrità referenziale violato o altre cavolate del genere, che con un accesso normale e sensato al db si sarebbe trovato in un picosecondo, a causa di hibernate si scopre solo dopo una giornata di lavoro (se va bene) prendendo a craniate i logs e una scatola intera di Moment (se va bene) per placare l'emicrania conseguente...

Epilogo:
E' una notte buia e tempestosa, su una collina solitaria si staglia la figura di un essere orribilmente sfigurato, ha le zanne da lupo mannaro, i vestiti ridotti a brandelli e dalle fauci scorre copiosa la bava mista a sangue di sviluppatore che giace ai suoi piedi, azzannato alla giugulare durante un raptus d'ira violenta del sistemista (effetto collaterale di una scatola intera di Moment...).
E' il nostro prode sistemista, il ricettacolo di tutte le sfighe informatiche, colui che risolve i problemi suoi, degli altri e pure dei loro cari fino al terzo grado di parentela, è lui che ulula alla luna parole farneticanti: "Chi cazz ha usato questo ca$$o di hibernate!!! Maledetta sia la stirpe degli sviluppatori e tutti la loro progenie! Maledetto l'ideatore di questo flagello divino! Maledetto chi l'ha usato, chi l'ha scaricato e anche soltanto chi ne ha letto la documentazione! Ma soprattutto maledetta RedHat che gli ha dato i natali!!"

[vegelith1]

Prima di tutto: complimenti al post di Tasslehoff, mi sono rotolato a terra dalle risate

ora vengo al dunque più che altro a titolo informativo per chi leggesse in futuro il post e cercasse informazioni conclusive.

Il software in questione lo stò sviluppando come "lavoretto" per un amico che mi ha chiesto un favore (se vi dico il prezzo che gli ho fatto mi dite che sono folle) ma il carico è molto a livello di "piccola azienda", in sintesi massimo 4 accessi concorrenti. una miseria.

Per velocizzare quei flussi ho attivato il processo batch di hibernate, impostando in più i flush ogni 500 operazioni consecutive nella transazione e disattivando la cache di secondo livello. ora in 7 secondi sulla mia macchina di sviluppo fa l'operazione più critica di tutti i processi.

La mia richiesta sull'hardware era più che altro per una mera incompetenza in materia sistemica, le cose che so le so per hobby.

Alla fine ho optato per questa configurazione:

intel CORE i5 3570 3.4Ghz Ivy Bridge Socket 1155
asus P8Z77-M PRO (Z77) - SOCKET 1155
corsair 8GB Kit Red Vengeance DDR3-1600 1.5v CL9 (2x4GB) (lo so ho fatto una cazzata infatti non mi vanno in dual channel)
enermax LIBERTY ECO II 400W Modulare
cooler master HYPER 412S con in più la fantastica ARTIC SILVER 5
western digital caviar black 500gb sata 6gb/s 64mb(inizialmente avevo preso un seagate 500GB BARRACUDA - SATA 6GB/S 16mb ma l'ho cambiato 2 volte per problemi alla testina, alla fine ho capito che la seagate dovrebbe aprirsi un azienda agricola visti i loro prodotti)

La configurazione mi sembra ottimale, forse anche eccessiva, e dai test non stò riscontrando problemi di sorta.


Vado un pò OT in questa parte conclusiva:
Io sono sviluppatore e penso di poter dire anche molto specializzato in java. Ritengo che come dice Tasslehoff hibernate sia l'anticristo in materia, però all'atto strettamente pratico è una mano santa per chi deve sviluppare in tempi stretti. Il problema è che molti sviluppatori ora come ora sono potenziali lavavetri (con tutto il rispetto per il mestiere) che sono stati buttati li a sviluppare codice per far spendere poco alle aziende, non sapete quante bestemmie tiro ogni giorno per correggere codice scritto col culo da gente che ancora mi domando perchè sta facendo questo lavoro. Questo implica che chi usi hibernate sappia bene cosa sta facendo...questo non succede quasi mai.
Nell'ambito sistemistico non mi sembra che la situazione sia migliore, tempo fa stavo per dar fuoco alla stanza dei sistemisti engineering (azienda in cui pensi di trovare gente competente, all'atto pratico la peggiore per cui ho lavorato) che alla mia richiesta di abilitare su sqlserver le transazioni xa accampavano scuse di sorta perchè non sapevano neanche dove mettere le mani...e questo è solo uno dei mille casi...

[Tasslehoff]

Originariamente inviato da vegelith1

Vado un pò OT in questa parte conclusiva:
Io sono sviluppatore e penso di poter dire anche molto specializzato in java. Ritengo che come dice Tasslehoff hibernate sia l'anticristo in materia, però all'atto strettamente pratico è una mano santa per chi deve sviluppare in tempi stretti. Il problema è che molti sviluppatori ora come ora sono potenziali lavavetri (con tutto il rispetto per il mestiere) che sono stati buttati li a sviluppare codice per far spendere poco alle aziende, non sapete quante bestemmie tiro ogni giorno per correggere codice scritto col culo da gente che ancora mi domando perchè sta facendo questo lavoro. Questo implica che chi usi hibernate sappia bene cosa sta facendo...questo non succede quasi mai.
Nell'ambito sistemistico non mi sembra che la situazione sia migliore, tempo fa stavo per dar fuoco alla stanza dei sistemisti engineering (azienda in cui pensi di trovare gente competente, all'atto pratico la peggiore per cui ho lavorato) che alla mia richiesta di abilitare su sqlserver le transazioni xa accampavano scuse di sorta perchè non sapevano neanche dove mettere le mani...e questo è solo uno dei mille casi...

Ti quoto sonoramente
Scherzi a parte, chiaramente il mio astio nei confronti di hibernate è frutto di diverse esperienze negative (non troppo dissimili alla scenetta che ho descritto nel mio post precedente ) originate dall'inesperienza, dall'incompetenza o dall'ignoranza di chi ha usato male questo strumento.
L'idea che sta dietro hibernate è ottima e probabilmente è stata implementata ottimamente, il problema come sempre "sta tra la tastiera e la sedia".

Riguardo allo stato del settore IT condivido pienamente quanto hai rilevato, esistono ancora gruppi che lavorano seriamente e che sanno il fatto loro, però sono delle mosche bianche in un mare popolato da un mix letale composto da mediocrità tecnica (quando non è incompetenza) ed eccellenza formale.
Il risultato sono società che sulla carta propongono mari e monti, che fanno analisi formalmente fantastiche (ma che scavando sotto la superficie luccicante mostrano il vuoto spinto) ma che poi sanno fare ben poco, e spesso quel poco che fanno fa acqua da tutte le parti

Conosco bene Eng e ho lavorato con diversi loro gruppi di diverse zone d'Italia (così come ho lavorato con tanti altri gruppi, da IBM a Oracle, da Telecom a Sistemi Informativi, da Tieto a Capgemini, da Reply ad Accenture e tanti altri), ahimè non sono diversi dagli altri, hanno gruppi eccezionali con persone davvero skillate e gruppi di gente mediocre.

Alla fine comunque credo che il basso livello qualitativo di molte persone impiegate nel comparto IT non sia altro che il riflesso di un settore dove ormai perfino consulenti senior iperspecializzati con decenni di esperienza vengono quotati a cifre ridicole (140-160 euro a giornata), meno di un ragazzino appena uscito dalle scuole medie e senza alcuna professionalità impiegato in un lavoro di manovalanza generica.

[vegelith1]

Originariamente inviato da Tasslehoff

Ti quoto sonoramente
Scherzi a parte, chiaramente il mio astio nei confronti di hibernate è frutto di diverse esperienze negative (non troppo dissimili alla scenetta che ho descritto nel mio post precedente ) originate dall'inesperienza, dall'incompetenza o dall'ignoranza di chi ha usato male questo strumento.
L'idea che sta dietro hibernate è ottima e probabilmente è stata implementata ottimamente, il problema come sempre "sta tra la tastiera e la sedia".

Riguardo allo stato del settore IT condivido pienamente quanto hai rilevato, esistono ancora gruppi che lavorano seriamente e che sanno il fatto loro, però sono delle mosche bianche in un mare popolato da un mix letale composto da mediocrità tecnica (quando non è incompetenza) ed eccellenza formale.
Il risultato sono società che sulla carta propongono mari e monti, che fanno analisi formalmente fantastiche (ma che scavando sotto la superficie luccicante mostrano il vuoto spinto) ma che poi sanno fare ben poco, e spesso quel poco che fanno fa acqua da tutte le parti

Conosco bene Eng e ho lavorato con diversi loro gruppi di diverse zone d'Italia (così come ho lavorato con tanti altri gruppi, da IBM a Oracle, da Telecom a Sistemi Informativi, da Tieto a Capgemini, da Reply ad Accenture e tanti altri), ahimè non sono diversi dagli altri, hanno gruppi eccezionali con persone davvero skillate e gruppi di gente mediocre.

Alla fine comunque credo che il basso livello qualitativo di molte persone impiegate nel comparto IT non sia altro che il riflesso di un settore dove ormai perfino consulenti senior iperspecializzati con decenni di esperienza vengono quotati a cifre ridicole (140-160 euro a giornata), meno di un ragazzino appena uscito dalle scuole medie e senza alcuna professionalità impiegato in un lavoro di manovalanza generica.

Luoghi comuni...sigh

[Tasslehoff]

Originariamente inviato da vegelith1

Luoghi comuni...sigh

Luoghi comuni? A cosa ti riferisci?

[vegelith1]

Originariamente inviato da Tasslehoff

Luoghi comuni? A cosa ti riferisci?

a tutto il discorso fatto, la gente fa questo lavoro pur non essendo in grado, i salari sempre più bassi ecc. ecc. purtroppo è un discorso in cui ci si finisce spesso per ricadere

[Tasslehoff]

Originariamente inviato da vegelith1

a tutto il discorso fatto, la gente fa questo lavoro pur non essendo in grado, i salari sempre più bassi ecc. ecc. purtroppo è un discorso in cui ci si finisce spesso per ricadere

Beh un conto è ricadere in luoghi comuni, un conto è descrivere lo stato di un settore lavorativo.
I dati che ti ho portato sono dati reali di vere e proprie gare d'appalto dove consulenze senior (sviluppatore, analista, sistemista, project manager) prima quotate 350-450 euro a giornata sono crollate a offerta al ribasso con tetto massimo 160 euro (20 euro/h lorde eh, un manovale edile senza alcuna specializzazione costa di più eh).

E se devi stare su quelle cifre come fai?
Assumi il professionista con esperienza che non esce a meno di 600 euro a giornata oppure lo "scappato di casa" di turno (magari neolaureato) da agenzia interinale a quelle cifre?
Il fatto che poi i progetti vadano a rotoli e facciano acqua da tutte le parti diventa un dato oggettivo, non certo un luogo comune.

[vegelith1]

Originariamente inviato da Tasslehoff

Beh un conto è ricadere in luoghi comuni, un conto è descrivere lo stato di un settore lavorativo.
I dati che ti ho portato sono dati reali di vere e proprie gare d'appalto dove consulenze senior (sviluppatore, analista, sistemista, project manager) prima quotate 350-450 euro a giornata sono crollate a offerta al ribasso con tetto massimo 160 euro (20 euro/h lorde eh, un manovale edile senza alcuna specializzazione costa di più eh).

E se devi stare su quelle cifre come fai?
Assumi il professionista con esperienza che non esce a meno di 600 euro a giornata oppure lo "scappato di casa" di turno (magari neolaureato) da agenzia interinale a quelle cifre?
Il fatto che poi i progetti vadano a rotoli e facciano acqua da tutte le parti diventa un dato oggettivo, non certo un luogo comune.

forse mi sono espresso male, con il "luogo comune" intendevo darti ragione su quello che avevi espresso, che ormai è cosi dappertutto e la penso come te