A propostio di BenchMark....

[nikyg1]

Ciao gente!
Vorrei il vostro parere su una circolare del CNIPA di cui allego il testo completo. (Prego i moderatori di spostare la discussione nel canale più appropriato)

CENTRO NAZIONALE PER L'INFORMATICA NELLA PUBBLICA AMMINISTRAZIONE

CIRCOLARE 5 ottobre 2004, n. CNIPA/CR/44

Indicazioni relative agli appalti pubblici per la fornitura di personal computer desktop.

Ai responsabili dei sistemi informativi
automatizzati delle amministrazioni
destinatarie del decreto legislativo
12 febbraio 1993, n. 39
e, p.c.
Alla Presidenza del Consiglio dei
Ministri
Dipartimento della funzione pubblica
Dipartimento per l'innovazione e le
tecnologie
Al Consiglio di Stato
Alla Corte dei conti
All'Avvocatura generale dello Stato
Alla ragioneria generale dello Stato

L'evoluzione del mercato dei microprocessori per personal computer ha determinato il manifestarsi di differenze, tecniche e architetturali, nelle soluzioni offerte dai diversi produttori; conseguentemente, il riferimento ad alcune caratteristiche (quali, ad esempio, la frequenza di clock del microprocessore) verrebbe oggi a pregiudicare,re o a restringere ingiustificatamente, la partecipazione alle procedure di gara relative all'affidamento di appalti pubblici per la fornitura di apparecchiature informatiche.
Con riferimento a tale problematica, il CNIPA, al fine di garantire la più ampia partecipazione alle procedure suddette, ritiene che possa farsi ricorso all'utilizzo di appositi benchmark prestazionali di tipo applicativo sviluppati da organismi indipendenti.
Questa valutazione trova riscontro, tra l'altro, nel «Considerando 29» della direttiva 2004/18/CE del 31 marzo 2004, relativa al coordinamento delle procedure di aggiudicazione degli appalti pubblici di lavori, di forniture e di servizi, che stabilisce: «Le
specifiche tecniche fissate dai committenti pubblici dovrebbero permettere l'apertura degli appalti pubblici alla concorrenza. A questo scopo deve essere possibile la presentazione di offerte che riflettano la pluralità di soluzioni tecniche. Pertanto le
specifiche tecniche devono poter essere fissate in termini di prestazioni e di requisiti funzionali e, in caso di riferimento alla norma europea, o, in mancanza di quest'ultima, alla norma nazionale, le amministrazioni aggiudicatrici devono prendere in considerazione
offerte basate su altre soluzioni equivalenti».
Per facilitare l'adozione di detti benchmark, il CNIPA ha costituito un Gruppo di lavoro al quale partecipano anche i rappresentanti delle Associazioni nazionali dei produttori. Quale primo risultato delle proprie attivita', il Gruppo di lavoro ha individuato, con il consenso unanime dei suddetti rappresentanti delle Associazioni, il SYSMARK 2004 OVERALL RATING quale benchmark di riferimento, allo stato attuale e salve successive evoluzioni, per la misura delle capacità prestazionali dei personal computer desktop. Le caratteristiche del citato benchmark ed i risultati raggiunti da alcune configurazioni sottoposte a test sono riportati nel sito web del consorzio non profit BAPCO (www.bapco.com) che ha sviluppato e distribuisce il benchmark Sysmark 2004.
Il CNIPA raccomanda alle amministrazioni pubbliche che intendono
acquisire personal computer di tipo desktop di utilizzare il benchmark Sysmark 2004 negli appalti per la fornitura di detta tipologia di apparecchiature.
Per quanto riguarda la determinazione dei valori del benchmark Sysmark 2004 Overall Rating da porre come soglia per la partecipazione alle gare, il CNIPA ritiene necessario che questa avvenga sulla base dei valori misurati su configurazioni di personal computer presenti sul mercato e rispondenti alle esigenze della stazione appaltante.
Il CNIPA si riserva di aggiornare la presente circolare sulla base dei risultati cui perverrà il Gruppo di lavoro in parola.
Si rappresenta, infine, che il CNIPA e' disponibile a fornire un supporto alle amministrazioni pubbliche in merito all'utilizzo di benchmark applicativi.

Roma, 5 ottobre 2004

Ok, questa è la circolare.
Che ne pensate?
Vi sembra una cosa sensata o solo un modo per far guadagnare un po' di soldini a questa "bapco" visto che il software non è free ma costa $399.95 USD. Questo vuol dire ke lo devono acquistare tutte le pubbliche amministrazioni e tutte quelle aziende, grandi e piccole, che vogliono partecipare alle gare d'appalto. Un bel giro di soldini!!!

[answertome]

ciao

riprendo la discussione percheà credo che sia un argomento molto importante per chi opera nel settore informatico ed ha a che fa con la PA.

La mia opinioni eà che non si vuole far guadagnare la Bapco, anche se forse e' l'unica societa' che ci guadagna qualcosa.

Credo che l'utilizzo di Sysmark 2004 o Sysmark2004 SE per i PC desktop, e di MobileMark 2002 o 2005 per i notebook abbia un senso se fosse possibile farlo girare su tutte le piattaforme hardware, e non solo su processori Intel , AMD o compatibli.

Inoltre, ci sono troppe variabili nella configurazione del PC con Windows che possono portare ad una variazione del risultato del benchmark di oltre il10% o addirutura del 15%.
Cio' significa che lo stesso PC/notebook puo fare 100 oppure 110/115 solo modificando la configurazione del sistema operativo e del File System.

Siccome nella circolare CNIPA non c'e' scritto come deve essere configurato il PC, questo consente a chi esegue il benchmark di configurare Windows XP in maniera tale da ottenere il risultato piu' alto possibile con quell' hardware. Quindi chi conosce piu' trucchi ottiene il maggior risulato ma cio' non significa che quel PC e' piu' veloce di un altro che ha ottenuto un risultato minore.

Per esempio un PC con CPU Intel 630 e 512MB di RAM potrebbe ottenere un risultato migliore di un PC con CPU Intel 640 e 1GB di RAM.
Quindi che sa ottimizzare al meglio la configurazione software del PC otterra' i migliori risultati e non i PC con le maggiori prestazioni reali.

Questo vale anche per i notebook ovviamente.
Questi benchmark non servono se non vengono scritte ben chiare le regole.

e poi chi ne paga i costi ? e' possibile che per gare da poche decine di unita', chi vuole vendere, e gia' guadana poco, deve pure perdere tempo con i benchmark e accollarsi dei costi altissimi per fare questi test (ore uomo, hardware e software).

Il benchmark ideale, ammesso che esista, dovrebbe essere boostrappabile da DVD e indipendende sia dalla piattaforma hardware che software. Questo consentirebbe a tutte le piattaforme di partecipare alle gare pubbliche e metterebbe tutti sullo stesso piano dal punto di vista software.
e si ridurrebbe anche il costo per eseguire il test.

Avete mai provato ad utilizzare MobileMark 2005 ?
Ci sono i seguenti test:
Productivity (performance e battery life)
DVD play
Reader
Wireless (necessita di un secondo PC con wireless ed un Access Point)
Considerando che le batteria dei notebook possono durare oltre le 4 ore, pensate a quanti giorni servono per eseguire tutti quersti test su ogni singola configurazione e poi moltiplicate per le decine di configurazioni possibili per ogni singola piattaforma (stesso notebook ma con CPU con diverso clock, diversa dimensione del disco, diversa quantita' di RAM, magari anche batteria con diversa quantita' di celle !!!)

Che ne dite, non e' un po troppo lavoro ?

Saluti

[answertome]

Rieccomi di nuovo

ma questi benchmark sono validi ?

ho perso del tempo a far girare il benchmark MobileMark 2002 su un notebook.
Senza modificare la configurazione dell' hardware e del BIOS ma reinstallando il sistema operativo in diversi modi e agendo sulle configurazione del sistema e sui servizi di Windows XP, ho ottenuto dei valori molto diversi, mi riferisco ai soli valori di performance e non di durata della batteria.
Non riporto i valori assoluti che ho ottenuto, ma se facciamo 100 il valore minino che ho ottenuto , il massimo e' stato di 123. Quindi un bel 23% di differenza, eppure il notebook e' lo stesso.

Saluti

[answertome]

Aggiornamento risultato benchmark dello stesso notebook.
Rispetto al risultato di base, idealmente 100, ho ottenuto il 31% in piu'.
Senza modificare ne hardware ne configurazione BIOS ma solo agendo sulla configurazione del disco e di XP.

Incredibile. Ma tra 100, 123 e 131, quale di questo risultato e' quello corretto ?

Visto che non ci sono regole su come configurare il disco e Windows XP, direi che piu' alto e' il risultato e meglio e' per chi e' in grado di ottenerlo !!!

o no ?

Saluti