SPEC invalida circa 2600 risultati: scoperta ottimizzazione che migliorava le performance delle CPU Intel

SPEC (Standard Performance Evaluation Corporation), consorzio che realizza benchmark standardizzati per valutare il comportamento dei sistemi, specie in ambito industriale e HPC, ha invalidato circa 2600 risultati registrati in SPEC CPU 2017 dopo aver rilevato un comportamento anomalo da parte del compilatore Intel oneAPI DPC++.

In pratica, il compilatore in questione aveva un'ottimizzazione mirata per alcuni passaggi del test che restituiva risultati migliori di diversi punti percentuali (fino al 9% in SPECint) rispetto a quelli che si sarebbero dovuti registrare. A essere coinvolti, dato il periodo di tempo, sono principalmente le CPU Xeon Scalable di 4a generazione, mentre la 5a generazione Emerald Rapids sembra sia stata testata solo con compilatori aggiornati che non prevedono l'ottimizzazione.

Ad accorgersi dell'accaduto numerosi utenti (via Phoronix) che, registrando i risultati ottenuti nel test, si sono ritrovati davanti a una nota (qui un esempio): "SPEC ha stabilito che il compilatore usato per questo risultato stava eseguendo una compilazione che migliora specificamente le prestazioni dei benchmark 523.xalancbmk_r / 623.xalancbmk_s servendosi della conoscenza a priori del codice SPEC e del set di dati per eseguire una trasformazione che ha un'applicabilità ristretta".

"Al fine di incoraggiare ottimizzazioni che abbiano un'ampia applicabilità (vedi regola 1.4), SPEC non pubblicherà più i risultati usando questa ottimizzazione. Questo risultato viene lasciato nel database dei risultati SPEC per riferimento storico".

Da quanto si è appreso, a essere interessata dall'ottimizzazione è Intel oneAPI da 2022.0 a 2023.0, mentre le versioni post-2023.0 e quelle pre-2022 rientrano nei parametri di SPEC, la quale non disdegna le ottimizzazioni, ma solo se poi queste hanno anche un effetto reale e non circoscritto al solo test.

Al momento Intel non ha commentato l'accaduto, quindi non sappiamo effettivamente cosa sia avvenuto, ma ottimizzare in modo mirato il compilatore per un test, qualsiasi esso sia, è senza dubbio un comportamento "discutibile" perché distorce la percezione che determinati utenti possono farsi di un prodotto, viziando le decisioni d'acquisto.