[Python] come creare un benchmark

[bob_80]

Ciao a tutti,

programmo da un po' con Python.. non sono troppo esperto

Vorrei chiedervi, almeno concettualmente, come posso fare un piccolo benchmark per CPU ?

[bob_80]

Nessuno

[cdimauro]

import sys

n = int(sys.argv[1])

for i in xrange(n):
  pass

[bob_80]

Originariamente inviato da cdimauro

import sys

n = int(sys.argv[1])

for i in xrange(n):
  pass

Cosa dovrebbe fare ?

In ogni caso non funziona..

  n = int(sys.argv[1])
IndexError: list index out of range

[wizard1993]

essenzialmente esegue cicli a vuoto per n volte, occupando così la cpu
se n non glielo passi come parametro, l'interprete ha perfettamente ragione a lamentarsi

[Faster9]

interessante, ma la cpu va in full a 100% ?

[cdere]

sì ma non parallelizza nulla e non potrebbe farlo neanche usando multithread (global interpreter lock) con l'implementazione in c di python (quella più comune).

Però c'è multiprocessing..

[cdimauro]

Esatto. Con multiprocessing puoi sfruttare tutti i core della CPU.

Originariamente inviato da bob_80

Cosa dovrebbe fare ?

In ogni caso non funziona..

  n = int(sys.argv[1])
IndexError: list index out of range

Il programma funziona perfettamente, ma aspettavo che riportassi quest'errore.

Significa che hai ancora molta strada da fare con Python, prima di cominciare a pensare di scrivere un benchmark...

[Faster9]

Originariamente inviato da cdimauro

Esatto. Con multiprocessing puoi sfruttare tutti i core della CPU.

Il programma funziona perfettamente, ma aspettavo che riportassi quest'errore.

Significa che hai ancora molta strada da fare con Python, prima di cominciare a pensare di scrivere un benchmark...

si può dar vita ad un programma tipo futuremark ?

[ingframin]

from multiprocessing import Process
import time

def benchmark(cycles=1e6):
    for i in range(cycles):
        sum(range(i))/cycles
        print(i)

if __name__=='__main__':
    now = time.clock()
    pr1 = Process(target=benchmark, args=(int(1e6),))
    pr2 = Process(target=benchmark, args=(int(1e6),))
    pr3 = Process(target=benchmark, args=(int(1e6),))
    pr4 = Process(target=benchmark, args=(int(1e6),))

    pr1.start()
    pr2.start()
    pr3.start()
    pr4.start()

    pr1.join()
    pr2.join()
    pr3.join()
    pr4.join()
    print(time.clock() - now)

Questo mi manda la cpu intorno al 100% (anche se in realtà ho notato che Ubuntu assegna ai 4 processi solo il 75% della CPU, presumo che il resto sia usato dal sistema operativo).
Se vuoi spremere davvero la macchina ti consiglio di provare anche qualche lettura e scrittura su file, magari su file grossi in modo da riempire la ram.
Ovviamente poi ti serve un computer di riferimento pre prendere i tempi e poi il pc da provare.
Per quanto riguarda cose più complesse dipende da cosa devi fare. Un esperimento simpatico sarebbe ad esempio far girare il metodo di gauss su una matrice 10'000 x 10'000 e vedere che succede oppure un benchmark tipico per i microcontrollori (forse si usa anche per i pc) è il cosiddetto algoritmo butterfly per la FFT.
Tutto dipende da cosa vuoi provare.
Poi è chiaro che se hai una CPU ad un solo Core per avere dei tempi comparabili devi segare 3 processi dal mio script o se hai 8 core ne devi aggiungere altri 8.
Non so però come fare a testare funzionalità specifiche dei computer, probabilmente c'è qualche libreria ad hoc che non conosco.

[ingframin]

Ho apportato delle piccole modifiche per fare altre prove:

from multiprocessing import Process
import time


def benchmark(cycles=1e6,filename = 'test.txt'):
    t = time.clock()
    memory = []
    
    for i in range(cycles):
    
        test = (i+i, i*i, i/(i+1), i - 7.0, i|i, i&i, i^i, ~i)
                
        memory.append(test)
        
        print(i)

    f = open(filename,'w')

    while len(memory)>0:
        f.write(str(memory.pop())+'\n')
            
    f.write(str(time.clock()-t))
    f.close()

if __name__=='__main__':

    now = time.clock()
    pr1 = Process(target=benchmark, args=(int(1e6),'test1.txt',))
    pr2 = Process(target=benchmark, args=(int(1e6),'test2.txt',))
    pr3 = Process(target=benchmark, args=(int(1e6),'test3.txt',))
    pr4 = Process(target=benchmark, args=(int(1e6),'test4.txt',))

    pr1.start()
    pr2.start()
    pr3.start()
    pr4.start()

    pr1.join()
    pr2.join()
    pr3.join()
    pr4.join()
    print(time.clock() - now)

Così si prova anche un po'come risponde la ram e la scrittura su file... Comunque ci sono mille possibilità, probabilmente la cosa migliore sarebbe fare degli script suddivisi ognuno per ogni cosa (uno per testare la velocità della ram, uno per il processore, uno per l'hard disk, ecc...)