calcolare percentuale di accuratezza di un algoritmo

[mistergks]

Ciao a tutti!
Ho una domanda... sto lavorando ad un algoritmo ma non scendo nei dettagli ...
Basta sapere che si tratta di un algoritmo di AI che prende in input un certo dataset di immagini.

La domanda è: in generale come si fa a fare una valutazione dell’accuratezza di un algoritmo?

Mi spiego meglio:
Come faccio a dire che funziona bene al 60% o al 90% ecc...?
A livello statistico

[pabloski]

Originariamente inviato da mistergks

Come faccio a dire che funziona bene al 60% o al 90% ecc...?
A livello statistico

Si testa su un dataset tra quelli pubblicamente utilizzati e si vede quante volte c'azzecca e quante invece dice castronerie.

L'accuratezza è riferita ai dataset di riferimento tipo MNIST, labelled faces in the wild, ecc...

[mistergks]

Originariamente inviato da pabloski

Si testa su un dataset tra quelli pubblicamente utilizzati e si vede quante volte c'azzecca e quante invece dice castronerie.

L'accuratezza è riferita ai dataset di riferimento tipo MNIST, labelled faces in the wild, ecc...

Grazie per la risposta...
Allora significa che io provo su un dataset (ad esempio fer 2013) e se su 10 prove che faccio, 6 dice cose giuste e 4 dice cavolate, la percentuale sarà 60% di accuratezza?
Ho capito bene?

[pabloski]

Originariamente inviato da mistergks

Grazie per la risposta...
Allora significa che io provo su un dataset (ad esempio fer 2013) e se su 10 prove che faccio, 6 dice cose giuste e 4 dice cavolate, la percentuale sarà 60% di accuratezza?
Ho capito bene?

Si. E ovviamente ogni dataset è suddiviso tra training set e test set. Cioè hanno deciso pure su quali campioni si fa la prova e su quali si addestra la rete.

[mistergks]

Originariamente inviato da pabloski

Si. E ovviamente ogni dataset è suddiviso tra training set e test set. Cioè hanno deciso pure su quali campioni si fa la prova e su quali si addestra la rete.

Ho capito!
Quindi l’hardware del mio notebook incide su tale risultato?
Anche se la rete è gia addestrata e mi limito ad eseguire un programma già pronto?

[pabloski]

Originariamente inviato da mistergks

Ho capito!
Quindi l’hardware del mio notebook incide su tale risultato?
Anche se la rete è gia addestrata e mi limito ad eseguire un programma già pronto?

Sul risultato dell'accuratezza no ( a meno che non si decida di usare una versione compressa di una rete neurale, perchè l'hardware altrimenti ci mette una vita ad addestrarla ). Sulle velocità di apprendimento ed inferenza, ovviamente si.

Quindi a parità di modello ( numero di layer, neuroni per layer, funzioni di trasferimento, tipo dati dei pesi ), non c'è nessuna differenza introdotta dall'hardware.