Teo@Unix
30-11-2010, 10:55
A fine didattico ho realizzato in C una rete neurale FF con back-propagation per l'apprendimento.
Inizialmente correggendo qualche problema sono riuscito a farla funzionare, le mie domande sono però ora relative alle sue prestazioni.
La discussione ha avuto origine qui, ove ci sono anche i dettagli della mia configurazione:
http://www.hwupgrade.it/forum/showthread.php?t=2284542
In breve quello che vorrei capire è che tipo di comportamento devo aspettarmi da una rete di questo tipo. Nel mio esempio cerco di eseguire l'XOR...
Molte volte la rete incappa probabilmente nei minimi locali, utilizzando il momentum la situazione migliora ma solo leggermente non risolvendo il problema.
Ora dato che comunque l'XOR è utile solo ai fini di apprendimento, vorrei capire se devo pensare di aver commesso qualche errore, ma questo non credo perchè in alcuni casi la rete funziona molto bene, dipende tutto da come i pesi vengono inizializzati.
Oppure se devo considerare questo comportamento nella norma.
I valori di learning rate e coefficiente momentum che mi danno migliori risultati sono il primo settato a 0.2 ed il secondo a 0.1. Negli altri casi l'addestramento diventa o enormemente lungo o l'algoritmo rimane intrappolato.
Grazie.
Inizialmente correggendo qualche problema sono riuscito a farla funzionare, le mie domande sono però ora relative alle sue prestazioni.
La discussione ha avuto origine qui, ove ci sono anche i dettagli della mia configurazione:
http://www.hwupgrade.it/forum/showthread.php?t=2284542
In breve quello che vorrei capire è che tipo di comportamento devo aspettarmi da una rete di questo tipo. Nel mio esempio cerco di eseguire l'XOR...
Molte volte la rete incappa probabilmente nei minimi locali, utilizzando il momentum la situazione migliora ma solo leggermente non risolvendo il problema.
Ora dato che comunque l'XOR è utile solo ai fini di apprendimento, vorrei capire se devo pensare di aver commesso qualche errore, ma questo non credo perchè in alcuni casi la rete funziona molto bene, dipende tutto da come i pesi vengono inizializzati.
Oppure se devo considerare questo comportamento nella norma.
I valori di learning rate e coefficiente momentum che mi danno migliori risultati sono il primo settato a 0.2 ed il secondo a 0.1. Negli altri casi l'addestramento diventa o enormemente lungo o l'algoritmo rimane intrappolato.
Grazie.