Reti neurali – funzione di attivazione

Lo scopo di ciascun nodo nella rete neurale feed forward consiste nell’accettare valori di input e immettere un valore di output nello strato immediatamente successivo.
I nodi di input inseriscono i valori delle variabili nello strato nascosto senza modificarli.
Ogni nodo di uno strato nascosto riceve l’input dai nodi connessi dello strato precedente (output del nodo moltiplicato per il peso della connessione), combina tali valori in un valore singolo che utilizza come input della funzione di attivazione.
La funzione di attivazione deve soddisfare alcuni criteri:
- deve avere valori di output compresi nell’intervallo {0, 1};
- deve fornire un valore di output vicino ad 1 quando viene sufficientemente stimolata (effetto soglia), per propagare l’attività all’interno della rete (come avviene per i neuroni naturali).
La cosiddetta funzione sigmoide soddisfa entrambi questi criteri ed è calcolata come segue:

Grafico della funzione sigmoide: