Reti neurali: modelli e aspetti applicativi

Reti Neurali: modelli e aspetti applicativi:  Cap 1 - Introduzione 6
biologici, sia  di  impostare  in  modo  nuovo  i problemi    fondamentali  dell’intelligenza
artificiale. La  teoria  delle  reti   neurali   si   propone   anche   di riorganizzare i rapporti
tra lo  studio  astratto  e  formale delle funzioni mentali (scienza cognitiva), e quello
concreto   del cervello visto come una macchina fisica (neuroscienze).
I segni  di  un  ravvicinamento  tra   scienza   cognitiva e neuroscienze   sono   giustificati
sia    dagli    sviluppi   tecnologici,  che  consentono  la  costruzione  dei   sistemi neurali,
sia  dai  progressi  delle  ricerche,  condotte  da fisici, psicologi e neurofisiologi, sullo
studio  fisico  del cervello . La tesi si propone di fornire un  quadro  generale degli studi
attuali  sulle  reti  neurali,  con  particolare riguardo  alle applicazioni computazionali e
alla costruzione di memorie  associative.  Le  memorie  associative  sono  dei dispositivi
in  grado  di  recuperare  i  dati   memorizzati mediante la presentazione di copie
incomplete o  distorte  di questi ultimi. E’ facile comprendere  che  l’argomento  delle reti
neurali,  interessando  svariati  campi  della  ricerca, assume  vastissime   proporzioni,
pertanto   la   tesi   ha focalizzato i principali modelli di una teoria ancora giovane cercando
di evidenziare le applicazioni a problemi reali.
1.2 - CONTENUTO DEI CAPITOLI SUCCESSIVI
Il lavoro inizia evidenziando l’origine comune  tra  i  primi modelli  neurali,  la  macchina
algoritmica  di   Turing   e l’elaboratore di Von Neumann. Un breve accenno alla struttura
e al funzionamento del cervello,  necessario  per  capire  il    senso con cui le nuove
macchine di calcolo  vi  si  ispirano, conclude   il    secondo    capitolo.   La    descrizione
dell’architettura generale  e  delle  propriet   dei  sistemi neurali, insieme a una sommaria
classificazione, costituisce l’argomento  del  terzo  capitolo.  Il  quarto  e  il  quinto capitolo
si soffermano sulla teoria delle reti  di  Hopfield, dei perceptroni e delle reti di Kohonen.
Una  collezione  di    applicazioni computazionali delle  reti  di  Hopfield  e  dei
perceptroni Ł presentata nel quinto capitolo.  Tale  capitolo lascia  intravedere  la  vastit 
dei   possibili   orizzonti applicativi. Nel sesto e ultimo capitolo  sono  raccolte  una serie
di  simulazioni  al  calcolatore  fatte   dall’autore. Le simulazioni riguardano memorie
associative  basate  sulle reti di Hopfield e su diverse regole di funzionamento.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 7
2. -  COMPUTAZIONE CLASSICA E MODELLI CONNESSIONISTICI
2.1- INTRODUZIONE
L’originale modello  di  rete  di  neuroni  Ł  elaborato  dai matematici Mc Cullock e Pitts
negli anni  di  sviluppo  della prima cibernetica, parallelamente allo studio da parte di  Von
Neumann    della    sua    architettura    di    elaboratore.   In questo secondo capitolo si
evidenziano le analogie tra  la macchina di Turing, prototipo di macchina ideale e
universale di calcolo, e le reti di neuroni  formali  di  Mc  Cullock  e Pitts.
Successivamente    si    analizza    l’architettura      dell’elaboratore di Von Neumann, che
deriva  direttamente  da quella della macchina di Turing.   In  conclusione  i  limiti
dell’elaboratore di  Von  Neumann  sono  confrontati  con  le peculiarit   del  cervello.
Il   capitolo,   partendo   dai   fondamenti della teoria matematica della computazione,
arriva a  generalizzare  un  processo  di  calcolo  all evoluzione dinamica  di  sistemi  fisici
diversi  dai   calcolatori   e intrinsecamente  non  programmabili,  lasciando  intuire  la
possibilit  di nuove architetture.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 8
2.2 - ALGORITMI E MACCHINE DI TURING
La  teoria  della  computabilit   studia   la   risolvibilit  a lgoritmica di un problema.
Un  algoritmo  Ł  una  procedura completamente definita, articolata in  un  numero  finito
di passi,  eseguibili  meccanicamente  in  un  tempo  finito,  e corrispondente a
un’espressione  scritta  in  un  determinato linguaggio.  I  problemi  per   la   cui   soluzione
esiste un algoritmo   definiscono   la   classe    delle    funzioni computabili. Le funzioni
computabili possono essere  espresse per mezzo di un tipo  di  definizione  molto  generale
detta ricorsiva che sar   definita  piø  avanti.  Il  problema  di definire  in  maniera  rigorosa
la  classe  delle   funzioni computabili porto nel 1930 il matematico Turing1  al  progetto di
una macchina di calcolo ideale descritta in figura  2.1.
Gli elementi costituenti la macchina di Turing sono:
1.  un unit  esterna di memoria o nastro
2.  una testina di lettura e scrittura
3.  una unit  di controllo A a stati finiti.
 
Per la macchina di Turing Ł definito un alfabeto  esterno  di simboli Xi, e un alfabeto
interno di simbolo Qi . Gli  ingressi della macchina  sono  i  simboli  dell’alfabeto  esterno
X, mentre l’uscita della macchina corrisponde ad  un’operazione di scrittura di un  simbolo
sull’unit   e sterna  di  memoria oppure ad un movimento della  testina  sul  nastro.  Lo
stato interno della macchina  Ł  espresso  mediante  i  simboli  Qi  dell’alfabeto interno
della macchina. Il funzionamento  della macchina consiste  nell’esecuzione  di  una  serie
di  passi elementari, in ciascuno  dei  quali  la  macchina  assume  una configurazione totale
determinata dallo stato in cui si trova  la macchina, dalla cella in esame dall’unit  di
controllo  e dal  contenuto  di  ogni   cella   della   memoria   esterna. Si definisce
computazione o calcolo di una macchina di Turing  una sequenza di configurazioni totali
che  terminano  in  uno stato  di  halt  Q0.  Lo  stato  di  halt  non  ammette   una
configurazione successiva. Il tipo d’algoritmo  implementato  da una  particolare  macchina
di  Turing  Ł  definito  dalla tavola  funzionale  della  macchina,   che   corrisponde   al
                                                
1
 A. Turing,  On computable numbers, with an application to the entscheidungsproblem ,
Proceedings of the London Mathematical Society, Num. 2 Vol XLII, 1936.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 9
programma dell’unit   logica.  Il  concetto  di  macchina  di Turing pu  essere esteso
definendo  una  macchina  di  Turing  universale  in  grado  di  eseguire  gli  algoritmi  di
una qualsiasi macchina di Turing dotata di una  qualunque  tavola funzionale. La macchina
universale operer  a partire  da  una configurazione  iniziale  che  prevede  la  registrazione
su nastro sia della matrice funzionale della macchina da imitare che della configurazione
iniziale di questa. La  macchina  di Turing universale equivale concettualmente ad un
computer Von Neumann general purpose.  La  caratteristica  della  macchina universale di
avere tavole funzionali e simboli dell’alfabeto  esterno memorizzati insieme nella memoria
esterna  equivale, nel caso di un elaboratore Von Neumann,  ai  programmi  e  ai dati
contenuti contemporaneamente in memoria.  L universalit  della macchina di Turing  viene
evidenziata  dalla  tesi  di Church, la quale restringe il concetto di computabilit  a una
classe precisa ma molto generale  di  funzioni,  le  funzioni parziali  ricorsive.
Una funzione di n-argomenti f(x1 ,x2 ,...,xn ) Ł detta ricorsiva se Ł definibile mediante le
equazioni2 :
 2.1
Nella 2.1 g e h  sono  funzioni  note,  S(x)  Ł  la  funzione successore definita come: S(x) =
x + 1. La funzione ricorsiva f Ł detta parziale quando essa non ha un valore definito  per
ogni n-upla di argomenti (x1 ,x2 ,...,xn ) ed Ł quindi  definita per un set limitato di
argomenti. Un esempio  di  definizione  ricorsiva di funzione  riguarda  l’operazione  di
addizione, indicando f col simbolo + si ha:
2.2
Nella 2.2   +(x,S(y)) Ł definito in termini di +(x,y) e della funzione nota successore  (h =
S).    Anche  l’operazione  di moltiplicazione pu  essere definita in tal modo, indicando  f
col simbolo * si ha:
2.3
                                                
2
 Robert McNaugthon,  Elementary Computability, Formal Languages and Automata ,  Prentice
Hall International 1982.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 10
Nella 2.3   *(x,S(y)) Ł definito in termini di *(x,y) e della funzione nota addizione  (h = +).
La tesi di Church  afferma che qualunque algoritmo scritto con qualsiasi formalismo  pu 
essere calcolato da una macchina di Turing. La  formulazione forte di questa tesi dice che
qualsiasi sistema fisico  reale pu  essere simulato da una macchina di Turing, con  un
grado di approssimazione arbitrariamente elevato, con l’ipotesi  di poter  ignorare  i  limiti
di  lunghezza  del  nastro  della macchina e il tempo disponibile per la  computazione.
Questa tesi evidentemente non pu  essere dimostrata,  esistono  per  significativi
argomenti a suo sostegno.  Innanzitutto  metodi alternativi elaborati per  definire  la
computabilit   hanno sempre portato a classi di funzioni  computabili  coincidenti con  le
funzioni  parziali  ricorsive.  Per  completare il discorso non si pu  trascurare l’esistenza  di
funzioni  che non sono parziali ricorsive, per la  tesi  di  Church  queste funzioni non sono
Turing-calcolabili, e quindi sono  ignorate dalla macchina di Turing. Un altro problema
non risolvibile Ł quello noto come problema dell’arresto  di  una  macchina  di Turing.  Si
consideri  una  macchina   di   Turing   A   con configurazione totale iniziale data da una
tavola  funzionale T e da una parola W  contenuta  nella  memoria  esterna,  non esiste
un’altra macchina di Turing B che con l’input di T e W possa calcolare se la computazione
di T si ferma o cicla.
FIGURA 2.1 - Rappresentazione della Macchina  di  Turing,  in  alto il dispositivo A e l’unit  d i
controllo, in basso si  ha  il nastro coi  simboli  dell’alfabeto  esterno  in  ingresso,  sopra il
nastro  in  grigio  e  posizionata  la  testina  di  lettura. (FONTE COMMUNICATIONS OF ACM
5/85/M.CONRAD)
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 11
2.3 - I NEURONI FORMALI DI MC CULLOCK E PITTS
Il neurofisiologo Mc Cullock e il matematico Pitts  nel  1943 introdussero il concetto di
neurone formale3  che Ł  alla base del loro progetto di rete  neuronica.  Nel  loro  modello
il neurone  formale  assume  due  possibili  stati,  uno  attivo l’altro  inattivo  e  definisce
una   classe   di   oggetti caratterizzati come segue:
•  un numero r finito di  ingressi  ciascuno  suscettibile  di assumere i valori 0 o 1;
•  un’unica uscita i cui valori possibili sono 0 o 1;
•  un valore di soglia s intero positivo;
•  una regola di funzionamento espressa da:
2.4
Mediante i neuroni formali  si  pu   costruire  una  macchina detta semiautoma con un
numero finito r  di  input  x   e  un numero finito s di stati q  della  macchina.
Successivamente si costruisce una matrice di neuroni formata da r righe  e  s colonne
corrispondenti  rispettivamente  agli  input  e  agli stati (vedi figura 2.2a).
La programmazione di questa macchina consiste in un tipo di  istruzione  molto  semplice,
espressa nella forma generale  q x q , la cui esecuzione  consiste nel  connettere tutti i
neuroni della i-esima colonna col  j-esimo  neurone della k-esima colonna.  Da  notare  che
la  rete  di  neuroni formali  definita  e  caratterizzata  da  connessioni  precostituite,   senza
alcuna   possibilit    di   modifica  successiva. Mc Cullock e  Pitts  dimostrarono  che, per
ogni  funzione computabile da una  macchina  di  Turing,  esiste un  semiautoma  di
neuroni  formali  in  grado  di  calcolare  la  stessa funzione. Da quanto detto  segue  che  il
modello  di Turing e il semiautoma composto da neuroni formali  sono  dal  punto di vista
computazionale  equivalenti.  Le  capacit   di  calcolo del modello dipendono non tanto
dalle caratteristiche  dei singoli neuroni quanto dal modo in cui sono connessi.
                                                
3
 W.S. McCullock e W. Pitts,  A logical Calculus of the Ideas Immanent in Nervous Activity ,
Bullettin of Mathematical Biophysics, Num. 5 1943, pag. 115-133.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 12
FIGURA 2.2a - (a) Neurone formale di Mc Cullock  e  Pitts  (b)  Rete   di   neuroni   formali
costituente   un   semiautoma  strutturalmente programmabile. (FONTE  COMMUNICATIONS
OF  ACM   5/85/M.CONRAD)
FIGURA 2.2b -  Una rappresentazione piø generale della regola di funzionamento del neurone
artificiale  di McCullock e Pitts detto anche TLU (Threshold Logic Unit), x(i) sono gli ingressi,
w(i) sono i pesi, θ  Ł il valore della soglia per la funzione di attivazione. Si noti che nella formula
semplificata 2.4 i pesi w(i) sono tutti uguali a 1.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 13
2.4 - L’ELABORATORE DI VON NEUMANN
I moderni  computer  digitali  sono  quasi  tutti  basati  su  un’architettura definita nel 1945
dal  matematico  John  Von  Neumann nel progetto dell’elaboratore  EDVAC4
L’elaboratore di Von  Neumann Ł costituito  da  due  organi  di  base, il  processore e la
memoria centrale (vedi figura 2.2c). Le operazioni di tutti i computer convenzionali
possono essere modellate nell esecuzione del ciclo seguente:
1. preleva un istruzione dalla memoria
2. preleva i dati richiesti da tale istruzione dalla memoria
3. esegui l istruzione
4. memorizza i risultati in memoria
5. vai al punto 1
FIGURA 2.2c - Semplice rappresentazione dell architettura di Elaboratore Von Neumann
                                                
4
 John Von Neumann,   Primo  abbozzo  di  relazione  sull’EDVAC  (Electronic Discrete
Variable Computer) , Princeton University 1945.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 14
L elaboratore di Von Neumann Ł una  macchina   di calcolo equivalente a quella di Turing,
ed Ł caratterizzata  come segue5  :
• Linguaggi di programmazione. Tali linguaggi sono utilizzati  per esprimere gli
algoritmi e sono  costituiti  da  statement  che si ottengono applicando un insieme finito
di  regole  di composizione  a un numero finito di simboli base.
• Programmabilit .  Si intende  in  tal  modo  la  possibilit   concreta di comunicare
all’elaboratore il  programma  scritto  alla macchina. Dal punto di vista dell’utente  tale
processo  di comunicazione pu  essere mediato da un compilatore.
• Universalit .  Essendo equivalente a una macchina di Turing,  un calcolatore Von
Neumann pu  calcolare  qualsiasi  funzione  computabile  e  quindi,  per  la  tesi  di
Church,  simulare qualsiasi sistema fisico.
• Sequenzialit .  Un computer di Von Neumann ha un architettura  sequenziale,   esegue
infatti  una  singola  operazione elementare alla volta.
• Inefficienza. I computer di Von Neumann utilizzano in  modo  non ottimizzato le
risorse  di  spazio,  tempo  ed  energia.  Il processore, a causa della sequenzialit  con
cui esegue  le  istruzioni, Ł inattivo per la maggior parte del tempo.
• Programmabilit   strutturale.  Per  spiegare  questa  caratteristica  ci  si  deve  riferire
alla  definizione  di  semiautoma vista in precedenza. Un calcolatore di Von Neumann
si  dice  strutturalmente   programmabile   perchØ   si   pu   d imostrare che
sostanzialmente  Ł  un semiautoma, cioŁ il calcolatore pu  essere  rappresentato  come
un insieme   di  switch o elementi capaci di eseguire  una  operazione  logica  semplice.
La definizione  di  programmabilit   strutturale  Ł  legata alla tesi  forte  di  Church,  e
stabilisce  che  una  macchina strutturalmente programmabile Ł capace  di  simulare
qualsiasi sistema fisico a condizione che le risorse di tempo e di spazio riservate  alla
computazione  siano  illimitate.  Inoltre gli algoritmi, espressi in un calcolatore digitale
in  simboli primitivi di un linguaggio di alto  livello,  possono  essere  espressi
direttamente  in   termini   di   primitive  computazionali   di   switching,  che
corrispondono  alla  programmazione  di  una  rete  di  neuroni    formali.  La
programmabilit strutturale sar u tile  per  analizzare  i  limiti generali
dell’architettura di Von Neumann.
                                                
5
 Michael  Conrad,  "On  Design  Principles  for  a  Molecular  Computer",  Communications of
the ACM 1, Vol. 28, Num. 5, Maggio 1985.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 15
 La formulazione forte della  tesi  di  Church,  valida  anche per gli  elaboratori  di  Von
Neumann,  suggerisce  un  legame tra i modelli formali di  computazione  e  i  processi
dinamici simulabili su un calcolatore. Pensare a  un  sistema  fisico come realizzazione di
una computazione significa :
 
1. identificare  gli  argomenti  o   input   della   funzione  computabile considerata con i
parametri di descrizione di  un  certo stato del sistema.
2. considerare i parametri di  descrizione  di  un  successivo  stato  del  sistema  il
risultato  della  computazione  cioŁ  l’output.
L’elaboratore di Von Neumann Ł una realizzazione fisica di un  sistema formale che esegue
semplici operazioni su stringhe  di  simboli. Si dice che un computer  simula  un  sistema
fisico,  mediante le primitive computazionali sopra  definite, se  gli  stati del computer
possono essere associati  agli  stati  del  sistema  con  un alto   grado  di  approssimazione,
non  Ł  necessario comunque che ogni stato della macchina corrisponda  a uno stato del
sistema. Si Ł  visto  che  un  sistema  fisico  Ł  simulabile con  l’elaboratore  Von
Neumann,  tuttavia  molti  fenomeni computazionali osservati in  natura  fanno  ritenere
che Ł  possibile  definire  delle  macchine  di  calcolo  che incorporano  il  processo  fisico
stesso  come  primitiva computazionale. In  tal  caso  si  perde  sia  il  carattere  discreto
delle primitive computazionali, sia  la  possibilit   di comunicare queste ultime sotto  forma
di  algoritmo  alla  macchina.
2.5 - LIMITI DELL’ARCHITETTURA DI VON NEUMANN
L’architettura dell’elaboratore di Von Neumann  presenta  dei  limiti  di applicabilit  e di
capacit   di  calcolo  che  non  potranno essere  superati  dal  solo  progresso  tecnologico,
ossia dal miglioramento delle prestazioni  dei  processori  e  delle memorie. Tali limiti sono
intrinseci al disegno  stesso  dell’elaboratore di Von Neumann, e sono di seguito esaminati:
• Irreversibilit  op erativa. La modalit  in cui  un  computer  tradizionale  elabora
l’informazione   Ł  un  processo  irreversibile. La funzione logica AND Ł un esempio di
perdita   di informazione in un computer.  La tabella 2.5 mostra che  non  Ł  possibile,
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 16
esaminando  le  uscite della tabella, risalire agli  ingressi  che  le  hanno  prodotte.
 Tabella della verit  della Funzione Logica AND.
 INPUT   OUTPUT
 0  0  0
 0  1  0
 1  0  0
 1  1  1
 
• Alta  dissipazione  termica.  In  un  computer  digitale  i   segnali elettrici originano dei
cambiamenti di potenziale  in  diverse regioni spaziali del sistema. Gli  elettroni
operano  con un disturbo termico che in termini di potenziale Ł  circa   kT/q Volt  dove
k  Ł  la  costante  di  Boltzmann,  T  Ł  la  temperatura Kelvin assoluta e q Ł la carica
dell’elettrone, a  temperatura ambiente (290 K) kT/q = 0.025 Volt. Le operazioni
logiche  in  un  computer  digitale   devono   avvenire   con potenziali maggiori di 0.025
Volt. In definitiva  si  osserva   che il valore alto di  kT/q  richiede un’alta  dissipazione
di  potenza  che  caratterizza  come  processi  irreversibili  le  operazioni logiche
fondamentali di un  computer  digitale  di  Von Neumann.
• Lentezza  operativa.  Un  risultato  del  modo  di  operare  seriale dell’architettura di
Von  Neumann  Ł  il  cosiddetto  "collo di bottiglia di Von Neumann".  Esso Ł
originato dalla  lentezza  con  cui  il  processore   accede   alla   memoria.
Il trasferimento  di  dati  e  istruzioni  dalla  memoria  al  processore, prima che
quest’ultimo  cominci  il  suo  lavoro  computazionale, comporta un intervallo di  tempo
in  cui  il  processore Ł  inattivo.  Alla  fine  della  computazione  il  trasferimento dei
risultati alla  memoria  origina   un altro  periodo di inattivit  del processore.
Alle inefficienze elencate si  aggiunge  un  generale  limite  connesso  alla
programmazione   strutturale,   infatti   una  macchina di calcolo reale non dispone di
risorse di  tempo  e  di spazio illimitate  come  richiesto  dalla  tesi  forte  di Church per
macchine strutturalmente programmabili.  Costruire  una  macchina strutturalmente
programmabile    significa  essenzialmente convogliare lungo canali precisi  il  fenomeno
utilizzato  per  ottenere  la  realizzazione   fisica   della  computazione.  Controllare  un
fenomeno   fisico   significa  ridurre  il  numero  di  gradi  di  libert ,  e   quindi  di
interazioni, del fenomeno stesso, riducendo in tal modo anche  le risorse della
computazione.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 17
2.6 - CERVELLO E CALCOLATORI
Si esamineranno brevemente alcune differenze fondamentali tra  il cervello e le architetture
delle macchine di calcolo viste  prima.  Il  cervello  umano Ł costituito  da  una  rete  di
moltissimi neuroni (1011  ÷ 1012  )  collegati  tra  loro  da  un numero elevato di connessioni
dette sinapsi (103  ÷ 104   sinapsi  per  ogni  neurone). In totale il numero di sinapsi del
cervello  varia  da circa 1014  a 1016 . Ogni sinapsi pu   essere  inibitoria  o  eccitatoria per
cui il numero delle configurazioni  possibili Ł uguale a  2  elevato  al  numero   totale  di
neuroni  nel  cervello Ł:
Si pensa che questo altissimo numero  di  configurazioni  sia  responsabile  delle
eccezionali  prestazioni  del  cervello.  BenchØ moltissimi processi cerebrali non siano
ancora noti  o perfettamente  compresi  Ł  noto  che  l’apprendimento  e  la memoria a lungo
termine si attuano con la formazione di nuove sinapsi. Sono elencate  di  seguito  alcune
peculiarit   del  cervello:
• Parallelismo  e  lentezza  dei  neuroni.  Studi  non  tanto  recenti  hanno  mostrato   che
il  cervello  elabora   le  informazioni in modalit  pa rallela, questa affermazione nasce
da  semplici   considerazioni.  Un’operazione  base  viene  effettuata da un neurone in
tempi dell’ ordine di  decine  di  millisecondi, mentre il cervello Ł in  grado  di  risolvere
complicatissimi problemi di visione e linguaggio in circa 500 ms. Tenendo conto dei
tempi di  ritardo  di  propagazione  del  segnale  tra  neuroni,  si  pu  d ire che il lavoro
computazionale del cervello Ł fatto in meno di 100  passi, e consiste nell’esecuzione in
parallelo da parte di neuroni  di  operazioni base molto semplici.
• Bassa dissipazione termica. L’energia termica dissipata  da  un neurone in una
elementare operazione di  calcolo Ł circa  3 x 10-3 erg  che in confronto ai 3 x 10-14 erg
dissipati  in  una porta logica di un computer convenzionale Ł 11 ordini  di  grandezza
superiore.  L’intero  cervello  dissipa  meno   di  100 Watt.
• Elementi base di natura analogica.  I  neuroni  sono  degli  elementi che operano in
maniera analogica. Essi operano su un  ingresso sinaptico e generano un uscita a
valori continui.
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 18
• Alta ridondanza. Tale propriet   p ermette  al  cervello  di  essere un sistema
estremamente flessibile a superare disastri  locali nella sua struttura  senza  perdita
significativa  di  prestazioni. Molti neuroni muoiono ogni giorno e il  cervello  continua
ad operare.
E’ interessante paragonare il modello di cervello  visto  con  le specifiche di un calcolatore
elettronico: un supercomputer  moderno Ł dotato di almeno 1000 megabyte di memoria
centrale,  che corrispondono al massimo a 1010   transistor, e usa meno di  108  transistor in
funzioni logiche. Un processore  compie  un  operazione logica base in un ciclo  di  circa
10-9  secondi.  La potenza dissipata dal computer Ł dell’ordine di 105  Watt. In un computer
la tolleranza ai malfunzionamenti locali Ł un fattore estremamente critico, vengono tollerati
disastri solo in parti  della  memoria  e  mai  nel  processore.   Un’altra caratteristica del
cervello umano Ł che  le  interconnessioni  tra i neuroni interessano uno spazio
tridimensionale  mentre  nella maggioranza dei computer le piastrine di silicio  hanno   uno
schema di connessioni piano, anche se  recentemente  sono  stati costruiti chip di silicio
con  schema  di  connessioni  tridimensionale.  Si  pu    concludere   osservando   che   i
componenti base del cervello sono  molto  piø  numerosi,  piø  connessi e piø lenti dei
componenti di un computer.
2.7 - SISTEMA NERVOSO, CERVELLO E NEURONI
Sono  qui  sintetizzati  alcuni  concetti  fondamentali   sul  sistema nervoso e sulla struttura
del  cervello.  Il  sistema nervoso si divide  in  due  parti  principali:  periferico  e
centrale. Il primo svolge  funzioni  di  interfaccia  tra  il  sistema nervoso centrale  e
l’ambiente  esterno.  I  segnali  trattati comprendono gli ingressi sensoriali,  le  uscite  si
manifestano con  stimoli  motori,  dolori,  immagini  visive,  percezioni varie.
 Il sistema nervoso  centrale Ł costituito  dalla spina dorsale e dal cervello, formato a  sua
volta  da  talamo,  ipotalamo,  gangli   basali,   sistema   limbico   e  neocorteccia.
L’unit  c ostitutiva di tutto il sistema nervoso  Ł  il neurone, la cui  anatomia  e  mostrata  in
figura  2.3. Un neurone Ł una cellula dotata di corpo cellulare dal  quale  si dipartono
molte brevi ramificazioni di ingresso (dendriti)  e  una  sola  lunga   ramificazione  di
uscita   (assone).  I neuroni comunicano tra loro  mediante  impulsi  particolari  detti
Reti Neurali: modelli e aspetti applicativi: Cap 2 - Computazione Classica e Modelli Connessionistici 19
spike,   generati   da processi  elettrochimici.  In condizione di riposo esiste una differenza
di  potenziale  di circa  -70 ÷ -90 milliVolt  tra l’interno e l’esterno della  membrana
cellulare del neurone,  ed Ł dovuta  alle  diverse  concentrazioni di ioni sodio e potassio  tra
le  due  pareti  della membrana. Queste differenze sono causate da un apposito  enzima-
pompa capace di muovere gli  ioni.  Quando  un  evento  esterno  come  la  scarica  di  altri
neuroni  provoca   una  variazione del potenziale della membrana, viene aumentata  la
permeabilit  della membrana stessa agli ioni di sodio. Questi  ioni si riversano all’interno
della  cellula  dove  la  loro concentrazione Ł minore,  causando  una  corrente  elettrica.
Contemporaneamente la differenza di potenziale tra  l’interno  e l’esterno della membrana
cambia di segno  e  diventa  circa   +40 ÷ +50 mV. Dopo il passaggio degli ioni sodio si
apre  in  canale analogo anche per gli ioni potassio  che  ristabilisce  la situazione  di
concentrazioni  e  potenziali  precedente.  La rapidissima inversione del potenziale di
membrana  origina  lo spike o potenziale d’azione  e  costituisce  il  messaggio  trasportato
lungo l’assone.  Il livello di tensione a  cui  la  membrana da origine allo spike Ł detto
soglia di eccitazione.  Lo spike si propaga, quasi senza attenuazione, lungo l’assone
liberando energie locali.  Sulla  sinapsi  lo  spike  provoca  l’emissione di particolari
sostanze dette neurotrasmettitori,  i quali raggiungono  i  dendriti  del  neurone  successivo
e  provocano una variazione della permeabilit   della  membrana,  consentendo  la
trasmissione  del  segnale  tra  i   neuroni  connessi. In generale  un  singolo  potenziale
d’azione  che  raggiunge  una  sinapsi  non  Ł  sufficiente  a  generare  la  produzione di altri
potenziali d’azione nel prossimo neurone.  L’effetto additivo di piø potenziali  d’azione  sui
dendriti  del neurone postsinaptico e capace di superare la  soglia  di  eccitazione del
neurone, generando  un  potenziale  d’azione. Il numero medio di potenziali d’azione
nell’unit  di tempo in  funzione della corrente positiva in ingresso a un  neurone Ł
rappresentato in figura 2.4. Questa funzione ha la  forma  di  una sigmoide che va da 0 per
correnti  negative  fino  a  un  livello massimo di  saturazione  di  100  ÷  1000  spike  per
secondo per correnti positive molto alte.