Metodi di minimizzazione di funzioni senza l'uso di derivate

Introduzione Scopo di questa trattazione sara` effettuare una panoramica sui possibili meto- di di minimizzazione di una funzione da Rn in R, analizzandoli caso per caso, cioe` distinguendoli l’uno dall’altro per gli strumenti matematici di cui essi fanno uso. L’idea di costruire metodi di questo tipo ci viene da necessita` pratiche ben precise e abbiamo considerato opportuno non svincolare la definizione di un particolare metodo dalla caratterizzazione del problema che esso va a risol- vere, essendo stato, l’algoritmo, definito nei suoi tratti principali proprio in considerazione delle caratteristiche della funzione su cui doveva essere appli- cato. Vedremo innanzi tutto il caso unidimensionale, che verra` trattato a parte poiche` le semplificazioni derivanti dalla presenza di una sola variabile ren- dono opportuna la definizione di metodi esclusivi che non avrebbe senso ricondurre al caso generale. Nei capitoli successivi tratteremo invece il problema n-dimensionale, man- tenendo come filo conduttore il partire dalla funzione studiandone le carat- teristiche e su di esse, cercando di sfruttarle al meglio, costruire un metodo iterativo convergente al minimo della funzione. Ci occuperemo di minimizzare una funzione continua e differenziabile tale che il campionamento della funzione stessa o del suo gradiente nel punto non siano gravosi dal punto di vista computazionale. Faremo l’esempio di metodi che sfrutteranno queste fortunate proprieta`, e che ci serviranno a confronto di quelli che definiremo in seguito quando alcune di queste ipotesi verranno a mancare. Nel Capitolo 3 infatti considereremo una generica funzione da Rn in R le cui derivate siano particolarmente pesanti da computare, e su di essa costruire- mo un metodo che pur non potendo piu` sfruttare informazioni sulle derivate (prima decisive nella scelta della direzione di decrescenza della funzione) con- vergera` al minimo ed estenderemo poi il discorso al caso di una funzione meno regolare. Per meglio chiarire come nella pratica si svolga l’iterare dell’algoritmo, la 2