Intelligenza Artificiale e Fattore Umano

CAP. I - ASPETTI GENERALI DELLE 
APPLICAZIONI DELL’IA
2 
 
 
 
 
INTRODUZIONE  
 
 
Recentemente l’intelligenza artificiale o IA, è diventata il centro di un grande numero di 
attese ma anche di perplessità e di preoccupazioni. L’enorme versatilità della tecnologia 
la rende adattabile ai più svariati contesti, dagli acquisti online fino alla salute personale. 
Gli elementi a favore dell’IA sono numerosi. Quasi l’80% degli executive manager che 
stanno implementando l’IA nel loro business già ne vede dei ritorni, ancorché moderati. 
L’introduzione dell’IA nelle organizzazioni è ancora nella sua infanzia. Ciononostante, 
tralasciando la meta ultima dell’intelligenza generale o GAI che forse è ancora 
decisamente al di là dal venire, il potenziale è veramente enorme. Il McKinsey Global 
Institute ha stimato che l’IA contribuirà all’economia mondiale con 13 trillioni di dollari 
l’anno già a partire dall’anno 2030
1
. Potremo dire con una licenza poetica che l’IA ha le 
premesse per rappresentare un moderno equivalente della corsa all’oro. Tuttavia, l’IA 
potrebbe portare una serie di conseguenze non volute e in alcuni casi gravi dal momento 
che essa condivide i rischi già noti per quanto riguarda l’advanced analytics.  I rischi più 
ovvi sono la violazione della privacy, episodi discriminatori, manipolazione del sistema 
politico e altri. Ma sono le conseguenze impreviste e non prevedibili a destare maggiore 
preoccupazione. Cheatham
2
 pone in luce alcuni rischi che potrebbero verificarsi nelle 
applicazioni real-life dell’intelligenza artificiale. Un algoritmo medico potrebbe indurre 
a fare scelte che poi portano alla morte di un paziente, per non parlare dei rischi associati 
all’IA in ambito militare per la sicurezza nazionale. Il risultato di un simile fallimento 
critico avrebbe delle ripercussioni devastanti sulle organizzazioni coinvolte, a cominciare 
dal danno d’immagine, cause di risarcimento, investigazioni giudiziarie e una riduzione 
della fiducia da parte della organizzazione. Proprio mentre l’Autore scrive Apple ha 
 
1
 Si veda: Notes from the AI frontier: Modeling the impact of AI on the world economy,” McKinsey Global Institute, 
September 2018, McKinsey.com.	 
2
 Cheatham, B., Javanmardian, K., & Samandari, H. (2019). Confronting the risks of artificial intelligence. McKinsey 
Quarterly, 1-9. L’articolo è pubblicato sul McKinsey Quaterly che è l’organo di stampa del McKinsey Global Institute, 
ovvero il più grande think-thank del mondo, leader nelle quote di mercato dei suoi settori di specializzazione che sono la 
consulenza economica, finanziaria e aziendale su scala globale. Particolarmente rilevante per questo tipo di società è 
individuare le nuove tendenze sottese ai cicli economici futuri e analizzarne ed evidenziarne le criticità.
3 
dichiarato che implementerà un sistema di analisi delle immagini degli utenti a scopo di 
contrasto alla pedofilia. È evidente come un errore a carico di un innocente indagato o 
esposto sui social come ‘pedofilo’ potrebbe intaccare sensibilmente la fiducia dei clienti 
di Apple nelle capacità dell’organizzazione e nella sua reputazione di leader tecnologico 
di settore. Uno dei problemi relativi a questa ‘corsa all’IA’ è che in realtà sono pochi i 
player che capiscono a fondo la portata dei rischi sociali, organizzativi e individuali legati 
all’implementazione dell’IA, o che possiedono una conoscenza operativa degli aspetti 
tecnici dell’IA come, ad esempio, l’importanza dei dati che vengono dati in pasto all’IA, 
passando per le caratteristiche degli algoritmi e le interazioni uomo-macchina che si 
genereranno. Come risultato i pericoli vengono spesso sottovalutati o la capacità di far 
fronte ad eventuali problemi da parte dell’organizzazione è largamente sopravvalutata. 
La questione dell’implementazione dell’IA viene vista spesso come un problema tecnico 
da delegare al reparto IT che si ritiene perfettamente all’altezza della situazione. Ecco 
invece una lista delle aree dove può manifestarsi un rischio da valutare 
nell’implementazione dell’IA (Fig.1): 
 
 
 Fig. 1 Le aree di rischio potenziali dell’IA (Cheatham et al, 2019)
3
 
 
L’importanza dei dati. La quantità di dati non strutturati prodotti dal web, dai social 
media, dai telefoni cellulari, dai sensori e dall’Internet of Things è ormai enorme. È 
pertanto facile che talvolta vengano utilizzati dati sensibili. Per esempio, l’IA potrebbe 
rimuovere correttamente il nome del paziente da una cartella clinica ma il nome potrebbe 
essere presente anche in una nota del medico e quindi ‘passare’ il filtro dell’IA. È 
importante quindi anche che il personale che fornisce dati all’IA sia reso consapevole 
delle normative di protezione dati se vogliono evitare un danno di reputazione.  
L’IA spesso opera in connessione con altre strutture tecnologiche che fungono da raccolta 
dei dati. Un errore a questo livello base può alterare la base di dati su cui opera l’IA 
 
3
 Ivi, pagina 3.
4 
portando questa ad una performance scorretta e a possibili rischi per l’organizzazione che 
la utilizza. Ad esempio, un grosso istituto bancario potrebbe finire nei guai se l’IA 
mancasse di individuare le frodi solo perché il dataset è incompleto e non include tutte le 
transazioni dei clienti. È pertanto necessaria una implementazione verticale dell’IA 
nell’organizzazione, il cui costo in termini tecnologici e di formazione del personale è 
spesso sottovalutato alla luce di futuri profitti stellari.  
L’area di rischio più importante e spesso sottovalutata è quella dell’interazione uomo-
macchina di cui ci occuperemo nel presente lavoro. Nonostante l’automazione in genere 
abbia sia ormai diffusa all’interno delle realtà organizzative, questo processo è stato 
tutt’altro che indolore e gli incidenti, talvolta anche mortali, dovuti ad un fallimento 
dell’automazione, sono stati numerosi. Molti di questi errori non avrebbero avuto 
conseguenze così catastrofiche se l’attenzione dell’operatore non fosse stata altrove 
rispetto al processo e soprattutto se l’operatore fosse stato a conoscenza di come 
intervenire in caso di fallimento. A questo proposito ad es. l’introduzione delle macchine 
a guida automatica, in maniera analoga a quanto già osservato in altri casi di automazione 
completa, può portare facilmente il guidatore a distrarsi ad esempio guardando il telefono 
o addirittura riposando, facendo pensare che in caso di fallimento del sistema di guida 
autonoma del veicolo questi non sarebbe in grado di porre rimedio evitando un incidente. 
Un altro scenario è quello in cui l’operatore umano non riponendo fiducia 
nell’automazione, decide di non utilizzarla o di intervenire sul processo automatico 
bloccandolo senza che ce ne sia effettivamente bisogno. Data la natura dipendente dai 
dati dell’IA è evidente come un qualsiasi errore o insieme di errori a partire dai sensori 
possa causare un comportamento anomalo del sistema che può implicare un grado di 
rischio direttamente dipendente dall’applicazione in cui è implementata. Dal momento 
che l’IA spesso viene addestrata con un modello usato come gold standard da raggiungere 
una volta portata a termine la fase di apprendimento, il rischio è che attraverso i dati della 
sessione di addestramento vengano introdotto bias inconsapevoli dagli operatori umani 
che l’IA farebbe propri, di fatto confermandoli e generalizzandoli ad altri contesti e 
situazioni. E’ già stato osservato come spesso l’IA apprenda gli stereotipi, le 
discriminazioni, e l’uso improprio del linguaggio semplicemente perché questi sono 
effettivamente presenti nella base di dati. In questo caso l’IA replicherebbe gli aspetti 
meno nobili o addirittura disfunzionali della società umana, contribuendo così allo status 
quo,  ed è per questo che da più parti è stata avanzata l’ipotesi di una normazione etica 
dell’IA.
5 
I potenziali rischi nella implementazione e gestione dell’IA sono presenti a più livelli 
dell’insieme organizzazione/IA. È però possibile pensare ad una strategia per correggerli 
purchè articolata secondo i vari livelli di rischio potenziale di errore. I livelli sono 
concettualizzazione, gestione dei dati, sviluppo del modello, implementazione del 
modello, impiego del modello e ripercussioni sui processi decisionali dell’organizzazione 
(Fig. 2).    
 
 
Fig. 2 Esempi di rischi e possibili azioni correttive (Chateanam et al., 2019)
4
 
  
 
4
 Ivi, pag. 5.
6 
Di seguito analizzeremo il ruolo della fiducia nell’IA come chiave del suo processo di 
adozione da parte delle organizzazioni.  
  
1.1 Affidarsi al pilota automatico? Fiducia e IA 
L’introduzione dell’intelligenza artificiale ha delle implicazioni decisamente superiori a 
quelle dell’introduzione di un nuovo gadget tra i tanti già in nostro possesso. La 
prospettiva postfenomenologica (Ihde, 2009)
5
 ci suggerisce che le tecnologie non sono 
neutrali rispetto alla nostra esperienza. Esse modificano il rapporto del Sé con il mondo 
e anche l’immagine che il Sé e la società hanno di se stesse. Ad esempio, è evidente come 
il volo umano abbia avuto delle implicazioni notevoli sulla percezione di potenza e 
capacità dell’essere umano. Non sono cioè meramente oggetti il cui utilizzo da parte di 
un soggetto separato e asettico non produce alcun effetto sul soggetto stesso. Al contrario 
l’intelligenza artificiale ha il potenziale di cambiare in modo profondo la nostra società e 
la percezione che ognuno di noi ha di sé stesso. Sarebbe però semplicistico vedere il 
bicchiere mezzo pieno. Se da un lato l’IA renderà l’accesso a numerosi prodotti e servizi 
più efficiente ed economico, dall’altra la sua introduzione è destinata ad avere 
ripercussioni sul mondo del lavoro, riducendo il numero di impieghi per le persone. L’IA 
sarà applicata nel monitoraggio delle attività criminali attraverso la sua capacità di vedere 
schemi nei big data, ma al contempo eroderà il concetto di privacy e la nostra identità, 
classificandoci a seconda dei nostri interessi o abilità. Esiste la possibilità che queste 
informazioni possano essere utilizzate in modo non appropriato, ad es. spiando un 
candidato che fa domanda per un lavoro.  È quindi diventata sempre più pressante la 
richiesta di una IA che agisca in modo etico e morale, nonché che sia accountable verso 
l’utente umano e la società, cioè che sia ‘trasparente’
6
.  
Ovviamente il tema del controllo è fondamentale. Non possiamo usare uno strumento in 
sicurezza se appunto non ci sono ‘sicure’, metodi attraverso cui possiamo controllarlo in 
modo efficace e rispondente ai nostri valori e scopi (Umbrello & De Bellis, 2018)
7
. Data 
la complessità delle funzioni che svolge una IA è chiaro che il controllo non può essere 
limitato ad un semplice on/off. Il controllo efficace dell’IA prevede la creazione di 
 
5
 Ihde, D. (2009). Postphenomenology and technoscience: The Peking university lectures. Suny Press. 
 
6
 O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 
Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.  
 
7
 Umbrello, S., & De Bellis, A. F. (2018). A value-sensitive design approach to intelligent agents. Artificial Intelligence 
Safety and Security (2018) CRC Press (. ed) Roman Yampolskiy.
7 
interfacce che ne rendano le operazioni e i criteri intellegibili da parte dell’utente, sia esso 
esperto o meno. Lo scopo è quello di costruire una fiducia costruttiva nell’utente nei 
confronti dell’IA. Nell’aprile del 2019 la European Commission’s High-Level Expert 
Group on Artificial Intelligence (AI HLEG) ha pubblicato le linee guida etiche per l’IA 
affidabile (Ethics Guidelines for Trustworthy AI)
8
 che ha rimarcato ulteriormente come 
la capacità di cogliere i benefici dell’IA dipendano pesantemente dalla fiducia che in essa 
verrà riposta. La AI HLEG fornisce anche una definizione aggiornata di cosa intendiamo 
per intelligenza artificiale che è bene ricordare. Secondo questa definizione ‘i sistemi di 
intelligenza artificiale sono software (o potenzialmente anche hardware) progettati da 
esseri umani che, dato un obiettivo complesso, agiscono in una dimensione fisica o 
digitale che percepiscono il proprio ambiente attraverso l’acquisizione di dati, 
l’interpretazione di dataset strutturati o non strutturati, riflettendo sulla conoscenza 
acquisita o processando le informazioni derivate da questi dati e decidendo le azioni 
migliori da compiere per raggiungere un dato obiettivo. I sistemi di intelligenza artificiale 
possono usare sia regole simboliche o apprendere un modello numerico, e possono anche 
adattare il loro comportamento analizzando come l’ambiente è influenzato dalle loro 
azioni precedenti’
9
.  In linea generale il documento fa i seguenti enunciati
10
:  
- L’essere umano è coinvolto nell’IA in modo attivo e la supervisiona: i sistemi di IA 
dovrebbero supportare una società più equa, il ruolo attivo degli esseri umani e 
preservare i diritti fondamentali, senza limitare o deviare l’autonomia umana.  
- Robustezza e sicurezza: gli algoritmi utilizzati dai sistemi di IA dovrebbero essere 
sicuri, attendibili e sufficientemente robusti da poter gestire errori o inconsistenze nei 
dati a qualunque fase del loro ciclo di vita come sistemi intelligenti 
- Privacy e gestione dei dati: i cittadini dovrebbero poter aver pieno controllo dei propri 
dati, e allo stesso tempo i dati che li riguardano non dovrebbero essere utilizzati per 
nuocerli o discriminarli in alcun modo.  
- Trasparenza: la tracciabilità dei sistemi intelligenti dovrebbe sempre essere garantita.  
- Diversità, non discriminazione e giustizia: I sistemi IA dovrebbero tenere in 
considerazione tutto il range delle capacità, delle abilità e eventuali richieste speciali 
ed assicurare sempre l’accessibilità a tutti.  
 
8
 Ethics Guidelines for Trustworthy AI (European Commission, 2019). Attualmente reperibile presso il sito della 
Commissione Europea a questo indirizzo da cui è possibile scegliere diversi linguaggi: https://wayback.archive-
it.org/12090/20210728013426/https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai 
9
 Ivi. 
10
 Floridi, L. (2019). Establishing the rules for building trustworthy AI. Nature Machine Intelligence, 1(6), 261-262.
8 
- Benessere sociale e ambientale: I sistemi intelligenti dovrebbero essere utilizzati per 
migliorare il cambiamento sociale positivo e migliorare la sostenibilità e la 
responsabilità ambientale.  
- Affidabilità: dovrebbero essere messi in campo dei meccanismi che puntino ad 
assicurare la responsabilità e l’affidabilità dei sistemi IA e delle conseguenze che essi 
comportano.  
Possiamo qui fare alcune riflessioni
11
. Le linee guida adottano interamente un concetto di 
design human-centered ed enfatizzano due componenti: 1) che l’IA abbia uno ‘intento 
etico’ nell’onorare e rispettare i diritti fondamentali, i regolamenti applicabili e i principi 
e valori chiave e 2) che l’IA abbia una ‘robustezza tecnologica’ affinchè non si verifichi 
un danno involontario dovuto alla scarsa padronanza del mezzo tecnologico. Secondo le 
Linee Guida Europee, l’IA affidabile deve essere etica, rispettosa delle leggi e robusta. In 
particolare, oltre ai diritti fondamentali dovranno essere rispettate quattro istanze 
irrinunciabili: il rispetto dell’autonomia umana, la prevenzione del danno, l’equità e la 
explicability che in italiano potrebbe essere tradotto con chiarezza, trasparenza. Anche se 
le Linee Guida tracciano un quadro all’interno cui dovrà muoversi l’IA nel prossimo 
futuro ci sono diversi punti che rimangono in sospeso. I verbi utilizzati sono al 
condizionale, non si tratta cioè di un documento prescrittivo come potrebbe essere ad 
esempio una direttiva europea. Questo implica che nonostante il concetto di fiducia sia 
centrale a tutto il documento esso non viene in alcun modo né definito né dettagliato. Si 
parte dal presupposto che una IA ideale che incontri questi parametri sia una ‘buona IA’ 
e una che li violi (in uno o più punti) sia un’IA meno buona o addirittura cattiva. Non si 
stabilisce un parametro che possa fungere da benchmark per le tecnologie esistenti se non 
stabilire che quantomeno l’IA non dovrebbe palesemente violare i principi ispiratori di 
questa linea guida. In particolare, il concetto di fiducia che appare sotteso al documento   
non solo non viene operazionalizzato in maniera precisa (ad es. abbiamo fiducia nell’IA 
se essa supera i seguenti test tecnici), ma neanche la natura di questa fiducia (fiducia in 
cosa? E per che cosa?) viene definita
12
. Il concetto di fiducia delineato appare circolare: 
la fiducia è concepita in termini di affidabilità, e mostrandosi affidabili guadagniamo la 
fiducia. Le persone o gli oggetti o i servizi di cui ci fidiamo ci appaiono come ‘degni di 
fiducia’, le persone (o oggetti o servizi) che riteniamo ‘degni di fiducia’ riceveranno la 
nostra fiducia. L’esperienza comune però ci rivela come i nostri giudizi siano spesso 
 
11
 Sutrop, M. (2019). Should we trust artificial intelligence?. Trames, 23(4), 499-522. 
 
12
 Ivi, pagina 500.