Classificazione automatica per dati ad alta dimensionalità: un approccio fuzzy per dati categorici

Le nozioni di cluster analysis presentate nel primo capitolo sono state definite ipotizzando che le q variabili osservate fossero di natura quantitativa. Nella realtà, dal momento che queste non sono le uniche variabili osservabili su un collettivo di n unità, la cluster analysis è definita soprattutto su un loro mix con le variabili qualitative, se non addirittura su datasets caratterizzati esclusivamente da esse. Esempio di quest’ultimo caso sono i market basket data in cui tutte le variabili sono di natura binaria ([3] e [4]). Sono presenti notevoli studi sul raggruppamento di dati numerici (che sfruttano le relative proprietà geometriche e quindi la facilità nel creare misure di diversità), ma c’è molta meno esperienza sull’importante problema del raggruppamento e dell’estrazione di una struttura a partire da un dataset qualitativo. La cluster analysis su dati qualitativi, infatti, prevede una complessità non incontrata nel corrispondente problema per dati quantitativi, poichè c’è meno struttura a priori con cui poter lavorare: il raggruppamento dei dati non avviene attraverso i convenzionali approcci come il metodo delle k-medie o il fuzzy k-means, ma con una loro modifica. I dati contenenti variabili qualitative pongono una serie di sfide (affrontate in questo capitolo) rispetto a questi algoritmi, per via dei seguenti tre motivi [57]:

* definizione di una appropriata misura di diversità: non esiste un naturale ordine tra i valori delle variabili, e la ragione di ciò risiede nel fatto che essi rappresentano concetti logici separati e quindi non possono nè essere ordinati nè essere manipolati alla stessa maniera dei valori numerici;
* alta dimensionalità dei dati: i datasets categorici hanno un alto numero di variabili, di conseguenza un’alta dimensionalità. I tradizionali approcci di cluster analysis falliscono nell’individuare gruppi su dati ad alta dimensionalità;
* esistenza di gruppi nei sottospazi: i dati categorici, essendo ad alta dimensionalità, sono difficili da raggruppare in tutte le dimensioni e ci si limita ad un certo numero di dimensioni.