Machine Learning: riconoscimento dell'autore dalla classificazione del testo

Frasi come stringhe di testo non possono essere direttamente interpretate dagli algoritmi di classificazione come quando lavorano con features di tipo numerico.

La traduzione di una frase in un vettore di attributi (un vettore di un valore numerico per ogni caratteristica) è quindi un passo necessario e fondamentale per la prestazione del lavoro di classificazione, come anche i classificatori migliori sono destinati a fallire se dovessero operare su dati scarsamente rappresentati.
Si è cercato di utilizzare entrambi i metodi standard trovati nella letteratura (ad esempio “the bag of words) come pure l’avanzamento di personali idée che potrebbero essere bene adattate a questo specifico lavoro. Sono stati utilizzati gli stessi metodi di generazione (e di valutazione, discussi nelle sezioni successive) delle features per tutti i classificatori perchè si ritiene che sia già un approccio flessibile (si adatta dinamicamente ai testi forniti nella fase di “training” e cerca di scegliere tra questi, quelli più generici i quali si spera approssimino le invarianze degli stili di scrittura degli autori).

Features Dinamiche: Bag of Words
Per il “bag of words” (letteralmente “borsa di parole”), è stato creato un dizionario di tutte le parole usate in tutti i testi della fase di training. Per ogni frase, è stato contato il numero di occorrenze di ogni parola. Questi conteggi sono stati usati come valori numerici per i vettori delle features. Ciò comporta in genere che in lunghi vettori di features si trovino valori impostati a 0, alcuni ad 1 e ancor meno altri con valori più alti di 1.

Questo è un approccio standard tipicamente scelto negli scenari di classificazione dei testi, e spesso anche il solo utilizzato, in quanto rappresentazioni più sofisticate non producono in modo significativo un migliore risultato