Disegno degli esperimenti applicato all'ottimizzazione di campagne di email marketing

4  
 
 
INTRODUZIONE 
3.600.000.000 email spedite ogni giorno in Germania, Regno Unito, 
Francia, Italia e Spagna 
560.000.000 email spedite ogni giorno in Italia 
62.000.000 caselle di posta attive in Italia 
24.800.000 utenti di internet in Italia 
2,5 caselle di posta per utente in Italia 
23 email ricevute ogni giorno da ogni utente in Italia 
 
L‟email è ormai diventata uno dei mezzi di comunicazione più 
diffusi e popolari, grazie ad una crescita esponenziale avvenuta 
nell‟ultimo decennio. I motivi di questo successo sono da 
ricercare tra i molti vantaggi dell‟email rispetto agli altri mezzi di 
comunicazione: il tempo di consegna è di qualche secondo, il 
costo è praticamente nullo, permette una comunicazione 
personale, e così via.  
Come ben descritto dai numeri sopra riportati, in media ogni 
giorno arrivano nelle nostre caselle di posta 23 email. Una parte 
consistente di queste è dovuta ad attività di email marketing 
effettuate dalle imprese, settore che ha conosciuto uno sviluppo 
molto rapido negli ultimi anni. Fondamentale per tali attività di 
marketing è capire le azioni che il cliente compie di fronte alle 
email; infatti, vista la gran quantità di email ricevute, l‟utente in 
genere procede a una selezione per decidere quali cestinare 
subito, quali aprire per leggerne il contenuto e quali cliccare per 
essere rimandato al sito di appoggio, per eventualmente 
acquistare il prodotto pubblicizzato. Ovviamente ci sono degli 
elementi, o meglio delle modalità di alcuni elementi di una email, 
che spingono l‟utente più verso una decisione o più verso
5  
 
un‟altra; nella creazione di una nuova email l‟account manager di 
una azienda si basa solitamente sulla propria esperienza per 
inserire le modalità che assicurano un maggior numero di email 
aperte o cliccate. 
In questo contesto si inserisce il test multivariato e il disegno 
degli esperimenti: attraverso poche email differenti 
appositamente costruite e inviate a campioni di utenti, è 
possibile individuare quali sono le modalità degli elementi in 
grado di far ottenere un numero maggiore di email aperte o 
cliccate, ossia un open rate o un click rate maggiore. La grande 
potenzialità del test multivariato sta nel fatto di non dover 
testare tutte le possibili combinazioni degli elementi in esame, 
ma solo un piccolo sottoinsieme scelto in conformità con i 
principi del disegno degli esperimenti. Le email ottenute con tali 
combinazioni sono poi inviate a limitati campioni di clienti e, sulla 
base dei risultati ottenuti, vengono individuate le modalità degli 
elementi che più incidono nell‟open o nel click rate. Tali elementi 
sono assemblati in una email che viene spedita ai restanti 
destinatari. Ciò che ci si aspetta di ottenere è un tasso maggiore 
di aperture e click rispetto alle email precedenti… tale 
metodologia porta veramente a questi risultati? L‟aumento dei 
tassi di open e click è significativo?    
Per rispondere a queste domande sono state svolte più 
sperimentazioni per varie aziende, tra cui una descritta nelle 
prossime pagine di questo elaborato. 
 
 
Sperando in un vostro apprezzamento del mio lavoro, vi 
ringrazio anticipatamente dell‟attenzione che mi accorderete.
6  
 
ANALISI DEGLI ESPERIMENTI 
I ricercatori eseguono esperimenti in molteplici campi, 
generalmente per scoprire qualcosa su un particolare processo o 
sistema. Si può definire un esperimento come una prova (o una 
serie di prove) in cui si apportano modifiche alle variabili di 
ingresso del processo o del sistema in modo tale da poter 
osservare ed identificare eventuali variazioni nella risposta in 
uscita. Gli esperimenti sono usati per studiare le prestazioni di 
processi e sistemi, in uno schema che formalmente è ben 
descritto dalla figura 1.1. Possiamo comunemente rappresentare 
il processo come una combinazione di macchine, metodi, 
personale ed altre risorse che trasformano un certo input in un 
output caratterizzato da uno o più risposte osservabili. 
 
Alcune delle variabili di processo x
1
, x
2
, …, x
p
 sono controllabili, 
mentre altre z
1
, z
2
, …, z
p
 non sono controllabili. Gli obiettivi dello 
sperimentatore possono includere: 
Processo
. . .
. . .
Fattori controllabili
Fattori non controllabili
x
1
x
2
x
p
z
q
z
2
z
1
Input
Output
y
1.1 – Modello generale di un processo
7  
 
 determinare quali variabili hanno maggior influenza sulla 
risposta y 
 determinare quale valore assegnare alle variabili influenti 
x in modo tale che la variabile di risposta y risulti sempre 
prossima al valore nominale desiderato 
 determinare quale valore assegnare alle variabili influenti 
x in modo che la variabilità in y sia piccola 
 determinare quale valore assegnare alle variabili influenti 
x in modo che l‟effetto delle variabili non controllabili z 
sulla risposta y sia minimizzato. 
Come verrà esposto in seguito, gli esperimenti coinvolgono 
spesso diversi fattori (o variabili); uno degli obiettivi di chi 
conduce l‟esperimento è quello di determinare l‟influenza che 
questi fattori hanno sulla variabile di risposta. L‟approccio 
generale per pianificare e condurre l‟esperimento è detto 
strategia sperimentale; ve ne sono diverse, alcune delle quali 
intuitive come l‟approccio a tentativi o del cambiamento di un 
fattore alla volta, oppure di più complesse come i piani fattoriali. 
Questi ultimi consentono di condurre esperimenti con più fattori 
analizzando come essi variano congiuntamente invece che uno 
alla volta; tale strategia verrà sviluppata più avanti nel corso 
della trattazione.  
 
PRINCIPI DI BASE 
La pianificazione statistica degli esperimenti riguarda il processo 
di progettazione dell‟esperimento, finalizzato alla raccolta dei dati 
appropriati, in modo idoneo all‟analisi e con metodologie 
statistiche, per giungere a conclusioni valide ed oggettive. 
L‟approccio statistico è essenziale se si vogliono ricavare 
conclusioni sensate dai dati; quando il problema coinvolge dati
8  
 
soggetti a errori sperimentali, la metodologia statistica 
rappresenta l‟unico approccio oggettivo all‟analisi. Vi sono 
pertanto due aspetti relativi ad un generico problema 
sperimentale: pianificazione dell‟esperimento e analisi dei dati. I 
due argomenti risultano essere strettamente interdipendenti in 
quanto il metodo d‟analisi dipende direttamente dal piano 
adottato.  
Alla base della pianificazione sperimentale vi sono tre pilastri: la 
replicazione, la casualizzazione e l‟impiego di blocchi. Per 
replicazione s‟intende la ripetizione dell‟esperimento di base; 
essa ha due importanti proprietà. In primo luogo consente allo 
sperimentatore di stimare l‟errore sperimentale, che costituisce 
un metro naturale per decidere se le differenze osservate nei dati 
sono statisticamente significative. In secondo luogo, se una 
media campionaria viene usata per determinare l‟effetto di un 
fattore nell‟esperimento, la replicazione consente di ottenere una 
stima più precisa di questo effetto. La casualizzazione è la pietra 
angolare su cui si fonda l‟uso dei metodi statistici nella 
pianificazione sperimentale. Col termine casualizzazione si 
intende che sia l‟allocazione del  materiale sperimentale sia 
l‟ordine col quale vengono eseguite le singole prove 
dell‟esperimento, vengano stabiliti in modo casuale. I metodi 
statistici richiedono che le osservazioni (o meglio gli errori) siano 
variabili casuali indipendenti; la casualizzazione di regola rende 
valida questa assunzione. Casualizzando in modo appropriato le 
prove sperimentali, vengono mediati anche gli effetti di fattori 
estranei eventualmente presenti. Il blocco è invece una tecnica 
statistica, usata per migliorare la precisione con cui vengono fatti 
i confronti tra fattori di interesse. Spesso la tecnica dei blocchi 
viene utilizzata per ridurre o eliminare la variabilità trasmessa da 
fattori di disturbo, cioè fattori che possono influenzare la risposta
9  
 
sperimentale ma sui quali non abbiamo un diretto interesse. In 
genere un blocco è un insieme di condizioni sperimentali 
relativamente omogenee; tipicamente ogni livello dei fattori di 
disturbo diventa un blocco. In questo caso lo sperimentatore 
divide le osservazioni del piano sperimentale in gruppi, eseguiti 
ognuno dentro un blocco.  
 
 
LINEE GUIDA PER LA PIANIFICAZIONE DEGLI 
ESPERIMENTI 
Per usare l‟approccio statistico nella pianificazione e nell‟analisi di 
un esperimento, è necessario che tutte le persone coinvolte 
abbiano idee chiare, prima di iniziare, su che cosa esattamente si 
debba indagare, come debba essere fatta la raccolta dei dati e 
capire in modo qualitativo come questi dati vadano analizzati. 
Pur nella consapevolezza che ci possano essere parziali 
differenze tra caso e caso, è possibile sviluppare una procedura 
standard suddivisa in sette punti. 
1. Identificazione e formulazione del problema: non è 
semplice prendere coscienza dell‟esistenza di un problema 
che richiede la sperimentazione, né è semplice sviluppare 
una formulazione che sia chiara e condivisa. E‟ necessario 
fare emergere tutti i diversi punti di vista sugli obiettivi 
dell‟esperimento; è quindi importante sollecitare tutti i 
gruppi interessati a fornire spunti e quindi un approccio 
collegiale alla progettazione dell‟esperimento. Spesso a 
questo stadio di formulazione del problema, molti tecnici e 
ricercatori si rendono conto che è improbabile che un solo 
grande esperimento completo possa rispondere alle 
domande chiave e che una strategia migliore è quella di
10  
 
usare un approccio sequenziale, fondato su una serie di 
piccoli esperimenti. 
2. Scelta dei fattori, livelli ed intervalli: quando lo 
sperimentatore considera i fattori suscettibili di influenzare 
le prestazioni di un processo o di un sistema, si rende 
conto che può classificarli come potenziali fattori di 
progetto o come fattori di disturbo. I primi sono quei fattori 
che lo sperimentatore può aver necessità di far variare 
durante l‟esperimento; spesso vi è un gran numero di 
fattori di progetto ed è quindi utile una loro classificazione 
in termini di tipologia. Una possibile classificazione 
distingue tra fattori di progetto, fattori che vengono lasciati 
costanti e fattori che vengono fatti variare. I primi sono i 
fattori sui quali si vuole effettivamente indagare 
nell‟esperimento, mentre le altre due classi non vengono 
prese in considerazione anche se è possibile distinguere tra 
i fattori in base al loro comportamento (costanti o 
variabili).  
I fattori di disturbo, invece, possono avere effetti rilevanti 
di cui occorre tener conto, anche se potremmo non essere 
interessati ad essi nel contesto dell‟esperimento. I fattori di 
disturbo spesso sono classificati come controllabili, non 
controllabili o di rumore. Alla prima categoria 
corrispondono i fattori i cui livelli possono essere fissati 
dallo sperimentatore; alla seconda i fattori che non 
possono essere controllati ma possono essere misurati e 
alla terza quelli che non possono essere né controllati né 
misurati. Molte volte lo scopo dell‟esperimento stesso sta 
nel trovare la combinazione dei fattori controllabili che 
minimizza la variabilità trasmessa dal fattore rumore.