Il data warehousing e la tecnologia Oracle Warehouse Builder

I dati provenienti dai sistemi operazionali, prima di poter essere caricati nel DW devono essere prima trattati e trasformati opportunamente in modo da aderire alle regole del data warehouse.
In particolare tipiche trasformazioni riguardano le correzioni di errori di battitura o di formattazione, la risoluzione di conflitti sui nomi (una stessa entità può avere nomi differenti all'interno di diverse applicazioni) oppure la de-duplicazione di dati ripetuti.
In particolare è necessario individuare le anomalie e le eccezioni che questi possono presentare. A prescindere dalle diverse regole di business e di conformità sui dati che ogni progetto di data warehousing può avere, di seguito saranno descritti i casi più generali:
- Gestione dei valori nulli : un valore nullo non gestito può creare un errore all'interno della procedura ETL e interrompere il processo. In particolare occorre prestare attenzione ai campi di chiave esterna: l'operazione di join tra due o più tabelle basata su una colonna che contiene valori nulli causa una perdita di dati.
Occorre quindi controllare la presenza di valori nulli all'interno dei campi di chiave esterna, in particolare in questi casi occorre eseguire un outer join in modo da trascurare i valori nulli.
E’ sconsigliato salvare valori nulli all'interno del DW, a meno che non siano misure non ulteriormente codificabili. Se il valore nullo compare come attributo dimensionale allora deve essere specificata un'adeguata regola di business per poter gestire l'eccezione. Dove e possibile e comunque consigliato rimpiazzare i valori nulli con valori di default.
- Differenze di formato dei dati nello stesso campo: E una delle situazioni più comuni e può verificarsi ogni qualvolta l'informazione memorizzata non e rigidamente strutturata. In particolare le date sono valori che necessitano di molta attenzione perchè si posso presentare sotto diversi formati (20-Mar-2010; 20-03-2010; 20/03/2010; 100320; 200310 ecc. . . ) che e necessario ricondurre ad un formato standard a livello di data warehouse.
- Errori di battitura: sono sempre possibili se al momento dell'inserimento non sono previste procedure di controllo sui valori inseriti.
- Informazioni mancanti: Quando le operazioni del sistema operazionale consentono di omettere l'inserimento di valori, può capitare che l'operatore tralasci l'inserimento.
- Informazioni duplicate: Tipicamente questo problema si verifica quando le sorgenti forniscono la stessa informazione ma i record utilizzano chiavi diverse.