Agile Data Warehousing / Business Intelligence

En el siguiente artículo explico algunas técnicas, herramientas y prácticas de ingeniería para construir sistemas de Data Warehousing / Business Intelligence usando una metodología de desarrollo ágil (Agile)

Agile DW / BI en Acción

• Versión en Inglés
• Versión en Español

Consideraciones para el uso de Pentaho Metadata Editor

Una capa de metadatos de Pentaho (PML, Pentaho Metadata Layer) construida con la herramienta Pentaho Metadata Editor (PME) permite crear un modelo derivado de un DWH con definiciones orientadas al negocio, campos calculados y formateados que sirven para que los usuarios finales puedan generar reportes a demanda (Ad Hoc) usando alguno de los reporteadores: WAQR, WAQE o Saiku Reporting.

A continuación resumo los pasos a seguir cuando se construya un modelo de metadatos con PME:

1. Definir la localización es_EC

2. Crear una conexión al DWH (Capa Física)

3. Usando la conexión creada importar las tablas que se quieren representar en el modelo

4. A nivel de capa lógica (Business Tables) realizar lo siguiente:

• Ocultar las claves subrogadas (SKs), claves primarias(PKs), campos de versión, válido desde y válido hasta marcando la propiedad Hidden For the user?
• Reescribir los nombres de las tablas y campos en términos orientados al negocio
• Definir la función de agregación por defecto (Default Aggregation) para los indicadores de la tabla de hechos
• Dar formato a los campos numéricos o de fecha usando la propiedad Miscellaneous / Mask for Number or Date
• Para crear un campo calculado definir en la fórmula: SUM([nombreColumna1]+[nombreColumna2]), marcar la propiedad Is the Formula Exact? y definir la propiedad Default Aggregation como SUM.

5. A nivel de capa de presentación (Business View) marcar las tablas que se quiere mostrar al usuario final y  definir el orden de las mismas

6. Verificar que el modelo esté correcto usando Query Editor

7. Finalmente publicar el modelo de metadatos a Pentaho Server

Inteligencia de Negocios (Business Intelligence)

La Inteligencia de Negocios (Business Intelligence - BI) abarca un conjunto de actividades de análisis que ayudan a comprender la situación pasada, presente y futura de una compañía, apoyándola en su proceso de toma de decisiones.

La principal fuente de datos para realizar las actividades de análisis de BI es el Data Warehouse (DWH)

Las principales actividades de análisis de BI se resumen en:

• Reporteo
• Análisis OLAP
• Minería de Datos (Data Mining)

El reporteo va de la mano con el análisis OLAP a través de reportes de análisis interactivo, tableros de mando, indicadores claves de rendimiento (KPIs), gestión del rendimiento del negocio (BPM), mapas estratégicos, gestión de objetivos del negocio, técnicas de gestión como el Balanced Scorecard, Six Sigma y otras.

El reporteo permite realizar actividades de análisis descriptivo a través del análisis del pasado y presente de la compañía. Los tableros y reportes permiten responder a las preguntas ¿qué sucedió?, ¿qué está sucediendo? y ¿por qué? apoyando al proceso de toma de decisiones del negocio. El reporteo permite armar rompecabezas que responden a las preguntas del negocio.

La minería de datos toma como fuente el Data Warehouse (DWH) para realizar actividades de análisis predictivo permitiendo a una compañía predecir su futuro respondiendo a la pregunta del negocio ¿qué sucederá? La minería de datos permite conocer patrones de comportamiento y resolver misterios de una compañía. Por ejemplo detección de fraudes, perfiles de clientes para actividades de cross-selling y up-selling, tasas para tarifación de objetos asegurados, etc.