Arquitectura de Flujo de Datos con Pentaho Community

En el siguiente diagrama que he creado muestro una Arquitectura de Flujo de Datos para cargar un Data Warehouse (DWH) apoyada por las herramientas de la plataforma Pentaho CE

Las actividades de Data Warehousing se realizan usando las herramientas de Pentaho Data Integration (PDI), Spoon es la herramienta gráfica para construir los procesos ETL y Kitchen es la herramienta que permite calendarizar la ejecución de los procesos ETL.

Las actividades de Inteligencia de Negocios son apoyadas por las siguientes herramientas:

•  Pentaho Metadata Editor (PME) permite crear una capa de metadatos sobre el DWH con términos del negocio; ésta capa es la fuente para crear reportes a demanda usando la herramienta WAQR (Web-based Ad Hoc Query and Reporting)
• Pentaho Report Designer (PRD) permite crear reportes avanzados que contienen fórmulas, agrupaciones, hipervínculos, parámetros, gráficos.
• Pentaho Schema Workbench (PSW) permite crear cubos de análisis OLAP
• Community Dashboard Framework (CDF) es una herramienta de la comunidad, no mantenida por Pentaho, que permite construir tableros de mando (Dashboards) con indicadores claves de rendimiento (KPIs)

El servidor central Pentaho BI Server tiene organizado en una solución los reportes, tableros y cubos OLAP publicados por las herramientas PME, PRD, PSW y CDF

Data Warehousing

El Data Warehousing consiste en el proceso de creación, recuperación y consolidación de datos de los sistemas fuente (bases de datos relacionales, archivos planos, Excel, Access, sistemas CRM, sistemas ERP, etc.) hacia un modelo de datos optimizado para actividades de análisis conocido como Data Warehouse (DWH).

El DWH se constituye en la principal fuente para las actividades de Inteligencia de Negocios (BI).

Las actividades del Data Warehousing conforman un conjunto de procesos interrelacionados que se conoce como Sistema de Data Warehouse / BI (DWH/BI).

El sistema de DWH/BI se encarga de obtener los datos de entrada, procesarlos a través de actividades de extracción, transformación y carga (ETL, Extract-Transform-Load) y cargarlos en el DWH con el objetivo que los usuarios del negocio tengan información para realizar actividades de BI.

Como todo sistema, el sistema DWH/BI requiere de una arquitectura, ésta arquitectura se la conoce como Arquitectura de Flujo de Datos.


Haciendo una analogía con los sistemas de software, éstos poseen arquitecturas monolíticas (stand-alone), cliente-servidor, 3 capas, N capas, etc. las cuáles definen ¿cómo? serán construídos los sistemas. La arquitectura de flujo de datos del sistema DWH/BI define ¿cómo? los datos serán transportados desde su fuente hacia su destino, el DWH.

La arquitectura de flujo de datos que se defina para el sistema de DWH/BI tiene una relación directa con los paradigmas propuestos por Bill Inmon y Ralph Kimball.

Así como los sistemas de software son construídos sobre plataformas tecnológicas como por ejemplo la plataforma Java, un sistema de DWH/BI es construído sobre una plataforma tecnológica conocida como Plataforma de Inteligencia de Negocios (BI Platform).

Entre las plataformas más conocidas están: Pentaho, SAP BusinessObjects, IBM Cognos, Oracle Hyperion, MicroStrategy