Arquitectura de Flujo de Datos con Pentaho Community Edition

En el siguiente diagrama que he creado muestro una Arquitectura de Flujo de Datos para cargar un Data Warehouse (DWH) apoyada por las herramientas de la plataforma Pentaho CE

Las actividades de Data Warehousing se realizan usando las herramientas de Pentaho Data Integration (PDI), Spoon es la herramienta gráfica para construir los procesos ETL,  Kitchen/Pan son las herramienta que permiten calendarizar la ejecución de los procesos ETL.

Las construcción de soluciones para actividades de Inteligencia de Negocios son apoyadas por las siguientes herramientas:

• Pentaho Metadata Editor (PME) permite crear una capa de metadatos sobre el DWH con términos del negocio; ésta capa es la fuente para crear reportes a demanda usando herramientas como WAQR (Web-based Ad Hoc Query and Reporting)
• Pentaho Report Designer (PRD) permite crear reportes avanzados que contienen fórmulas, agrupaciones, hipervínculos, parámetros, gráficos
• Pentaho Schema Workbench (PSW) permite crear cubos de análisis OLAP
• Community Tools (CTools) conjunto de herramientas Open Source que permiten construir tableros de mando (Dashboards) con indicadores claves de rendimiento (KPIs)

El servidor central Pentaho Server posee un cliente web conocido como Pentaho User Console (PUC) a través del cual se accede al contenido publicado por las herramientas PME, PRD, PSW y CTools. Además, requiere de 3 repositorios para su operación normal:  hibernate, quartz y jackrabbit.

Requerimientos de Software y Hardware

• Pentaho v8.2
• Pentaho v9.0

Nuevas Funcionalidades

• Pentaho v8.2
• Pentaho v9.0

Cómo eliminar un cubo OLAP publicado en Pentaho BI Server

En ésta publicación explico el procedimiento para eliminar un cubo publicado con PSW en Pentaho BI Server.

1. Ir al directorio /biserver-ce-X.X.X/biserver-ce/pentaho-solutions/system/olap

2. Editar el archivo datasources.xml y eliminar la etiqueta <Catalog> del cubo que deseamos eliminar

3. En la consola de usuario de Pentaho (PUC), ir a Herramientas > Actualizar > Vaciar el cache de esquemas de Mondrian

Cómo resolver problemas de rendimiento de Pentaho Schema Workbench sobre Oracle

Al intentar ejecutar Pentaho Schema Workbench (PSW) y crear una conexión a una base de datos Oracle, sucede que aparentemente el aplicativo se queda congelado. Lo que sucede es que se está trayendo todo el diccionario de los esquemas a los que tiene acceso la conexión.

Para solucionar esto sobre el esquema que queremos conectarnos es útil correr el siguiente script SQL:

CREATE OR REPLACE VIEW ALL_TABLES AS SELECT USER AS OWNER, A.* FROM SYS.USER_TABLES A;
CREATE OR REPLACE VIEW ALL_VIEWS AS SELECT USER AS OWNER, A.* FROM SYS.USER_VIEWS A
WHERE VIEW_NAME NOT IN ('ALL_CONSTRAINTS','ALL_CONS_COLUMNS','ALL_INDEXES','ALL_IND_COLUMNS',
'ALL_OBJECTS','ALL_SYNONYMS','ALL_TABLES','ALL_USERS','ALL_VIEWS','DBA_CONSTRAINTS','DBA_CONS_COLUMNS',
'DBA_INDEXES','DBA_IND_COLUMNS','DBA_OBJECTS','DBA_SYNONYMS','DBA_TABLES','DBA_USERS','DBA_VIEWS');
CREATE OR REPLACE VIEW ALL_CONSTRAINTS AS SELECT A.* FROM SYS.USER_CONSTRAINTS A WHERE CONSTRAINT_TYPE IN ('R','P','U');
CREATE OR REPLACE VIEW ALL_CONS_COLUMNS AS SELECT A.* FROM SYS.USER_CONS_COLUMNS A;
CREATE OR REPLACE VIEW ALL_INDEXES AS SELECT USER AS OWNER, A.* FROM SYS.USER_INDEXES A;
CREATE OR REPLACE VIEW ALL_IND_COLUMNS AS SELECT USER AS INDEX_OWNER, USER AS TABLE_OWNER, A.* FROM SYS.USER_IND_COLUMNS A;
CREATE OR REPLACE VIEW ALL_SYNONYMS AS SELECT USER AS OWNER, A.* FROM USER_SYNONYMS A;
CREATE OR REPLACE VIEW ALL_OBJECTS AS SELECT USER AS OWNER, A.* FROM USER_OBJECTS A;
CREATE OR REPLACE VIEW ALL_USERS AS SELECT * FROM SYS.ALL_USERS A WHERE USERNAME=USER;
CREATE OR REPLACE VIEW DBA_TABLES AS SELECT USER AS OWNER, A.* FROM SYS.USER_TABLES A;
CREATE OR REPLACE VIEW DBA_VIEWS AS SELECT USER AS OWNER, A.* FROM SYS.USER_VIEWS A
WHERE VIEW_NAME NOT IN ('ALL_CONSTRAINTS','ALL_CONS_COLUMNS','ALL_INDEXES','ALL_IND_COLUMNS',
'ALL_OBJECTS','ALL_SYNONYMS','ALL_TABLES','ALL_USERS','ALL_VIEWS','DBA_CONSTRAINTS','DBA_CONS_COLUMNS',
'DBA_INDEXES','DBA_IND_COLUMNS','DBA_OBJECTS','DBA_SYNONYMS','DBA_TABLES','DBA_USERS','DBA_VIEWS');
CREATE OR REPLACE VIEW DBA_CONSTRAINTS AS SELECT A.* FROM SYS.USER_CONSTRAINTS A WHERE CONSTRAINT_TYPE IN ('R','P','U');
CREATE OR REPLACE VIEW DBA_CONS_COLUMNS AS SELECT A.* FROM SYS.USER_CONS_COLUMNS A;
CREATE OR REPLACE VIEW DBA_INDEXES AS SELECT USER AS OWNER, A.* FROM SYS.USER_INDEXES A;
CREATE OR REPLACE VIEW DBA_IND_COLUMNS AS SELECT USER AS INDEX_OWNER, USER AS TABLE_OWNER, A.* FROM SYS.USER_IND_COLUMNS A;
CREATE OR REPLACE VIEW DBA_SYNONYMS AS SELECT USER AS OWNER, A.* FROM USER_SYNONYMS A;
CREATE OR REPLACE VIEW DBA_OBJECTS AS SELECT USER AS OWNER, A.* FROM USER_OBJECTS A;
CREATE OR REPLACE VIEW DBA_USERS AS SELECT * FROM SYS.ALL_USERS A WHERE USERNAME=USER;
CREATE OR REPLACE VIEW ALL_TAB_COLUMNS AS SELECT USER AS OWNER, A.* FROM SYS.USER_TAB_COLUMNS A;

Configuración de la contraseña de publicación en Pentaho BI Server

Para poder publicar contenido de BI (metadatos, reportes, cubos OLAP) de las herramientas PME, PRD y PSW al servidor central de BI de Pentaho (biserver-ce) es obligatorio configurar la contraseña de publicación, en ésta publicación explico el procedimiento para hacerlo:

1. Ir al directorio C:\pentaho\biserver-ce-X.X.X\biserver-ce\pentaho-solutions\system

2. Editar el archivo publisher_config.xml y asignar un valor a la etiqueta <publisher-password> como se muestra a continuación:

<?xml version="1.0"?>
<publisher-config>
 <publisher-password>password</publisher-password>
</publisher-config>

Arquitectura de Flujo de Datos con Pentaho Community

En el siguiente diagrama que he creado muestro una Arquitectura de Flujo de Datos para cargar un Data Warehouse (DWH) apoyada por las herramientas de la plataforma Pentaho CE

Las actividades de Data Warehousing se realizan usando las herramientas de Pentaho Data Integration (PDI), Spoon es la herramienta gráfica para construir los procesos ETL y Kitchen es la herramienta que permite calendarizar la ejecución de los procesos ETL.

Las actividades de Inteligencia de Negocios son apoyadas por las siguientes herramientas:

•  Pentaho Metadata Editor (PME) permite crear una capa de metadatos sobre el DWH con términos del negocio; ésta capa es la fuente para crear reportes a demanda usando la herramienta WAQR (Web-based Ad Hoc Query and Reporting)
• Pentaho Report Designer (PRD) permite crear reportes avanzados que contienen fórmulas, agrupaciones, hipervínculos, parámetros, gráficos.
• Pentaho Schema Workbench (PSW) permite crear cubos de análisis OLAP
• Community Dashboard Framework (CDF) es una herramienta de la comunidad, no mantenida por Pentaho, que permite construir tableros de mando (Dashboards) con indicadores claves de rendimiento (KPIs)

El servidor central Pentaho BI Server tiene organizado en una solución los reportes, tableros y cubos OLAP publicados por las herramientas PME, PRD, PSW y CDF