En ésta publicación muestro el cuadrante mágico de Gartner para plataformas de BI y analíticas a Febrero 2017.
Como se puede observar Qlik, Tableau y Microsoft siguen como líderes, aunque Tableau y Microsoft están casi a la par en la habilidad de ejecutar. Qlik se ha mantenido casi en la misma posición comparado con el año anterior.
Con respecto a las plataformas Open Source: TIBCO/Jaspersoft se mantiene en el cuadrante de Visionarios, mientras que Pentaho se posicionó en el cuadrante de Jugadores de Nicho.
Se puede acceder al reporte completo en el siguiente link.
¡Bienvenidos! En el presente blog comparto mis experiencias y conocimientos adquiridos sobre Data Warehousing, Open Source Business Intelligence, Data Engineering y tecnologías relacionadas con datos. Accede a la sección de "Sugerencias y Preguntas" si tienes comentarios o inquietudes, estaré gustoso en responderte.
Buscar en el Blog
Mostrando las entradas con la etiqueta BI. Mostrar todas las entradas
Mostrando las entradas con la etiqueta BI. Mostrar todas las entradas
miércoles, 22 de febrero de 2017
Cuadrante Mágico de Gartner para plataformas de BI y Analíticas 2017
Labels:
2017,
Analíticas,
Analytics,
BI,
Business Intelligence,
cuadrante,
Gartner,
mágico
martes, 17 de enero de 2017
Cuadrante Mágico de Gartner para plataformas de BI y Analíticas 2016
En ésta publicación muestro el cuadrante mágico de Gartner para plataformas de BI y analíticas a Febrero 2016.
Cómo se puede observar Tableau y Qlik siguen en el cuadrante de líderes debido a su crecimiento vertiginoso por facilidad de uso y adaptabilidad del mercado. Microsoft también se encuentra como líder debido a su producto estrella PowerBI.
Dentro de las soluciones Open Source: Pentaho fue adquirida por Hitachi Group y Jaspersoft fue adquirida por TIBCO Software. Pentaho se movió al cuadrante de visionarios con respecto al 2015 debido a su enfoque en proveer de herramientas para soportar tecnologías de Big Data e Internet de las cosas (IoT).
Más información: https://www.gartner.com/doc/reprints?ct=160204&id=1-2XXET8P
Cómo se puede observar Tableau y Qlik siguen en el cuadrante de líderes debido a su crecimiento vertiginoso por facilidad de uso y adaptabilidad del mercado. Microsoft también se encuentra como líder debido a su producto estrella PowerBI.
Dentro de las soluciones Open Source: Pentaho fue adquirida por Hitachi Group y Jaspersoft fue adquirida por TIBCO Software. Pentaho se movió al cuadrante de visionarios con respecto al 2015 debido a su enfoque en proveer de herramientas para soportar tecnologías de Big Data e Internet de las cosas (IoT).
Más información: https://www.gartner.com/doc/reprints?ct=160204&id=1-2XXET8P
Labels:
2016,
Analíticas,
Analytics,
BI,
Business Intelligence,
cuadrante,
cuadrante mágico,
Gartner,
Inteligencia de Negocios,
mágico
martes, 14 de junio de 2016
Agile Data Warehousing / Business Intelligence
En el siguiente artículo explico algunas técnicas, herramientas y prácticas de ingeniería para construir sistemas de Data Warehousing / Business Intelligence usando una metodología de desarrollo ágil (Agile)
Agile DW / BI en Acción
Labels:
Agile,
BI,
Business Intelligence,
construir,
Data Warehousing,
DWH,
DWH/BI,
metodología,
sistema
miércoles, 13 de mayo de 2015
Arquitectura de Flujo de Datos con Pentaho Community Edition
En el siguiente diagrama que he creado muestro una Arquitectura de Flujo de Datos para cargar un Data Warehouse (DWH) apoyada por las herramientas de la plataforma Pentaho CE
Las actividades de Data Warehousing se realizan usando las herramientas de Pentaho Data Integration (PDI), Spoon es la herramienta gráfica para construir los procesos ETL, Kitchen/Pan son las herramienta que permiten calendarizar la ejecución de los procesos ETL.
Las construcción de soluciones para actividades de Inteligencia de Negocios son apoyadas por las siguientes herramientas:
- Pentaho Metadata Editor (PME) permite crear una capa de metadatos sobre el DWH con términos del negocio; ésta capa es la fuente para crear reportes a demanda usando herramientas como WAQR (Web-based Ad Hoc Query and Reporting)
- Pentaho Report Designer (PRD) permite crear reportes avanzados que contienen fórmulas, agrupaciones, hipervínculos, parámetros, gráficos
- Pentaho Schema Workbench (PSW) permite crear cubos de análisis OLAP
- Community Tools (CTools) conjunto de herramientas Open Source que permiten construir tableros de mando (Dashboards) con indicadores claves de rendimiento (KPIs)
El servidor central Pentaho Server posee un cliente web conocido como Pentaho User Console (PUC) a través del cual se accede al contenido publicado por las herramientas PME, PRD, PSW y CTools. Además, requiere de 3 repositorios para su operación normal: hibernate, quartz y jackrabbit.
Requerimientos de Software y Hardware
Nuevas Funcionalidades
Labels:
5.x,
6.x,
7.x,
8.x,
9.x,
arquitectura,
Arquitectura de Flujo de Datos,
BI,
CE,
CTools,
hibernate,
jackrabbit,
Java,
PDI,
Pentaho,
PME,
PRD,
PSW,
PUC,
quartz
lunes, 9 de marzo de 2015
Cuadrante Mágico de Gartner para plataformas de BI y Analíticas 2015
En ésta publicación muestro el cuadrante mágico de Gartner para plataformas de BI y analíticas a Febrero 2015.
Como se puede observar continúan siendo líderes las plataformas tradicionales:
Referencias.-
Como se puede observar continúan siendo líderes las plataformas tradicionales:
- Microsoft
- SAS
- SAP
- IBM
- Oracle
- MicroStrategy
- Information Builders
Las herramientas de BI: Qlik y Tableau permanecen en el cuadrante de líderes. Es importante recordar que éstas herramientas no ofrecen soluciones de Data Warehousing y permiten conectarse directamente a un Data Warehouse o cualquier otra fuente de datos y demandan de bastante memoria RAM en los servidores. Sin embargo, su costo de licenciamiento comparado con las plataformas tradicionales es bajo.
Sobre las herramientas Open Source: Pentaho continúa en el cuadrante de Jugadores de Nicho (Niche Players) y se anunció éste año la adquisición por parte de Hitachi Data Systems. Jaspersoft fue adquirido por Tibco Software que se encuentra en el cuadrante de Visionarios.
Referencias.-
Labels:
2015,
Analíticas,
BI,
cuadrante,
cuadrante mágico,
Gartner,
Jaspersoft,
Magic Quadrant,
mágico,
Pentaho,
Plataforma
domingo, 19 de agosto de 2012
Configuración de Pentaho BI Server para PostgreSQL
En ésta publicación explico el procedimiento para configurar los repositorios de metadatos de Pentaho: hibernate y quartz en la base de datos PostgreSQL
Por defecto, el biserver de Pentaho usa la base de datos HSQLDB, ésta base de datos no es recomendada para instalaciones en producción por lo que es conveniente instalarlo en un motor de base de datos más robusto. El biserver viene con los scripts para MySQL, Oracle y PostgreSQL.
Pre-requisitos.-
1. Ir al directorio C:\pentaho\biserver-ce-X.X.X\biserver-ce\data aquí se encuentran los scripts para MySQL, Oracle y PostgreSQL
2. Abrir el directorio postgresql y copiar los scripts: create_repository_postgresql.sql, create_quartz_postgresql.sql y create_sample_datasource_postgresql.sql al directorio C:\Program Files\PostgreSQL\8.4\scripts
3. Ejecutar el programa runpsql.bat y acceder con el usuario postgres
4. Ejecutar la siguiente secuencia de comandos
NOTA: password es la contraseña por defecto para los usuarios hibuser del repositorio hibernate y pentaho_user del repositorio quartz, sa es la contraseña del usuario postgres.
Configuración de Tomcat
5. Copiar el driver JDBC Tipo 3 de PostgreSQL (postgresql-X.X-XXX.jdbc3.jar) al directorio C:\pentaho\biserver-ce-X.X.X\biserver-ce\tomcat\lib.
6. Editar el archivo context.xml ubicado en el directorio: C:\pentaho\biserver-ce-X.X.X\biserver-ce\tomcat\webapps\pentaho\META-INF. Colocar la siguiente configuración para cambiar la conexión a PostgreSQL
Todos los archivos de configuración del servidor central de BI de Pentaho Community Edition (biserver-ce) se encuentran en el directorio: C:\pentaho\biserver-ce-X.X.X\biserver-ce\pentaho-solutions\system
El resto de configuraciones se realizarán en éste directorio.
7. Ir al subdirectorio /hibernate y editar el archivo hibernate-settings.xml, cambiar la etiqueta <config-file> al valor: system/hibernate/postgresql.hibernate.cfg.xml como se muestra a continuación:
8. Editar el archivo applicationContext-spring-security-jdbc.xml y cambiar la configuración de conexión del Bean dataSource a PostgreSQL como se muestra a continuación:
9. Editar el archivo applicationContext-spring-security-hibernate.properties y cambiar la configuración de conexión a PostgreSQL como se muestra a continuación:
10. Reiniciar el servidor de BI de Pentaho (biserver-ce)
Por defecto, el biserver de Pentaho usa la base de datos HSQLDB, ésta base de datos no es recomendada para instalaciones en producción por lo que es conveniente instalarlo en un motor de base de datos más robusto. El biserver viene con los scripts para MySQL, Oracle y PostgreSQL.
Pre-requisitos.-
- Tener instalado y configurado el JDK v1.6 o superior, en la siguiente publicación se explica el procedimiento
- Tener instalado la base de datos PostgreSQL v8.4 o superior
- Haber descargado la aplicación biserver-ce de Pentaho y haberla copiado y descomprimido en el directorio: C:\pentaho\biserver-ce-X.X.X
- Haber descargado el controlador JDBC Tipo 3 para PostgreSQL
1. Ir al directorio C:\pentaho\biserver-ce-X.X.X\biserver-ce\data aquí se encuentran los scripts para MySQL, Oracle y PostgreSQL
2. Abrir el directorio postgresql y copiar los scripts: create_repository_postgresql.sql, create_quartz_postgresql.sql y create_sample_datasource_postgresql.sql al directorio C:\Program Files\PostgreSQL\8.4\scripts
3. Ejecutar el programa runpsql.bat y acceder con el usuario postgres
4. Ejecutar la siguiente secuencia de comandos
\i create_repository_postgresql.sql password \i create_sample_datasource_postgresql.sql \connect postgres postgres sa \i create_quartz_postgresql.sql password
NOTA: password es la contraseña por defecto para los usuarios hibuser del repositorio hibernate y pentaho_user del repositorio quartz, sa es la contraseña del usuario postgres.
Configuración de Tomcat
5. Copiar el driver JDBC Tipo 3 de PostgreSQL (postgresql-X.X-XXX.jdbc3.jar) al directorio C:\pentaho\biserver-ce-X.X.X\biserver-ce\tomcat\lib.
6. Editar el archivo context.xml ubicado en el directorio: C:\pentaho\biserver-ce-X.X.X\biserver-ce\tomcat\webapps\pentaho\META-INF. Colocar la siguiente configuración para cambiar la conexión a PostgreSQL
<?xml version="1.0" encoding="UTF-8"?> <Context path="/pentaho" docbase="webapps/pentaho/"> <Resource name="jdbc/Hibernate" auth="Container" type="javax.sql.DataSource" factory="org.apache.commons.dbcp.BasicDataSourceFactory" maxActive="20" maxIdle="5" maxWait="10000" username="hibuser" password="password" driverClassName="org.postgresql.Driver" url="jdbc:postgresql://127.0.0.1:5432/hibernate" validationQuery="select version();" /> <Resource name="jdbc/Quartz" auth="Container" type="javax.sql.DataSource" factory="org.apache.commons.dbcp.BasicDataSourceFactory" maxActive="20" maxIdle="5" maxWait="10000" username="pentaho_user" password="password" driverClassName="org.postgresql.Driver" url="jdbc:postgresql://127.0.0.1:5432/quartz" validationQuery="select version();"/> </Context>
Configuración del BI Server
Todos los archivos de configuración del servidor central de BI de Pentaho Community Edition (biserver-ce) se encuentran en el directorio: C:\pentaho\biserver-ce-X.X.X\biserver-ce\pentaho-solutions\system
El resto de configuraciones se realizarán en éste directorio.
7. Ir al subdirectorio /hibernate y editar el archivo hibernate-settings.xml, cambiar la etiqueta <config-file>
<?xml version='1.0' encoding='utf-8'?>
<settings>
<!--config-file>system/hibernate/hsql.hibernate.cfg.xml</config-file-->
<config-file>system/hibernate/postgresql.hibernate.cfg.xml</config-file>
<managed>false</managed>
</settings>
8. Editar el archivo applicationContext-spring-security-jdbc.xml y cambiar la configuración de conexión del Bean dataSource a PostgreSQL como se muestra a continuación:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springsource.org/dtd/spring-beans.dtd"> <beans> <!--...--> <bean id="dataSource" class="org.springframework.jdbc.datasource.DriverManagerDataSource"> <property name="driverClassName" value="org.postgresql.Driver" /> <property name="url" value="jdbc:postgresql://127.0.0.1:5432/hibernate" /> <property name="username" value="hibuser" /> <property name="password" value="password" /> </bean> <!--...--> </beans>
9. Editar el archivo applicationContext-spring-security-hibernate.properties y cambiar la configuración de conexión a PostgreSQL como se muestra a continuación:
jdbc.driver=org.postgresql.Driver jdbc.url=jdbc:postgresql://127.0.0.1:5432/hibernate jdbc.username=hibuser jdbc.password=password hibernate.dialect=org.hibernate.dialect.PostgreSQLDialect
10. Reiniciar el servidor de BI de Pentaho (biserver-ce)
Labels:
BI,
BI Server,
biserver-ce,
configuración,
context,
hibernate,
JDBC,
metadatos,
Pentaho,
PostgreSQL,
quartz,
repositorio,
tomcat
miércoles, 6 de junio de 2012
Arquitectura de Flujo de Datos con Pentaho Community
En el siguiente diagrama que he creado muestro una Arquitectura de Flujo de Datos para cargar un Data Warehouse (DWH) apoyada por las herramientas de la plataforma Pentaho CE
Las actividades de Data Warehousing se realizan usando las herramientas de Pentaho Data Integration (PDI), Spoon es la herramienta gráfica para construir los procesos ETL y Kitchen es la herramienta que permite calendarizar la ejecución de los procesos ETL.
Las actividades de Inteligencia de Negocios son apoyadas por las siguientes herramientas:
- Pentaho Metadata Editor (PME) permite crear una capa de metadatos sobre el DWH con términos del negocio; ésta capa es la fuente para crear reportes a demanda usando la herramienta WAQR (Web-based Ad Hoc Query and Reporting)
- Pentaho Report Designer (PRD) permite crear reportes avanzados que contienen fórmulas, agrupaciones, hipervínculos, parámetros, gráficos.
- Pentaho Schema Workbench (PSW) permite crear cubos de análisis OLAP
- Community Dashboard Framework (CDF) es una herramienta de la comunidad, no mantenida por Pentaho, que permite construir tableros de mando (Dashboards) con indicadores claves de rendimiento (KPIs)
El servidor central Pentaho BI Server tiene organizado en una solución los reportes, tableros y cubos OLAP publicados por las herramientas PME, PRD, PSW y CDF
Labels:
arquitectura,
Arquitectura de Flujo de Datos,
BI,
Business Intelligence,
CDF,
Community,
datos,
Ecuador,
flujo,
Kitchen,
PDI,
Pentaho,
PME,
PRD,
PSW,
Ralph Kimball,
Spoon,
tableros,
WAQR
lunes, 21 de mayo de 2012
Comparación de Plataformas de BI Open Source
En el siguiente paper de Matteo Golfarelli, de título "Open Source BI Platforms: a Functional andArchitectural Comparison" existe un comparación bien interesante de las plataformas de BI Open Source, se compara Pentaho, Jaspersoft y SpagoBI
Además, Gartner también tiene un paper de título "Who's Who in Open-Source Business Intelligence" que analiza el futuro de las plataformas OSBI (Open Source Business Intelligence)
Espero que los lean y publiquen sus comentarios en éste post.
Además, Gartner también tiene un paper de título "Who's Who in Open-Source Business Intelligence" que analiza el futuro de las plataformas OSBI (Open Source Business Intelligence)
Espero que los lean y publiquen sus comentarios en éste post.
Labels:
BI,
BI Platform,
comparativa,
Gartner,
Jaspersoft,
Open Source Business Intelligence,
OSBI,
paper,
Pentaho,
Plataforma,
SpagoBI
viernes, 18 de mayo de 2012
Cuadrante mágico de Gartner para plataformas de Inteligencia de Negocios
En ésta publicación muestro el posicionamiento de las plataformas de Inteligencia de Negocios (BI) al mes de Febrero 2012.
Entre los líderes del mercado se encuentran: Oracle, MicroStrategy, IBM, SAP BusinessObjects, SAS, QlikTech
IBM se encuentra entre los líderes con más visión de mercado, seguido de SAP BusinessObjects. Oracle se sitúa entre los líderes que más habilidad tienen para ejecutar su visión de mercado.
Pentaho y Jaspersoft se encuentran como alternativas con una visión de mercado y habilidad de ejecución en crecimiento.
Entre los líderes del mercado se encuentran: Oracle, MicroStrategy, IBM, SAP BusinessObjects, SAS, QlikTech
IBM se encuentra entre los líderes con más visión de mercado, seguido de SAP BusinessObjects. Oracle se sitúa entre los líderes que más habilidad tienen para ejecutar su visión de mercado.
Pentaho y Jaspersoft se encuentran como alternativas con una visión de mercado y habilidad de ejecución en crecimiento.
Labels:
BI,
BI Platform,
Business Intelligence,
BusinessObjects,
cuadrante mágico,
Gartner,
IBM,
Jaspersoft,
Magic Quadrant,
Oracle,
Pentaho,
Plataforma,
SAP BusinessObjects
Inteligencia de Negocios (Business Intelligence)
La Inteligencia de Negocios (Business Intelligence - BI) abarca un conjunto de actividades de análisis que ayudan a comprender la situación pasada, presente y futura de una compañía, apoyándola en su proceso de toma de decisiones.
La principal fuente de datos para realizar las actividades de análisis de BI es el Data Warehouse (DWH)
Las principales actividades de análisis de BI se resumen en:
El reporteo permite realizar actividades de análisis descriptivo a través del análisis del pasado y presente de la compañía. Los tableros y reportes permiten responder a las preguntas ¿qué sucedió?, ¿qué está sucediendo? y ¿por qué? apoyando al proceso de toma de decisiones del negocio. El reporteo permite armar rompecabezas que responden a las preguntas del negocio.
La minería de datos toma como fuente el Data Warehouse (DWH) para realizar actividades de análisis predictivo permitiendo a una compañía predecir su futuro respondiendo a la pregunta del negocio ¿qué sucederá? La minería de datos permite conocer patrones de comportamiento y resolver misterios de una compañía. Por ejemplo detección de fraudes, perfiles de clientes para actividades de cross-selling y up-selling, tasas para tarifación de objetos asegurados, etc.
La principal fuente de datos para realizar las actividades de análisis de BI es el Data Warehouse (DWH)
Las principales actividades de análisis de BI se resumen en:
- Reporteo
- Análisis OLAP
- Minería de Datos (Data Mining)
El reporteo permite realizar actividades de análisis descriptivo a través del análisis del pasado y presente de la compañía. Los tableros y reportes permiten responder a las preguntas ¿qué sucedió?, ¿qué está sucediendo? y ¿por qué? apoyando al proceso de toma de decisiones del negocio. El reporteo permite armar rompecabezas que responden a las preguntas del negocio.
La minería de datos toma como fuente el Data Warehouse (DWH) para realizar actividades de análisis predictivo permitiendo a una compañía predecir su futuro respondiendo a la pregunta del negocio ¿qué sucederá? La minería de datos permite conocer patrones de comportamiento y resolver misterios de una compañía. Por ejemplo detección de fraudes, perfiles de clientes para actividades de cross-selling y up-selling, tasas para tarifación de objetos asegurados, etc.
Labels:
análisis,
análisis descriptivo,
análisis predictivo,
BI,
Business Intelligence,
cubos,
Data Mining,
Data Warehouse,
DWH,
Ecuador,
Inteligencia de Negocios,
minería de datos,
OLAP,
OLTP,
reportes,
tableros
Data Warehousing
El Data Warehousing consiste en el proceso de creación, recuperación y consolidación de datos de los sistemas fuente (bases de datos relacionales, archivos planos, Excel, Access, sistemas CRM, sistemas ERP, etc.) hacia un modelo de datos optimizado para actividades de análisis conocido como Data Warehouse (DWH).
El DWH se constituye en la principal fuente para las actividades de Inteligencia de Negocios (BI).
Las actividades del Data Warehousing conforman un conjunto de procesos interrelacionados que se conoce como Sistema de Data Warehouse / BI (DWH/BI).
El sistema de DWH/BI se encarga de obtener los datos de entrada, procesarlos a través de actividades de extracción, transformación y carga (ETL, Extract-Transform-Load) y cargarlos en el DWH con el objetivo que los usuarios del negocio tengan información para realizar actividades de BI.
Como todo sistema, el sistema DWH/BI requiere de una arquitectura, ésta arquitectura se la conoce como Arquitectura de Flujo de Datos.
Haciendo una analogía con los sistemas de software, éstos poseen arquitecturas monolíticas (stand-alone), cliente-servidor, 3 capas, N capas, etc. las cuáles definen ¿cómo? serán construídos los sistemas. La arquitectura de flujo de datos del sistema DWH/BI define ¿cómo? los datos serán transportados desde su fuente hacia su destino, el DWH.
La arquitectura de flujo de datos que se defina para el sistema de DWH/BI tiene una relación directa con los paradigmas propuestos por Bill Inmon y Ralph Kimball.
Así como los sistemas de software son construídos sobre plataformas tecnológicas como por ejemplo la plataforma Java, un sistema de DWH/BI es construído sobre una plataforma tecnológica conocida como Plataforma de Inteligencia de Negocios (BI Platform).
Entre las plataformas más conocidas están: Pentaho, SAP BusinessObjects, IBM Cognos, Oracle Hyperion, MicroStrategy
El DWH se constituye en la principal fuente para las actividades de Inteligencia de Negocios (BI).
Las actividades del Data Warehousing conforman un conjunto de procesos interrelacionados que se conoce como Sistema de Data Warehouse / BI (DWH/BI).
El sistema de DWH/BI se encarga de obtener los datos de entrada, procesarlos a través de actividades de extracción, transformación y carga (ETL, Extract-Transform-Load) y cargarlos en el DWH con el objetivo que los usuarios del negocio tengan información para realizar actividades de BI.
Como todo sistema, el sistema DWH/BI requiere de una arquitectura, ésta arquitectura se la conoce como Arquitectura de Flujo de Datos.
Haciendo una analogía con los sistemas de software, éstos poseen arquitecturas monolíticas (stand-alone), cliente-servidor, 3 capas, N capas, etc. las cuáles definen ¿cómo? serán construídos los sistemas. La arquitectura de flujo de datos del sistema DWH/BI define ¿cómo? los datos serán transportados desde su fuente hacia su destino, el DWH.
La arquitectura de flujo de datos que se defina para el sistema de DWH/BI tiene una relación directa con los paradigmas propuestos por Bill Inmon y Ralph Kimball.
Así como los sistemas de software son construídos sobre plataformas tecnológicas como por ejemplo la plataforma Java, un sistema de DWH/BI es construído sobre una plataforma tecnológica conocida como Plataforma de Inteligencia de Negocios (BI Platform).
Entre las plataformas más conocidas están: Pentaho, SAP BusinessObjects, IBM Cognos, Oracle Hyperion, MicroStrategy
Labels:
Arquitectura de Flujo de Datos,
BI,
BI Platform,
Bill Inmon,
BusinessObjects,
Data Warehouse,
Data Warehousing,
DWH/BI,
Ecuador,
ETL,
Java,
Pentaho,
Plataforma,
Ralph Kimball,
sistema
Suscribirse a:
Entradas (Atom)






