Guía para la evaluación de plataformas de Business Intelligence

Guía para la evaluación de
plataformas de Business Intelligence
Sistema de Información Social
Octubre de 2012
Historial de Creación
Fecha
31/10/2012
Versión
1.0
Descripción
Guía para la evaluación de
plataformas de Business
Intelligence
Autor
Lorena Moreira
Historial de Revisión
Participante
Unidad o Dependencia
Lic. Stuardo Herrera
Administrador, Sistema Información
Social
Karina Siguil
Programadora, Sistema Información
Social
Rodrigo Arias
Asesor, Sistema Información Social
Firma
Tabla de contenidos
I.
Introducción ...................................................................... 1
II.
Objetivos ............................................................................ 2
III.
Conceptos generales ....................................................... 3
IV. Metodología de evaluación ............................................ 5
V.
Criterios de evaluación .................................................... 7
A.
Criterios de accesibilidad ...............................................................7
B.
Criterios de apoyo a la toma de decisiones ................................9
C.
Criterios de usabilidad ................................................................. 11
Guía para la evaluación de
plataformas de Business Intelligence
I. Introducción
El Sistema de Información Social (SIS) nace como una aplicación de conceptos y
herramientas de inteligencia de negocios (Business Intelligence, o BI) en los sistemas de
información del Ministerio de Educación (2006). En años posteriores el Ministerio de
Salud integra este mismo tipo de herramientas para el análisis de información del
Sistema de Información Gerencial de Salud (SIGSA).
A partir del año 2012 el Proyecto Políticas en Salud y Educación (HEPP, por sus siglas en
inglés), brinda asistencia técnica para el desarrollo del Sistema de Información Social,
en el cual se integre información de los ministerios de Educación, Salud y Desarrollo
Social. En el marco de estas actividades ha apoyado para el fortalecimiento de los
sistemas de inteligencia de información existentes, los cuales funcionan bajo las
herramientas de SAP Business Objects (SAP-BO).
Sin embargo, haciendo eco a preocupaciones de los ministerios sobre la capacidad
de los mismos a asumir la sostenibilidad de la solución existente, dados los cambios en
políticas de licenciamiento de SAP-BO, el proyecto ha asumido el liderazgo en la
investigación de alternativas viables a la plataforma existente.
El presente documento detalla los criterios a emplear en la evaluación de plataformas
alternas de BI, a manera de apoyar una toma de decisiones informada por parte de
los ministerios en cuanto al futuro de sus sistemas de inteligencia de información.
Guía para la evaluación de plataformas de Business Intelligence
II. Objetivos

Establecer los requerimientos técnicos y funcionales de una plataforma de
inteligencia de información para uso por las instituciones participantes en el
Sistema de Información Social.

Estandarizar los criterios para la evaluación de plataformas de inteligencia de
información.

Establecer la metodología a emplear en la evaluación.

Detallar los criterios de evaluación y su forma de medición.
Guía para la evaluación de plataformas de Business Intelligence
III.
Conceptos generales
Se entiende por inteligencia de información o inteligencia de negocios (BI) al sistema
de una organización que usa los datos a un nivel analítico para facilitar la toma de
decisiones. El sistema se construye a partir de datos extraídos de los sistemas de
producción la cual es relacionada con información del contexto de la organización.
Un sistema de BI abarca el análisis de datos históricos para comprender el estado
actual de la organización, a la vez que permite anticipar comportamientos o
acontecimientos futuros a través de modelos proyectivos.
Mediante herramientas y técnica de extracción, transformación y carga (ETL, por sus
siglas en inglés), se obtienen datos de diversas fuentes, pudiendo estos existir bajo
plataformas y formatos distintos. Los procesos de ETL permitir depurar, filtrar y preparar
los datos a manera que sean homogéneos y puedan ser trasladados al almacén de
datos del sistema de BI.
Son características propias de un sistema de BI:

Accesibilidad. Las herramientas y técnicas deben garantizar el acceso de los
usuarios a los datos, con transparencia en cuanto al origen de los mismos.

Apoyo en la toma de decisiones. Más allá de proveer acceso a los datos, el
sistema de BI debe proporcionar las herramientas que permitan el análisis de los
mismos. Las herramientas deben facilitar la selección, filtrado y manipulación de
los datos, de acuerdo a las necesidades de los usuarios.

Orientado al usuario final. Un sistema efectivo de BI debe generar
independencia entre el usuario final y los equipos técnicos de tecnología. El uso
de las herramientas deben estar al alcance de los conocimientos propios de los
usuarios.
Un sistema de BI posee un ciclo de vida a través del cual los datos de las múltiples
fuentes de datos quedan disponibles para el análisis por el usuario final. El siguiente
diagrama sintetiza este ciclo de vida.
Guía para la evaluación de plataformas de Business Intelligence
Las características propias de un sistema de BI y las acciones relacionadas con el ciclo
de vida de estos sistemas serán las bases para la evaluación de distintas alternativas.
En la siguiente sección se detallas los criterios de evaluación a emplear.
Guía para la evaluación de plataformas de Business Intelligence
IV. Metodología de evaluación
La evaluación a desarrollar sobre las plataformas de BI es una evaluación basada en
criterios. Estas son evaluaciones cualitativas sobre la calidad de la solución. En este
caso se evalúa en relación a aspectos de accesibilidad, apoyo en la toma de
decisiones y usabilidad (con énfasis en orientación al usuario final).
La evaluación será desarrollada por un equipo multi-disciplinario conformado por
técnicos de los Ministerios de Desarrollo Social, Educación y Salud y del Proyecto HEPP.
Cada técnico hará su propia evaluación independiente y documentará sus resultados
por dos vías:

Un record anecdótico en el blog www.hepp-gt.org/evaluacion.

Un registro usando las fichas técnicas de evaluación contenidas en este
documento.
El objetivo que cada técnico trabaje de manera independiente es para poder medir
la facilidad en aprendizaje de las herramientas evaluadas y la calidad de los recursos
que el fabricante de la solución pone a disposición para favorecer los aprendizajes.
Se entiende que, en función de su perfil y experiencia, no todas las secciones serán
completadas por todos los técnicos. Algunas secciones están dirigidas a
Administradores de Sistemas, otras a Desarrolladores y otras a usuarios finales. Queda a
criterio de cada evaluador cuáles secciones desea completar.
De ser requerido se realizarán reuniones de trabajo con todo el equipo, para revisar
avances y retos en la evaluación.
Al finalizar las evaluaciones individuales se sistematizarán los resultados, a manera de
generar un informe final de evaluación.
Las herramientas de cada una de las soluciones a evaluar estarán instaladas en el
servidor del Proyecto HEPP (107.21.223.125). Cada evaluador recibirá credenciales que
le permitirán interactuar con las herramientas y generar sus propios resultados.
Para estandarizar la experiencia de evaluación cada evaluador deberá simular el
ciclo de desarrollo de un sistema de BI, incluyendo las siguientes operaciones:
Guía para la evaluación de plataformas de Business Intelligence

Creación de universo.

Generación de ETL para carga de datos en el universo.

Desarrollo de un reporte de consulta de datos.

Desarrollo de un dashboard que presente datos.
Cualquier evaluador que requiera de apoyo para la provisión de un set de datos,
código para ETL o algo similar, podrá dirigir su solicitud a Karina Siguil (ksiguil@hppgt.org) o a Stuardo Herrera (sherrera@hpp-gt.org).
Dudas sobre los criterios de evaluación o cualquier requerimiento de soporte pueden
publicarse en el blog www.hepp-gt.org/evaluacion/soporte.
Guía para la evaluación de plataformas de Business Intelligence
V. Criterios de evaluación
A continuación se presentan los criterios incluidos en la evaluación de cada una de las
áreas de trabajo.
a. Criterios de accesibilidad
i. Funcionalidad general
1. Grado en que sirve su propósito.
2. Incluye las funciones básicas de BI.
a. Administración de universos.
b. Desarrollo de ETL.
c. Desarrollo de reportes de datos.
d. Desarrollo de dashboards.
3. Incluye funciones adicionales de BI.
a. Integración de mapeos.
b. Reportes ad-hoc por usuarios finales.
c. Desarrollo de productos de información para
plataformas móviles.
d. Integración con MS-Office.
ii. Herramientas de autoría (Authoring Tools).
1. Ambiente común para desarrollo y autoría.
2. Navegación entre herramientas con capacidad para
modificar y extender contenido entre las herramientas.
3. Uso estandarizado de íconos, menús y comandos.
4. Soporte para dispositivos móviles.
5. Soporte para publicación en portales.
iii. Instalación
1. Complejidad de instalación de la plataforma.
2. Complejidad de configuración de la plataforma.
3. Documentación de apoyo a la instalación.
4. Acceso a los instaladores.
5. Parches o actualizaciones adicionales a los instaladores
disponibles.
6. Procedimientos para verificación de la instalación.
7. Organización de la instalación.
Guía para la evaluación de plataformas de Business Intelligence
iv.
v.
vi.
vii.
viii.
ix.
8. Flexibilidad en instalación.
9. Disponibilidad de des-instaladores.
Aprendizaje
1. De funcionalidad básica.
2. De funcionalidad adicional.
3. Disponibilidad de guía para inicio (Getting Started Guide).
4. Disponibilidad de recursos de aprendizaje.
5. Comunidad de apoyo
Portabilidad
1. Plataformas que soportan la solución.
2. Navegadores que soportan la solución.
Documentación
1. Disponibilidad de documentación disponible.
2. Calidad de la documentación disponible.
a. Claridad.
b. Completitud.
c. Exactitud.
d. Relevancia.
3. Construcción.
a. División en secciones.
b. Herramienta de búsquedas.
c. Indicación de recursos adicionales.
d. Inclusión de instrucciones, paso por paso.
e. Inclusión de pantallas de ejemplo.
Soporte
1. Formas de soporte disponibles.
2. Sitio disponible para soporte.
a. Facilidad de instrucciones para recibir soporte.
b. Mecanismo de búsqueda en sitio de soporte.
c. Mapa del sitio de soporte o índice de búsqueda.
d. Lista de foros disponibles.
3. Disponibilidad de sistema de tickets.
Interoperabilidad.
Gestión de universos.
1. Capacidad de conexión a múltiples fuentes de datos.
2. Compatibilidad con bases de datos relacionales.
Guía para la evaluación de plataformas de Business Intelligence
3. Capacidad de importación de datos de archivos planos (Excel,
SPSS).
4. Capacidad de generación de métricas.
5. Gestión de seguridad por roles y permisos.
6. Limitaciones para creación de objetos en un universo.
7. Capacidad de manejo de múltiples contextos.
8. Capacidad para creación de listas de valores, consultas,
parámetros y rutas de navegación.
9. Facilidades para documentación.
10. Facilidades para publicación.
x. ETL
1. Capacidad para automatizar procesos de transformación de
datos en lotes (Jobs).
2. Capacidad de informe de actividades (Logs).
3. Facilidades para programación de ejecución.
4. Limitaciones en volúmenes de información a gestionar.
5. Vinculación con la herramienta de gestión de universos.
b. Criterios de apoyo en la toma de decisiones
i. Reportaje y análisis.
1. Facilidades para despliegue a usuarios.
a. Administración centralizada.
b. Suscripciones.
c. Explosión (bursting).
d. Publicación en portales.
e. Acceso fuera de línea.
f. Herramienta de búsqueda.
2. Herramientas de administración.
3. Funcionalidad para generación de reportes.
a. Acceso a múltiples fuentes de datos.
b. Interface gráfico.
c. Parametrizables.
d. Capacidad de profundización (drilling).
e. Agregación de métricas.
Guía para la evaluación de plataformas de Business Intelligence
f. Exportación de datos.
g. Soporte a inserción de reportes (embedding).
h. Alertas y notificaciones.
i. Administración de versiones.
j. Facilidades para documentación.
4. Herramientas para usuario final (no requiere de apoyo de TI).
a. Asistentes para reportes.
b. Filtración de datos.
c. Ordenamiento de datos.
d. Capacidad de compartir reporte auto-generado.
e. Exportación de datos.
ii. Cuadros de mando (dashboards).
1. Presentación del dashboard.
a. Distribución de componentes definido por el usuario.
b. Capacidad de ajustar tamaño de componentes.
c. Uso de múltiples fuentes de datos en un mismo
dashboard.
2. Diseño del dashboard.
a. Disponibilidad de plantillas pre-definidas.
b. Modo de diseño WYSIWYG.
c. Modo de estructura para diseño sin datos completos.
d. Límite de registros.
e. Capacidad de inserción (embedding).
f. Capacidad de cálculos internos.
g. Elementos reusables en distintos dashboards.
h. Ambiente de diseño web.
i. Facilidad de diseño y mantenimiento.
j. Facilidad para documentación.
3. Presentación del dashboard.
a. Componentes para gráficas.
b. Componentes condicionales.
c. Componentes de selección.
d. Mapas.
4. Alertas.
a. Alertas visuales por valores.
b. Notificaciones por correo electrónico.
c. Definidas por el nivel desarrollador (TI).
Guía para la evaluación de plataformas de Business Intelligence
d. Definidas por el usuario final.
5. Análisis.
a. Tendencias en el tiempo.
b. Análisis comparativo.
c. Rankings.
d. Reportaje asimétrico.
e. Análisis predictivo (what-if).
6. Interactividad.
a. Filtros para controlar elementos desplegados.
b. Desagregación (Drill-down).
c. Control deslizante para selección de valores.
d. Animaciones flash.
7. Despliegue.
a. Impresión de todo el dashboard.
b. Exportación del dashboard.
c. Impresión de una parte/widget.
d. Acceso fuera de línea.
e. Integración con MS-Office.
f. Herramientas de colaboración.
c. Criterios de usabilidad
i. Criterios heurísticos de usabilidad1.
1. Visibilidad del status del sistema.
2. Congruencia entre el sistema y el mundo real.
3. Control y libertad del usuario en la navegación.
4. Uso consistente de estándares.
5. Prevención de errores.
6. Reconocimiento, no memoria.
7. Flexibilidad y eficiencia de uso.
8. Estética y diseño minimalista.
9. Ayuda en caso de error.
10. Ayuda y documentación.
1
Nielsen, Jakob. Ten usability heuristics en http://www.useit.com/papers/heuristic/heuristic_list.html.
Guía para la evaluación de plataformas de Business Intelligence
Adicional a lo acá indicado sobre los criterios para la evaluación de la
usabilidad, será importante que los técnicos evaluadores registren en el blog de
la evaluación (www.hpp-gt.org/evaluacion) sus apreciaciones anecdóticas
sobre la experiencia.
Guía para la evaluación de plataformas de Business Intelligence