Diagnóstico y metodología BI

Caso colombiano

2ndo foro Business Intelligence Universidad de los Andes

Bogotá, Agosto 23 de 2012

Felipe Grajales Fonnegra

Agenda

​

1. Buena práctica TI Gobierno.
2. Conceptos bodegas de datos.
3. Iniciar un proyecto de BI ?
4. Caso de éxito SDA: Alcance y diagnóstico.
5. Caso de éxito SDA: Conclusiones.
6. Nuestros clientes.
7. Referencias y preguntas.

​

1.1 Buena práctica TI Gobierno

​

​

1.2 Buena práctica TI Gobierno

​

​

1.3 Buena práctica TI Gobierno

​

​

2.1 Conceptos bodegas de datos.

• Inteligencia de negocios (BI): Es un proceso para descubrir, modelar, procesar y cargar datos en una bodega de datos, sobre la cual se implante un sistema que le permita a los individuos, equipos, áreas, etc. de una organización contar con información completa y oportuna para que entiendan, analicen, colaboren y actúen antes de tomar decisiones.
• Bodega de datos: Es un repositorio alimentado mediante un proceso de ETL por fuentes de información seleccionadas al interior de una organización. Muchas bodegas de datos se utilizan para hacer BI, otras simplemente como mecanismo de almacenamiento.
• ETL: Extraer - Transformar - Cargar.
• Datamart: Es un subconjunto de la capa de acceso a una bodega de datos que esta dirigido a un grupo de usuarios particular y ofrece consultas específicas y resumidas de gran utilidad.
• Indicador: Es una variable para medir puntos claves de rendimiento (KPI) que van cambiando y mostrando la distancia a un objetivo conforme se alimenta la bodega de datos.
• Dimensiones: Son aquellos datos que nos permiten filtrar, agrupar o seleccionar información en el Datamart.

​

2.2 Conceptos bodegas de datos.

Proceso metodología Ralph Kimball:

2.3 Conceptos bodegas de datos.

Fases Ralph Kimball:

​

​

​

3.1 Iniciar un proyecto BI ?

Justificación�

• Interés en manejar grandes volúmenes de datos a través de sistemas tipo DSS ( Sistemas de Soporte a la toma de Decisiones).
• Muchas fuentes de información.
• Información dispersa y no oportuna con una alta probabilidad de inconsistencias corregibles.
• Altos volúmenes de información no estructurada que requieren análisis.
• Dificultad en acceso a la información histórica.
• Falta de flexibilidad en la manipulación de información.

​

​

​

3.2 Iniciar un proyecto BI ?

En que consiste BI ?�

​

Identificando las fuentes de datos relevantes a la toma de decisiones, se diseña un proceso para extraer y almacenar estos datos en un formato que se asimile a las dimensiones, los indicadores y los data marts de la bodega de datos previamente definida, posteriormente se le entregan a los usuarios los reportes que se extraen de la bodega de datos según las necesidades de cada área de la organización.

​

​

​

​

3.3 Iniciar un proyecto BI ?

Características de las bodegas de datos

​

Son bases de datos caracterizadas por ser:

Integradas: porque consolidan y centralizan datos derivados de toda la organización.

�Orientadas a un tema particular: ya que los datos que contienen, están organizados por temas, totalizados y optimizados para dar respuestas a preguntas de diversas áreas funcionales de la organización.

Incrementales en el tiempo: porque contrario a las Bases de Datos Operacionales que se centran en los datos actuales, las Bodegas de Datos representan el flujo de información a través del tiempo.

No volátiles: Una vez que los datos son almacenados, estos nunca son removidos pues representan la historia de la organización.

​

​

3.4 Iniciar un proyecto BI ?

Fuentes de información

​

​

Toda fuente de información (Archivos planos, excel, bases de datos locales, sistemas de información) que sea cargada a la bodega de datos tiene que ser de calidad, normalizada desde la fuente, y que forme parte activa para ser analizada, ya que los usuarios podrán visualizar esta información tan pronto se cargue.

​

3.5 Iniciar un proyecto BI ?

Ejemplo arquitectura BI

​

​

​

​

3.6 Iniciar un proyecto BI ?

Beneficios�

• Indicadores de resultados (Conocer el desempeño de las áreas frente a los objetivos y planes corporativos e institucionales).
• Descongestionar los módulos de reportes y consultas de los sistemas.
• Facilitar las labores de análisis, verificación y seguimiento de las operaciones.
• En el mediano plazo, consolidar información.
• Centralización de la Información.
• Reducir la duplicidad en la información.
• Disminuir la operatividad en la búsqueda, acceso y procesamiento de la información.
• Disminuir el tránsito de la información a través de medios alternos como el correo electrónico y el teléfono.
• Proveer mayor capacidad de almacenamiento histórico.
• Estandarizar el acceso y el almacenamiento de la información.
• Ofrecer mayor seguridad, confiabilidad y confidencialidad de la información.
• Implementar esquemas confiables de contingencia y respaldo de la información.

​

​

​

3.7 Iniciar un proyecto BI ?

Preguntas frecuentes�

1) ¿Qué información utiliza la Bodega de Datos?�Archivos, bases de datos, web services, información ya digitada, etc.� �2) ¿Quién alimenta la Bodega de Datos?�La bodega de datos se alimenta automáticamente de los demás sistemas de información, por ejemplo del sistema de gestión documental.�Y los usuarios no deben ni tienen porqué alimentarla.��El insumo de la Bodega de Datos son los archivos puede ser archivos de excel, sistema misional, y demás sistemas de información, siempre y cuando los datos contenidos en éstos documentos sea ordenada, estandarizada y se pueda acceder a ésta información.

�3) ¿Tengo que registrar información en la Bodega de Datos?�No. La bodega de datos es una herramienta que automáticamente se alimenta de las diferentes fuentes de información.

​

​

​

3.8 Iniciar un proyecto BI ?

Ejemplo vista web bodega de datos�

​

​

​

​

3.9 Iniciar un proyecto BI ?

Una herramienta conocida en el mercado: Pentaho �El acceso a las funcionalidades es a través de un clásico menú a la izquierda, en donde los usuarios pueden realizar las consultas a los DataMarts.

​

​

3.10 Iniciar un proyecto BI ?

Gráficos Pentaho�

​

​

​

​

4.1 Caso de éxito SDA: �Alcance y diagnóstico

ALCANCE�Prestar a la Secretaría Distrital de Ambiente de Bogotá (SDA) los servicios de consultoría para la identificación, análisis y diagnóstico de la situación actual de fuentes de datos relevantes para el almacenamiento, estandarización, usabilidad y procesamiento de la información necesaria para diseñar e implementar los DataMarts para 3 áreas de la entidad.

​

​

4.2 Caso de éxito SDA: �Alcance y diagnóstico

IDENTIFICACIÓN DE LAS FUENTES DE DATOS

​

​

1.1 Estudiar y comprender la arquitectura de IT de la SDA.

1.2 Realizar el inventario de los sistemas transaccionales existentes.

1.3 Realizar el inventario de los sistemas de análisis existentes.

1.4 Investigar las fuentes potenciales para la Bodega de Datos.

1.5 Explorar e investigar fuentes externas a la SDA.

1.6 Explorar los temas de calidad de datos en las Fuentes de Información.

1.7 Entender la administración de cambios de los Sistemas de Información de la SDA.

​

​

4.3 Caso de éxito SDA: �Alcance y diagnóstico

DISEÑO DE LA BODEGA DE DATOS

​

2.1 Realizar Ingeniería reversa a los modelos entidad relación de las fuentes de información (Si aplica).

2.2 Diseño de la arquitectura del Sistema de Bodega de Datos.

2.3 Seleccionar la herramienta de modelado de datos.

2.4 Seleccionar el motor de base de datos.

2.5 Seleccionar el motor ETL.

2.6 Seleccionar la herramienta para el modelamiento de Cubos.

2.7 Establecer los estándares de nombres.

2.8 Determinar la granularidad de cada uno de los Cubos.

2.9 Realizar el modelamiento de los datos para cada uno de los Cubos.

2.10 Validar el modelo de datos de la bodega de datos.

​

​

4.4 Caso de éxito SDA: �Alcance y diagnóstico

CARGAR LA BODEGA DE DATOS�En el ambiente de pruebas, por cada Data Mart:

4.1 Definir el plan de carga de la bodega de datos: Estimar y/o calcular el tiempo de carga, preparar la infraestructura técnica, preparar el software y los datos, desarrollar el plan de marcha atrás como contingencia.

4.2 Definir el proceso de limpieza de datos.

4.3 Realizar la carga inicial.

4.4 Validar los datos cargados.

�DEFINICIÓN DE LOS DATAMARTS

En el ambiente de pruebas, por cada Data Mart:

​

5.1 Verificar el funcionamiento entre las dimensiones y la información generada.

5.2 Pruebas funcionales.

5.3 Pruebas de desempeño.

5.4 Afinamiento de la bodega de datos.

​

4.5 Caso de éxito SDA: �Alcance y diagnóstico

SITUACIÓN ACTUAL

​

Actualmente, el Observatorio Ambiental, le informa a la ciudadanía acerca de indicadores ambientales en temas relacionados a la calidad del aire, calidad del agua, a la salud, flora, fauna, suelo, ecosistemas, etc. y es la herramienta principal hacia la ciudadanía y a la entidad para realizar el seguimiento a los temas ambientales de interés general.

​

La problemática del Observatorio Ambiental es que no cuenta con una fuente de información controlada, debido a que períodicamente se le solicita a cada una de las áreas los datos correspondientes, para ir alimentando la base de datos del Observatorio, es decir, se basa en reportes de los técnicos o delegados de las áreas y ésta situación puede generar errores en la digitación de la información y a partir de ésta información se realiza cada uno de los cálculos por indicador. Lo anterior pone de manifiesto el re-proceso que se tiene que hacer de parte de la SDA, porque se realiza un proceso múltiple en el registro de la información de cada uno de los funcionarios que intervienen en los trámites de mediciones, operativos y captura de la información.

​

​

4.6 Caso de éxito SDA: �Alcance y diagnóstico

PROBLEMATICA

4.6 Caso de éxito SDA: �Alcance y diagnóstico

PROBLEMATICA

​

A nivel global, y como resultado de las entrevistas con las áreas y el levantamiento de información realizado#, el mayor problema encontrado con la implementación del proyecto Bodega de Datos de la Secretaría Distrital de Ambiente de Bogotá se encuentra relacionado con que la información manejada por las áreas no tiene un estándar normalizado en el registro de la información, debido a que a lo largo de la existencia de la entidad, ha existido una alta rotación del personal contratista, lo que origina perdida de la memoria histórica de la entidad, y adicionalmente a esta situación, la información registrada por parte de los usuarios (Funcionarios y/o Contratistas), no ha tenido un registro estándar continúo de la información, porque en muchos casos se evidenció que dependiendo del usuario encargado del registro de la información, podría o no tener un formato genérico y ordenado en la digitación de la información consignada en los sistemas de información y/o hojas de excel.

​

​

4.7 Caso de éxito SDA: �Alcance y diagnóstico

DIAGNÓSTICO POR DEPENDENCIA

​

• 4 Factores evaluados�1. Fuentes de Información�2. Necesidades de Información�3. Estandarización de la Información�4. Fiabilidad de la información (Calidad de los datos)�
• Ponderración Evaluación�La ponderación se distribuyó de la siguiente manera:
• A las fuentes de información se le asignó el peso de 30% del total de la evaluación.
• A las necesidades de información se le asignó el peso de 20% del total de la evaluación.
• A las estandarización de información se le asignó el peso de 20% del total de la evaluación.
• A la fiabilidad de la información se le asignó el peso de 30% del total de la evaluación.

​

Acorde a la problemática presentada para la distribución de la ponderación, se le asignó un peso mayor a las fuentes de información y a la fiabilidad de la información, porque son las dos características que mayor impacto tiene en el proyecto de implementación de la Bodega de Datos, debido a las características de la SDA analizadas en la problemática.

​

4.8 Caso de éxito SDA: �Alcance y diagnóstico

LEVANTAMIENTO DE INFORMACIÓN

​

4.9 Caso de éxito SDA: �Alcance y diagnóstico

LEVANTAMIENTO DE INFORMACIÓN - CONVENCIONES��

​

​

4.10 Caso de éxito SDA: �Alcance y diagnóstico

LEVANTAMIENTO DE INFORMACION

�

4.11 Caso de éxito SDA: �Alcance y diagnóstico

LEVANTAMIENTO DE INFORMACION

�

4.12 Caso de éxito SDA: �Alcance y diagnóstico

LEVANTAMIENTO DE INFORMACION

�

4.13 Caso de éxito SDA: �Alcance y diagnóstico

LEVANTAMIENTO DE INFORMACION

�

4.14 Caso de éxito SDA: �Alcance y diagnóstico

LEVANTAMIENTO DE INFORMACION

�

4.15 Caso de éxito SDA: �Alcance y diagnóstico

Data Mart: Subdirección Financiera

​

Se propone el data mart para la subdirección financiera acorde a la evaluación realizada para apoyar las tres temáticas de ésta área: Contabilidad, Presupuesto y Pagos.

​

El alcance de éste data mart será para el apoyo en las tareas de reporte de la información de la entidad hacia las entidades de control, facilitando la generación de los informes matriciales que se le envían a la Secretaría Distrital de Hacienda y la Contraloría de Bogotá. Es decir, que el resultado final para el alcance propuesto es tener la información disponible dinámica para la consulta y cruce de la información de la subdirección, y 2 vistas: La primera que representa la matriz reportada a la Secretaría de Hacienda, y la segunda que representa la matriz reportada a la Contraloría de Bogotá, que son vistas especializadas para la generación de los informes mencionados.

​

​

�

4.16 Caso de éxito SDA: �Alcance y diagnóstico

Data Mart: Subdirección de Calidad del Aire, Visual y Auditiva

​

Se propone el data mart para la subdirección de calidad del aire, visual y auditiva, acorde a la evaluación realizada para apoyar tres temáticas fundamentales de ésta área: Publicidad Exterior, Fuentes Fijas y Fuentes Móviles.

​

El alcance de éste data mart será para el apoyo en el análisis de la información y responder las preguntas frecuentes que se le realizan a ésta subdirección, como lo son:

​

¿Cuántas vallas ilegales hay? ¿Cuántos operativos se han realizado? y que sirva de fuente de información para el Obsevatorio Ambiental (OAB), en temáticas como: Las caracterizaciones y los indicadores de la operatividad. En éste punto cabe resaltar que la bodega de datos servirá a futuro de fuente para que el Observatorio Ambiental se alimente de la información que se vaya consolidando en la bodega de datos con el fin que el Observatorio Ambiental realice el cálculo de los indicadores consultando la información de la bodega de datos. Si bien éste es el resultado esperado a futuro, no pertenece al alcance del presente proyecto, ya que ésta labor dependerá del mantenimiento y soporte técnico del OAB.

​

​

�

4.17 Caso de éxito SDA: �Alcance y diagnóstico

Data Mart: Subdirección Recursos Hídrico y del Suelo

​

Se propone el data mart para la subdirección del Recurso Hídrico y del Suelo, acorde a la evaluación realizada para apoyar las dos temáticas de ésta área: Recurso Hídrico y Suelos.

​

El alcance de éste data mart será para el apoyo en el análisis de la información histórica que requiere el manejo de las aguas subterráneas, porque para un análisis de esta problemática se requiere un histórico de 10 años como base para realizar los conceptos técnicos. Igualmente en el tema de suelos, se dispondrá de la vista dinámica del data mart para el análisis de la información.

​

​

�

5.1 Caso de éxito SDA: �Conclusiones

1. La necesidad de la SDA de contar con una herramienta de consolidación, unificación y composición de la información de las áreas de la entidad para el acceso oportuno de la información, optimización en la generación de los informes internos, entre áreas, de gestión, de cara al ciudadano y hacia las entidades de control. La bodega de datos apoya a mitigar ésta problemática, brindando una herramienta institucional para el análisis de la información de la entidad y la toma de decisiones.�
2. El aspecto más relevante y fundamental de la implementación de la bodega de datos es que apoya la toma de decisiones en la SDA, al contar con un repositorio consolidado de información de las áreas de la entidad, lo que permite extraer, consolidar, componer y analizar la información de forma oportuna, beneficiando a las áreas en la generación de indicadores, informes de gestión y sobre todo a la calidad de la información, como un repositorio único, consolidado, de solo consulta, histórico, estandarizado y donde se resguardará el legado institucional.�
3. Los data marts pre-seleccionados son el punto inicial de la bodega de datos que apoyan en los procesos de flujo de información al interior de cada área con sus temáticas de la SDA y entre las áreas de la entidad.�
4. En la construcción de la bodega de datos de la SDA se considerarán tres niveles de abstracción necesarios e indisolubles: datos, información y conocimiento, para mitigar y responder a la problemática de la dispersión de la información y así obtener valores agregados a las preguntas, necesidades de información comunes de las áreas, y la generación de conocimiento como valor agregado para el desarrollo de los planes, metas y objetivos de la entidad.

​

6.1 Nuestros clientes

​

​

6.2 Nuestros clientes

​

​

6.3 Nuestros clientes

​

​

7.1 Referencias

Laudon Keneth C., Laudon Jane P. , Sistemas de Información Gerencial (8ª ed.)

Diseño y programación de bases de datos. Angel Cobo. Editorial Visión Libros.

Diseño y explotación de almacenes de datos. Conceptos básicos de modelado. Juan Carlos Trujillo Mondejar, Juan Carlos Trujillo, Jose Norberto Mazon, Jesus Pardillo, Norberto Mazón López, Jesús Pardillo Vela. Editorial ECU.

Generalidades y Patrones de Desarrollo de Data Marts. Kenneth Sánchez Sánchez & Rafael Mar tínez V. Inter Sedes. Vol. IV. (7-2003) 203-212.

Data Warehouse Vr. DataMarts. Strange Kevin. Home page de Gartner Group. San Diego, California, 1998.

Elaboración de Soluciones Inteligentes de Negocios, Fundamentos y Casos de Aplicación. Jonathan David Nima Ramos. http://www.scribd.com/doc/61857452/8/g-CARACTERISTICAS-DE-UN-DATA-MAR�

​

​

7.2 Gracias!

Preguntas ?

​

​

http://ingenian.com

Calle 12b # 8a - 03 Oficina 206

fgrajales@ingenian.com