La importancia de la calidad de los datos en las empresas

Los datos son un activo muy valioso en cualquier empresa y trabajar con datos de calidad es imprescindible para la toma de acciones y decisiones.

La calidad de datos es un concepto muy amplio que podríamos resumir como el conjunto de procesos, operaciones, técnicas y algoritmos; que mantiene la información de las empresas, de las organizaciones, de una forma completa, precisa, consistente, actualizada, única y sobre todo, válida para ser utilizada con fiabilidad en todos los estudios analíticos y, principalmente, en la toma de decisiones.

En definitiva, nos va a permitir gestionar la información y ponerla a disposición con fiabilidad en la toma de decisiones. Y si queremos destacar una característica sobre todas, en mi opinión, es la confianza que aporta a las acciones realizadas.

Los datos son los elementos primarios, valores que por sí solos no dicen nada (ejemplos: un nombre, una cifra, un teléfono, una fecha, …). La información son los datos procesados, y son útiles para la toma de decisiones (ejemplos: facturación de un periodo, número de clientes, gastos por conceptos, …). El conocimiento es mezclar la información con la experiencia, junto a las conclusiones obtenidas (ejemplos: comparativa de ingreso por periodos, predicciones de ventas, curvas de gastos, …). La acción es la toma de decisiones apoyada en la información y conocimiento.

El crecimiento de los datos en los últimos años es exponencial, cada día se generan millones y millones de datos. Se estima que en el año 2025 el volumen de los datos en el mundo sea 175 veces más que en el año 2011 y que cada persona interactuará con dispositivos unas 4.800 veces al día.

La mayor parte de ese volumen de información será guardado en la nube. Siendo los dispositivos IOT conectados a la red (> 150.000 millones) los que registrarán mayores crecimientos.

Existen estudios y encuestas que nos indican que actualmente más del 50% de las empresas carecen del control total de sus datos, siendo la mejora de su seguridad una de sus mayores prioridades.

Las empresas deben ser conscientes que, potenciando la calidad de los datos, están potenciando la toma de decisiones y que los beneficios que aporta la calidad en los datos son muchos. Aquellas empresas y organizaciones que le dan importancia a la calidad de los datos obtienen múltiples beneficios que añaden valor a su negocio y les ayuda a diferenciarse de sus competidores.

La calidad de datos impulsa la innovación, el desarrollo y la transformación.

ESTÁNDARES DE CALIDAD

La calidad de los datos no dependerá solamente de las características de los datos, sino también del entorno empresarial en el que se utilizan los datos, incluyendo procesos y usuarios.

Para la fijación de los estándares de calidad se eligen las características de calidad de datos comunes y se reajusta su definición considerando las necesidades reales y actuales del negocio.

Cada dimensión está dividida en elementos asociados a esta y cada elemento dispone de sus indicadores de calidad, de este modo utilizamos unos estándares jerárquicos. Dichos estándares son:

1. Disponibilidad
   1. Accesibilidad: si se proporciona una interfaz de acceso a datos y si los datos pueden hacerse públicos fácilmente o fáciles de adquirir.
   2. Oportunidad: si los datos llegan a tiempo en un periodo de tiempo limitado, se actualizan regularmente y el intervalo de tiempo entre la recopilación y el procesamiento de los datos hasta la liberación cumple los requisitos.
2. Usabilidad
   1. Credibilidad: cuando los datos provienen de organizaciones especializadas de un país, campo o industrial, son auditados regularmente y se verifica su exactitud en el contenido. Existe un rango de valores para los datos: conocidos o aceptables.
3. Confiabilidad
   1. Exactitud: los datos proporcionados son precisos, la representación de datos refleja el estado real de la información de origen y su representación no genera ambigüedades.
   2. Consistencia: una vez procesados los datos sus conceptos, dominios y formatos coinciden como antes de ser procesados. Son consistentes y verificables durante un tiempo
   3. Integridad: formato de datos claro y que cumple con los criterios, tienen integridad estructural y en contenido.
   4. Completud: en caso de que una deficiencia de un componente afectara la precisión e integridad de datos y su uso.
4. Pertinencia
   1. Convivencia: los datos recogidos no coinciden completamente con el tema, pero presenta cierta relación y están dentro del tema que los usuarios requieren o presenta coincidencias.
5. Calidad de presentación:
   1. Legibilidad: los datos son claros y comprensibles, satisfacen las necesidades del usuario y su descripción, clasificación y contenido son fáciles de entender.

Una mala calidad de los datos puede conducir a una baja eficiencia de utilización de los datos e incluso traer serios errores en la toma de decisiones.

GOBIERNO DEL DATO

El gobierno del dato es la disciplina que se encarga de establecer un marco de referencia en todo lo relacionado con los datos de una empresa: personas, procedimientos, tecnologías, accesibilidad, integridad y usabilidad.

El gobierno de datos ha de estar presente en todo el ciclo de vida de estos.

El aumento del Big Data y el Machine Learning, así como de las regularizaciones alrededor de los datos, hacen que cada día sea más importante disponer de plataformas integrales del Gobierno del Dato con el fin de definir políticas de datos en un ámbito global.

A nivel técnico, el Gobierno del Dato debe garantizar y disponer a las empresas de:

• Estrategias para definir, aprobar y comunicar estrategias de datos, políticas, normas, procedimientos, arquitectura y métricas.
• Gestión global de la disponibilidad, la relevancia, la usabilidad y la seguridad de los datos en una empresa.
• Seguimientos para hacer cumplir la normativa de conformidad con las políticas de datos, estándares, arquitectura y procedimientos.
• Asegurar la distribución de la información por los canales dispuestos.
• Mecanismos de gestión eficiente de Datos Maestros en donde se busque excelencia en calidad e integridad
• Fomente, controle y supervise la ejecución de los proyectos y servicios de gestión de datos.
• Gestione y resuelva los problemas relacionados con los datos corporativos.
• Entienda y promueva el valor de los activos de datos dentro de la Empresa.
• Proteger el acceso a los datos según las reglas establecidas, asegurando confidencialidades.
• Rastrear el linaje de los datos y aportar información de situación.
• En definitiva, ayudar a las empresas a organizar, analizar, preparar y compartir los datos, y a su vez mantiene sobre ellos el control y protección.  

En la siguiente imagen podemos ver los componentes que deben existir en el Gobierno de Datos.

GESTIÓN DE LA CALIDAD DE LOS DATOS

Componentes fundamentales del ciclo de calidad de datos

• Descubrimiento de datos: proceso de búsqueda, recopilación, organización y notificación de metadatos.
• Perfilado de datos: proceso de analizar los datos en detalle, comparándolos con sus metadatos, calculando estadísticas de datos e informando de las medidas de calidad de los datos que se deben aplicar en cada momento.
• Reglas de calidad de datos: se orientarán a optimizar el nivel de calidad de los activos informacionales de la organización y, para ello, se basarán en los requisitos de negocio aplicables, las reglas comerciales y técnicas a las que deben adherirse los datos.
• Monitorización de la calidad de los datos: la mejora continua requiere de un esfuerzo de seguimiento, que permita comparar los logros con los umbrales de error definidos, la creación y almacenamiento de excepciones de calidad de datos y la generación de notificaciones asociadas.
• Reporting de calidad de datos: está relacionado con los procedimientos y herramientas empleadas para informar, detallar excepciones y actualizar las medidas de calidad de datos en curso.
• Corrección de datos: se ocupa de la corrección en curso de las excepciones y problemas de calidad de datos según son notificadas.

IMPACTO DE UNA MALA CALIDAD DE DATOS

Una mala calidad de los datos en una empresa puede implicar múltiples consecuencias negativas. Siendo uno de los principales indicadores de proyectos y procesos fallidos.

Un aspecto particularmente peligroso de la mala calidad de datos es la falsa sensación de seguridad que puede transmitir. Los errores en los datos pueden cegarte ante los problemas en tu compañía. Si no se abordan o atienden, esos errores podrían conducir a problemas mucho mayores en el futuro.

A continuación, citamos algunas de dichas consecuencias negativas:

• Impide una correcta toma de decisiones.
• Generación de informes y análisis erróneos.
• Nos hace incurrir en costes de distribución, de operaciones, de gestión, …
• Discrepancias entre aplicaciones o resultados, las cuales pueden requerir trabajos de reconciliación de la información y por lo tanto pérdida de tiempo de los usuarios.
• Daña nuestra relación con el cliente, imposibilitando poder ofrecer un buen servicio y trato.
• Imposibilidad de detectar fraudes, sobrepagos, cobros, etc.
• No puede identificar duplicados, inconsistencias, datos incompletos, etc.
• Menor rendimiento y satisfacción laboral de los empleados.
• Incumplimiento de normativas, regulaciones, GDPR

Espero que os haya parecido interesante este artículo y si queréis conocer más detalles, no os perdáis la charla que tuvimos en #SharingValue de Sogeti.