Analytics Business Intelligence Machine learning

Pon un Lakehouse en tu vida y eleva las capacidades analíticas de tu compañía al siguiente nivel

Hace unos días asistí a una webinar de Databricks en la que hablaron acerca de cómo integrar los dos mundos de analítica, el tradicional Business Intelligence y la parte más ligada a Machine Learning y la Ciencia de Datos.

Como sabemos, si a un experto en Inteligencia de Negocio le preguntas por: Data Warehouse, Factoría de Información Corporativa, Data Marts, Cubos, etc. Sin duda, la respuesta será muy completa e incluso te podrá dar multitud de casos de éxito en los que ha trabajado implementando dichas soluciones.Sin embargo, desde hace unos años las necesidades empresariales de análisis en tiempo real de la información, han provocado que se añadan nuevo términos al proceso de generación de conocimiento. Streaming, Event Hubs, Data Lake, Real Time, Lambda, etc.

Y sobre todo con la aparición de la “profesión más sexy del siglo XXI”, el Científico de Datos, el conjunto de nuevas palabras vinculadas a la analítica ha continuado creciendo: DataFrames, Hiperparámetros, Redes Neuronales, Modelos, Algoritmos, Clúster, etc.

Esta situación, con necesidades analíticas tan dispares, supone un problema para las compañías a la hora de manejar de una manera sencilla y eficaz los datos. Si bien, el coste de almacenamiento de datos, ha descendido con las nuevas herramientas en la nube, duplicar servicios para su tratamiento y gestión, puede engordar la cuenta a final de mes. Es por ello, que se requiere una gestión única del dato en el entorno empresarial, para aprovechar la mejor arquitectura y permitir la optimización de recursos corporativos en la generación de conocimiento.

¿Cómo hacer esto? Buscando la manera de integrar el BI tradicional con la Analítica Avanzada en un único entorno. Por eso es por lo que hablamos de Lakehouse, viene a quedarse con lo bueno de ambos Mundos.Para ello, se desarrolla un nuevo paradigma de desarrollo de arquitectura. Lo que denominan Lakehouse.

Imagen 1

Pero, técnicamente ¿cómo soluciona Databricks los problemas que presenta esta arquitectura?

En primer lugar, usando Spark como el motor principal de unificación, ya que permite integrarse con multitud de herramientas ETL, Data Warehouse, además de soportar el procesamiento en streaming, grafos e incorporar librerías para Machine Learning y Deep Learning.

Imagen 2

Y en segundo lugar, unificando el servicio de datos tanto para BI como para ML. Ya que Delta Lake asegura la confiabilidad del dato, ya que permite transacciones ACID, unifica procesos Batch y Streaming, aplica el schema, además de permitir Viaje de Tiempo y transmisión por secuencias, entre otras características.

CONCLUSIÓN

El mundo empresarial precisa cubrir nuevas necesidades en cuanto a analítica avanzada, lo cual representa un desafío que obliga a organizaciones y personas a dar lo mejor de si mismo. La aparición de este nuevo paradigma por parte de Databricks no hace más que ahondar en la clara obligación de evolución y mejora continua. Representa un importante salto hacia adelante por combinar en una arquitectura, el procesamiento de todo tipo de datos tanto en Streaming como en Batch, permitiendo integrar modelos de inteligencia artificial, para obtener un Reporting completo.

Si hace unos meses presentaron Delta Lake y representó una mejora sustancial frente a parquet u otros sistemas de almacenamiento, hoy con esta nueva aportación creo que Databricks se posiciona como la solución de referencia en la Analítica Avanzada a día de hoy.

NOTA: Importante recordar que Databricks permite la completa integración de sus productos con las nubes de Azure y AWS.

Fuentes | Introducción a Delta Lake – Microsoft, Marzo 2020.

Imagen 1, 2 | Prakach Chockalingam, James Nguyen. “Introducing Databricks Ingest”. March, 2020.

Acerca de alb3rtoalonso

Soy un enamorado del poder de los datos. Entusiasta de la mejora y formación contínua. A lo largo de estos últimos años, he trabajado sobre las diferentes áreas de Data Management, para grandes compañías como Cyndea Pharma, beIN Sports, MediaPro, Himoinsa, Liberty Seguros y Airbus Defense & Space, Essity. En ellos, he llevado a término, proyectos de analítica avanzada y modelaje predictivo. Formo parte del grupo de expertos tecnológicos a nivel Mundial de mi actual compañía, denominado SogetiLabs. Dentro del mismo soy el responsable global del círculo de Machine Learning, lo que me permite tener una visión general de los desarrollos del grupo, así como motivar a los compañeros hacia el campo del ML y participar activamente en la creación de buenas prácticas. Mi espíritu de competidor es el que impulsa a seguir mejorando. Si bien, como buen jugador, sé comportarme correctamente cuando gano, y cuando pierdo. Me gusta el trabajo en equipo, tanto con compañeros de la organización como con terceras personas (clientes, compañeros de otras consultoras, etc). Con la implicación de todos, el desarrollo siempre es más eficiente. Habituado a trabajar entorno de desarrollo sobre metodologías ágiles. A mis compañeros les sorprende mi dedicación al estudio de nuevas tecnologías y metodologías. No hay semana en la que no participe, consuma o asista a algún ‘meet up’. Intento divulgar el conocimiento a través de mi presencia en internet; web, blogs, Kaggle, Github, Twitter. En definitiva, dedico gran parte de mi tiempo de ocio en curiosear acerca de la tecnología y sus múltiples usos. Actualmente estoy cursando el Máster Universitario de Ciencia de Datos en la UOC, soy licenciado en Farmacia por la Universidad San Pablo CEU, además de haber realizado un Curso Superior de Dirección Empresarial por el IFE de Madrid y finalizado el Grado Superior de Desarrollo de Aplicaciones Multiplataforma. A día de hoy desempeño el rol de Data Scientist dentro del equipo de Inteligencia de Negocio y Analítica Avanzada de Sogeti España. He sido aceptado como integrante del grupo internacional de tecnología SogetiLabs. También pertenezco al Grupo de Usuarios de Power Bi en España.

0 comments on “Pon un Lakehouse en tu vida y eleva las capacidades analíticas de tu compañía al siguiente nivel

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

A %d blogueros les gusta esto: