¿Qué es la Factoría de datos de Microsoft?

Hoy vengo a hablaros de un nuevo producto lanzado relativamente hace poco por Microsoft en Azure, se trata de la Factoría de datos.

Es un servicio que funciona íntegramente en la nube, que viene a ser una solución de ETL similar a SSIS y que actualmente deja entrever que puede ser una solución de Microsoft para la nube en forma de Integration Services de SQL Server de cara al futuro.

Y ¿cómo funciona?

Basta con buscar en el portal de Azure el icono “Fábricas de datos” y agregar uno nuevo. Una vez creada la aplicación basta con entrar y encontraremos el siguiente cuadro.

Dentro del panel de Acciones, tenemos por el momento 6 funcionalidades establecidas.

• Author and Deploy, desarrollar desde 0 un flujo de trabajo mediante dataset, link server y pipeline escritos en Json.
• Copy data, desarrollar una copia de datos entre dos entornos ya sean mediante ficheros o sistemas más complejos. En su versión de máximo rendimiento, presume de cargar/mover 1TB en 15 min eso si con 6000 DWH (unidades proceso / coste a un precio muy competitivo).
• Monitor, para monitorizar y relanzar flujos de trabajo.
• Sample Pipelines, una vista mejorada de los flujos de trabajo con todos los dataset
• Diagram, un vistazo general de todo el diagrama de flujo.
• Metrics and operations, presenta unas gráficas y contadores de ejecuciones correctas, erróneas etc.

Caso Práctico

En nuestro ejemplo de hoy vamos a cargar un CSV alojado en un Blob de Azure y lo vamos a meter en una BD SQL Azure Datawarehouse.

1. – Debemos conocer el nombre del Fichero, así como tener los datos de acceso al Blob. Por otro lado el acceso a la BD y permisos para poder crear los objetos requeridos para dicha operación.

a) En nuestro caso vamos a crear en Azure SQL Server :

i. Un Tipo de tabla definida por usuario para volcar los datos del CSV.

ii. Una tabla para alojar los datos del CSV.

iii. Un SP para usar el tipo tabla y rellenar la tabla.

b) En Azure Data Factory

i. Una conexión al Blob de Azure.

ii. Una conexión a la BD de Azure.

iii. Dos Dataset (Conjunto de datos) uno para el fichero y otro para la tabla.

iv. Un Pipeline (Canalizaciones) para establecer como input los dos datasets y una llamada al Procedimiento almacenado para cargar los datos a la tabla.

2. – Una vez creados todos los objetos, tendremos algo así en Azure Data Factory con la visión de Monitorización:

De esta manera tendriamos diariamente un carga de nuestro fichero csv en la BD todos los días sobre las 11:30 PM hora del servidor de Azure.

Con un coste solo por uso y a un precio muy competitivo, hace de esta herramienta una opcion considerable, siempre teniendo en cuenta la complejidad, el volumen, las licencias etc..

A día de hoy entre los Servicios Vinculados soportados se encuentran los siguientes y cada día se amplían a más:

¿El Futuro?

Debemos pensar que es un tecnología relativamente joven y que contempla un roadmap con cientos de miles de peticiones en los foros de Microsoft, nuevas ideas, visiones y cambios radicales que poco a poco se irán implementando e irá creciendo más y más.

A día de hoy si el desarrollo que se piensa es un desarrollo sencillo y lo que se pretende es ahorrar costes en infraestructura, licenciamiento y sobre todo tiempo, entonces la Factoría de datos es sin duda una de nuestras mejores opciones.

Descubre cómo SOGETI puede ayudarte en el viaje hacia la Nube.

Alberto Fernández Magdaleno

BI Consultant and Cognitive Services Specialist| Soluciones Microsoft | SOGETI ESPAÑA