Sistema Operativo Data Lake 

Introducción

El cliente había observado que el uso interno de su repositorio de almacenamiento de datos (Data Lake o Lago de Datos) había ido aumentando constantemente, tanto en términos de volumen como de complejidad de los requerimientos de las distintas unidades de negocio.

Reto

El principal requerimiento era que los usuarios del Data Lake o Lago de Datos, formados por varias unidades de negocio y con diferentes necesidades, pudieran transmitir datos fácilmente, casi en tiempo real, con el menor esfuerzo de configuración y codificación posible, consumiendo recursos computacionales reducidos, manteniendo la estabilidad de la plataforma y la protección de datos.

El objetivo del proyecto consistió en construir una plataforma personalizada de gestión de datos casi en tiempo real, que se adaptara a la infraestructura y a las prácticas del cliente.

Solución

DataSpartan designó a un equipo de expertos que, no solo configuraron el código base para proporcionar resiliencia a largo plazo, sino que también optimizaron y redujeron el consumo computacional.

Asimismo, se propuso e implementó un nuevo sistema operativo para gestionar todo el procesamiento de datos de principio a fin, asegurando que la arquitectura general resultase más económica de mantener y más simple para la construcción de productos internos y sistemas de elaboración de informes en el futuro.