Databricks

Databricks es una empresa estadounidense fundada en 2013 por los investigadores de UC Berkeley que crearon Apache Spark, entre ellos Ali Ghodsi, su CEO, Matei Zaharia e Ion Stoica. Vende una plataforma donde las empresas procesan cantidades enormes de datos, los consultan con SQL y arman y corren modelos de machine learning e IA, todo en el mismo lugar. Funciona arriba de las grandes nubes: AWS, Microsoft Azure y Google Cloud.

Su idea central es el lakehouse: guardar todos los datos como archivos en formatos abiertos en almacenamiento barato de la nube, como hace un data lake, pero sumarle encima la confiabilidad y las consultas rápidas de un data warehouse. Dos proyectos de código abierto que arrancó la empresa hacen que eso funcione: Delta Lake, que agrega transacciones e historial de versiones a esos archivos, y MLflow, que registra los experimentos de machine learning. Unity Catalog controla quién puede ver qué tablas, archivos y modelos.

En la práctica, un banco, una cadena de retail o un hospital usa Databricks para traer datos de decenas de sistemas, limpiarlos, armar reportes y entrenar modelos sin andar copiando todo entre herramientas separadas. Su gran rival es Snowflake, que arrancó desde el lado del warehouse; con los años las dos se fueron pareciendo, y hoy ambas se venden como el lugar donde las empresas construyen IA con sus propios datos. Databricks se metió de lleno en eso al comprar MosaicML en 2023.