DataOps con VS Code y Azure Databricks

En más de una ocasión he hablado acerca de la importancia de desarrollar con calidad nuestros proyectos, algo que resulta especialmente delicado cuando de datos se trata y es ahí, por tanto, donde cobra especial relevancia la adopción de buenas prácticas y cómo éstas se ponen en valor. En mi caso, abogo por utilizar un framework robusto de DataOps que permita la integración con repositorios, trabajo colaborativo, versionado de código, incorporación de test unitarios y herramientas de análisis de código, vulnerabilidades,…

Hoy voy a configurar Visual Code como IDE para trabajar con Azure Databricks. Existen otras muchas opciones, como por ejemplo, Intellij que será tratado en otra entrada.

Saltemos a realizar la configuración de Visual Code. En esta primera parte lo que voy a incorporar es un complemento desde el Marketplace que nos permitirá tener visibilidad de todos los elementos que disponemos en nuestro Azure Databricks Workspace. Incluso permitiéndonos…