Data Engineer
Responsabilità principali: Sviluppo di pipeline dati: Progettare, creare e mantenere pipeline per estrarre, trasformare e caricare (ETL) dati da diverse fonti. Gestione e trasformazione dati: Analizzare dati complessi e trasformarli per ottenere formati utili per analisi e reportistica. Ottimizzazione delle prestazioni: Ottimizzare query e processi per garantire efficienza e rapidità nel trattamento dei dati. Integrazione con Azure Data Factory e Databricks: Utilizzare questi strumenti per orchestrare e processare flussi di dati in modo efficiente. Collaborazione interfunzionale: Lavorare con team di analisti, sviluppatori e stakeholder per comprendere le esigenze di dati e implementare soluzioni. Monitoraggio della qualità dei dati: Implementare controlli di qualità per garantire l’integrità e l’accuratezza dei dati. Documentazione delle pipeline e dei processi: Garantire una documentazione dettagliata e accurata delle procedure di gestione dei dati. Requisiti: Python: programmazione avanzata per la manipolazione dei dati. Databricks: esperienza nella gestione e analisi di big data. SQL: scrittura e ottimizzazione di query SQL. Azure Data Factory: gestione e orchestrazione di pipeline di dati. Azure: conoscenza generale dell’ecosistema cloud Azure. Lingua: Buona padronanza dell’inglese, sia scritto che parlato.