Concevez, construisez et maintenez des pipelines de données robustes et scalables. Maîtrisez Airflow, Spark, les architectures modernes et le cloud pour devenir Data Engineer opérationnel.
Data Lake, Data Warehouse, Lakehouse, ETL vs ELT et modélisation dimensionnelle.
Panorama des outils et rôle du Data Engineer dans l’entreprise.
Pandas avancé, traitement par lots, connexion aux sources (API, bases, fichiers).
Automatisation, logging, gestion des erreurs et bonnes pratiques ETL.
Concepts fondamentaux, création de DAGs, scheduling et dépendances.
Retries, monitoring, alertes et DAGs complexes.
Spark Core, DataFrames, Spark SQL et traitement distribué.
Optimisation des performances et exécution sur cluster.
Bases SQL/NoSQL, entrepôts cloud et stockage objet.
Pipeline complet de bout en bout, tests, industrialisation et présentation.
Prêt à construire des pipelines de données robustes ?