Data Engineering

Construisez et automatisez des pipelines de données

Le Data Engineer conçoit, industrialise et optimise les flux de données. Cette formation couvre les outils modernes : Airflow, Python ETL, SQL, NoSQL, Spark, stockage cloud.

Programme

1. Architecture Data Moderne

• Data lakes, data warehouses.
• Schémas ELT vs ETL.

2. Python ETL

• Extraction, transformation, chargement.
• Traitement massif de données.

3. Airflow – Orchestration

• DAGs, scheduling, monitoring.
• Best practices.

4. Big Data avec Spark

• RDD, DataFrames.
• Optimisation et scalabilité.

5. Stockage & bases de données

• SQL, NoSQL.
• Cloud : AWS/GCP/Azure.

Intégrer ce parcours Data Engineering