Objectifs de la formation Comprendre le rôle de DBT dans une stack ELT et ses avantages pour la transformation des données. Configurer un projet DBT, créer des modèles SQL et les gérer avec Git. Intégrer DBT avec Apache Airflow pour orchestrer et automatiser vos pipelines de données. Appliquer les meilleures pratiques de versioning et de collaboration sur des projets de données. Optimiser et documenter les pipelines de transformation de données. Profils techniques : Data Engineer, BI Engineer, Data Analyst, Data Scientist Bonne maîtrise du SQL et compréhension des concepts ETL/ELT. Connaissances de base en Python et Git. Expérience avec des outils de gestion de pipeline (comme Airflow) est un plus. Introduction à DBT Présentation de DBT : Histoire, concepts et utilisation Différences entre DBT Core et DBT Cloud Rôle de DBT dans un pipeline ELT Architecture et composants d'un projet DBT Modèles, sources, tests, snapshots Structure d'un projet DBT : fichiers et répertoires importants Exemple de projet DBT Configuration de DBT et mise en place du projet Installer DBT et les adaptateurs requis Configurer le fichier `profiles.yml` pour se connecter à un datawarehouse TP : Initialisation et configuration d'un projet DBT Collaboration avec Git Introduction à Git : versionning des modèles DBT Meilleures pratiques pour travailler avec des branches TP : Utilisation de Git pour versionner un projet DBT Modélisation avancée avec DBT Création de modèles SQL réutilisables et gestion des dépendances Utilisation des **materializations** : vue, table, incrémentale Tests et documentation des modèles avec DBT TP : Créer, tester et documenter des modèles complexes Orchestration avec Apache Airflow Introduction à Airflow : architecture et cas d'utilisation Intégration de DBT avec Airflow pour automatiser les pipelines Planification des tâches DBT dans un DAG Airflow TP : Orchestration d'un pipeline DBT avec Airflow Optimisation et déploiement de DBT en production Gestion des environnements et variables dans DBT Bonnes pratiques pour les commits Git et gestion des branches Déploiement continu avec Git et Airflow TP : Créer un workflow de CI/CD pour un projet DBT
SIRET : 81452518400028
TVA : FR64814525184
Python pour la production
Data Ninja : passer de Excel à Python
Apache Superset
Apache Airflow
Introduction à l'Intelligence Artificielle
IA avancée
ChatGPT et l'IA Générative
LLM et RAG
Introduction au MLOps
Docker et Kubernetes pour le Machine Learning
APIs pour le Machine Learning
MLFlow
Monitoring des modèles de Machine Learning en production