Description
Ronald Coase, économiste et auteur britannique, a un jour déclaré que l'on pouvait faire avouer n'importe quoi aux données si on les torturait suffisamment. Cette citation prend tout son sens dans le monde actuel où la maîtrise de la donnée est devenue primordiale. C'est pourquoi le data engineering, discipline à part entière des sciences de la donnée, est de plus en plus évoqué. Son objectif est de sélectionner, trier, stocker, organiser, tester et sécuriser les données afin de garantir leur qualité, disponibilité et pertinence pour les équipes qui les utilisent. Cette formation de 4 jours permet aux participants de maîtriser l'ingénierie des données basée sur les technologies de la plateforme Azure. Elle prépare également à la certification Microsoft Certified Azure Data Engineer Associate.
À qui s'adresse cette formation ?
Pour qui ?
Cette formation s'adresse aux professionnels des données, tels que les architectes de données et les professionnels BI, qui souhaitent approfondir leurs connaissances en matière d'ingénierie des données et de création de solutions analytiques en utilisant les technologies de la plateforme de données disponibles sur Microsoft Azure. Elle est également adaptée pour les analystes de données et les data scientists qui travaillent avec des solutions analytiques basées sur Microsoft Azure.
Prérequis
Avoir suivi les formations "Microsoft Azure - Notions fondamentales" (MSAZ900) et "Microsoft Azure - Principes fondamentaux des données" (MSDP900) ou connaissance du cloud computing et des concepts de base des données et avoir une expérience pratique avec des solutions de données
Les objectifs de la formation
Programme de la formation
- Explorer les options de calcul et de stockage pour les charges de travail d'ingénierie des données
- Introduction à Azure Synapse Analytics
- Décrire Azure Databricks
- Introduction au stockage Azure Data Lake
- Décrire l'architecture Delta Lake
- Travailler avec des flux de données à l'aide d'Azure Stream Analytics
- Exécuter des requêtes interactives à l'aide de pools SQL sans serveur Azure Synapse Analytics
- Explorer les fonctionnalités des pools SQL sans serveur Azure Synapse
- Interroger des données dans le lac à l'aide de pools SQL sans serveur Azure Synapse
- Créer des objets de métadonnées dans des pools SQL sans serveur Azure Synapse
- Sécuriser les données et gérer les utilisateurs dans les pools SQL sans serveur Azure Synapse
- Exploration et transformation des données dans Azure Databricks
- Décrire Azure Databricks
- Lire et écrire des données dans Azure Databricks
- Utiliser DataFrames dans Azure Databricks
- Utiliser les méthodes avancées DataFrames dans Azure Databricks
- Explorer, transformer et charger des données dans l'entrepôt de données à l'aide d'Apache Spark
- Comprendre l'ingénierie Big Data avec Apache Spark dans Azure Synapse Analytics
- Intégrer des données avec des blocs-notes Apache Spark dans Azure Synapse Analytics
- Transformer des données avec DataFrames dans des pools Apache Spark dans Azure Synapse Analytics
- Intégrer des pools SQL et Apache Spark dans Azure Synapse Analytics
- Intégrer et charger des données dans l'entrepôt de données
- Utiliser les meilleures pratiques de chargement des données dans Azure Synapse Analytics
- Ingestion à l'échelle du pétaoctet avec Azure Data Factory
- Transformer les données avec Azure Data Factory ou Azure Synapse Pipelines
- Intégration de données avec Azure Data Factory ou Azure Synapse Pipelines
- Transformation sans code à grande échelle avec Azure Data Factory ou Azure Synapse Pipelines
- Transformer les données avec Azure Data Factory ou Azure Synapse Pipelines
- Intégration de données avec Azure Data Factory ou Azure Synapse Pipelines
- Transformation sans code à grande échelle avec Azure Data Factory ou Azure Synapse Pipelines
- Orchestrer le mouvement et la transformation des données dans Azure Synapse Pipelines
- Orchestrer le mouvement et la transformation des données dans Azure Data Factory
- Sécurité de bout en bout avec Azure Synapse Analytics
- Sécuriser un entrepôt de données dans Azure Synapse Analytics
- Configurer et gérer les secrets dans Azure Key Vault
- Mettre en oeuvre des contrôles de conformité pour les données sensibles
- Prise en charge du traitement analytique transactionnel hybride (HTAP) avec Azure Synapse Link
- Concevoir un traitement transactionnel et analytique hybride à l'aide d'Azure Synapse Analytics
- Configurer Azure Synapse Link avec Azure Cosmos DB
- Interroger Azure Cosmos DB avec des pools Apache Spark
- Interroger Azure Cosmos DB avec des pools SQL sans serveur
- Traitement de flux en temps réel avec Stream Analytics
- Activer une messagerie fiable pour les applications Big Data à l'aide d'Azure Event Hubs
- Utiliser des flux de données à l'aide d'Azure Stream Analytics
- Ingérer des flux de données avec Azure Stream Analytics
- Créer une solution de traitement de flux avec Event Hubs et Azure Databricks
- Traiter les données de streaming avec le streaming structuré Azure Databricks
