1. Bootcamp de préparation
Lorsque vous serez officiellement inscrit, Blent.ai vous donnera accès à 30h de cours pour que vous puissiez apprendre les bases en Python, les commandes systèmes Bash et la manipulation de données. Cette phase de préparation est disponible dès votre inscription à la formation, et vous pourrez poser toutes vos questions à leur équipe de professeurs sur Slack.
Ce que vous allez apprendre dans cette phase :
- Maîtriser le langage Python et son utilisation avancée pour les systèmes en production.
- Utiliser les commandes Bash et les principaux éléments utilisés dans les environnements UNIX.
- Utiliser Visual Studio Code en tant qu'environnement de développement intégré.
- Les bases du Cloud Computing et les concepts essentiels de virtualisation.
2. Stockage de données volumineuses
Lors de cette première phase, vous aborderez le stockage des données, et notamment les différentes solutions qui existent. Vous étudierez ces solutions, tant sur le plan économique que technique, sur comment vous allez stocker des centaines de Go de données.
En plus des bases structurées classiques de la famille SQL ou du stockage persistent, vous découvrirez les bases de données orientées documents (MongoDB), les bases de données orientées colonnes distribuées (avec Cassandra et BigQuery) ainsi que les bases de données clé/valeur en mémoire dont Redis est le plus populaire. Enfin, une petite ouverture sur les bases NewSQL sera proposée pour être prêt face aux futures systèmes de gestion de bases de données.
Ce que vous allez apprendre dans cette phase :
- Identifier les situations où utiliser un Data Lake et/ou un Data Warehouse.
- Utiliser des bases NoSQL en tant que sources et cibles pour des pipelines ETL.
- Mettre en place une gouvernance et des schémas de données.
3. Calcul parallèle avec Spark
Une fois le stockage correctement établi, une des premières choses sur lequel le Data Engineer doit réfléchir est la bonne construction d'un processus ETL (pour Extract Transform Load) afin d'automatiser le processing de la donnée jusqu'à un Data Warehouse.
Du fait de la grande quantité de donnée à disposition, les outils de calcul parallèle, dont Hadoop et Spark sont les plus populaires, vous permettront d'effectuer un nombre impressionnant de calculs en un temps très court grâce aux clusters à disposition dans le Cloud. En complément des processus ETL, les applications dites serverless permettent aujourd'hui de lancer des calculs spécifiques sans se soucier de l'infrastructure cible.
Ce que vous allez apprendre dans cette phase :
- Utiliser l'approche fonctionnelle de Spark et construire des algorithmes MapReduce.
- Manipuler des DataFrames de très grande taille avec Spark SQL en prenant en compte le caractère distribué.
- Lancer et administrer un cluster Hadoop.
4. Flots de données en temps réel
Aujourd'hui, beaucoup d'applications alimentent les bases avec des données en temps réel (ou à flot continu) : c’est le Data Streaming. Comment peut-on appliquer un processus ETL efficace ?
Pendant cette phase intermédiaire, vous mettrez en place plusieurs solutions pour le Data Streaming, avec notamment des architectures publish-subscribe avec Apache Kafka. Vous verrez également Confluent Platform, qui apporte de nouvelle fonctionnalités puissantes à Kafka. Vous verrez ensuite comment traiter et analyser ces données en temps réel aussi bien dans un paradigme SQL avec ksqlDB qu'avec l'architecture MapReduce ou les DataFrames de Spark Streaming.
Ce que vous allez apprendre dans cette phase :
- Installer un cluster Kafka sur une ou plusieurs machines.
- Construire des applications asynchrones pour produire des données ou consommer des données depuis Kafka.
- Utiliser des schémas de données pour la sérialisation et les connecteurs pour la migration de données.
- Créer des applications de processing temps réel avec ksqlDB et Spark Streaming.
5. Automatisation et déploiement de modèles
Cette dernière étape est la plus importante : c'est elle qui définit comment les applications vont être intégrés dans une infrastructure Cloud.
Véritable institution dans le Cloud Computing, vous verrez la puissance de la conteneurisation d'applications avec Docker, et comment les solutions sur le Cloud permettent de répartir les charges de travail. De plus, les outils d’automatisation sont indispensables pour le Data Engineer : vous utiliserez Airflow, une référence en la matière.
Ce que vous allez apprendre dans cette phase :
- Installer Airflow sur un serveur et construire des DAGs en Python.
- Conteneuriser des applications et des API pour des modèles de Machine Learning.
