Architecture Big Data

par Retengr


Si le Big Data est LE sujet du moment, il est souvent considéré comme une boîte noire dans laquelle il est très difficile de se retrouver.  Large regroupement de méthodes, d’objectifs et de technologies différentes, il demeure l’objet de nombreux questionnements :

  • Quelle valeur tirer des données à notre disposition ?
  • A partir de quand parlons-nous de Big Data ?
  • Quels outils pour gérer de gros volume de données ?
  • Traitement batch ou traitement en continue ?
  • Positionner l’Intelligence Artificielle par rapport au Big Data ?
  • Quels métiers et quelles compétences pour évoluer dans ce domaine ?


📅  3 jours à temps plein

📚  classe virtuelle ou en présentiel

💶  1 980€


Pour en savoir + sur le programme ou échanger avec l'organisme de formation c'est par ici 

⬇️

Je suis intéressé.e !



Faites financer cette formation !

Cet Organisme de Formation est certifié Qualiopi, vous pouvez mobiliser les dispositifs de financement de l'Etat.

Contactez-nous si vous avez besoin d'aide.

Obtenir de l'aide  Lire le kit de survie !


Vous pouvez également nous contacter au 06 30 90 99 06.

Pour qui est fait ce programme

La connaissance d’un langage de programmation structuré et les bases du monde relationnel est souhaitable.

  • DSI ou Architecte SI

  • Chef de projet ou Développeur

  • Data Miner ou Data Scientist

Avec ce programme vous pourrez :

  • Définir les concepts et identifier l’apport du Big Data.

  • Savoir déterminer la valeur que l’on peut tirer des données à disposition.

  • Cadrer l’écosystème technologique nécessaire à votre besoin.

  • Penser et organiser la collecte des données.

  • Choisir une technologie de stockage de données adaptée à votre usage

  • Connaître les technologies pour traiter les données (plus ou moins volumineuses)

  • Définir et comprendre les différents métiers : datascientist, data engineer

L'organisme de formation

Retengr

À travers un service personnalisé, flexible et intelligent, Retengr accompagne dans une atmosphère chaleureuse vers la performance, le tout avec empathie et professionnalisme.

Vous allez adorer Retengr si vous pensez que...

- Une formation doit être au service de la performance du collaborateur et de l’entreprise

- L’expertise technique est aussi importante que les qualités pédagogiques

- Un cadre d’apprentissage soigné permet une formation plus efficace

- “Qui cherche la perfection obtient l’excellence”
Voir l'organisme de formation

Vos instructeurs


Alexia Audevart

Alexia est data scientist et fondatrice de la société datactik.
Son métier se décompose en 3 parties :
Une première partie “expertise et développement” autour de la valorisation des données.
La seconde concerne la formation data, que ce soit auprès d’étudiants ou d’un public de professionnels comme avec Retengr.
Et la dernière qu'elle appelle “partage de connaissances”. En effet, elle intervient régulièrement lors de conférences. Elle a d’ailleurs animé un TEDx à la Baule sur l’impact de l’IA et des neurosciences sur l’apprentissage.


Olivier Bearn

Olivier est Développeur/Architecte logiciel.
Il a commencé sa carrière dans les années 2000, passionné par son métier et en particulier par les notions autour de l’artisanat logiciel (Software craftsmanship). C’est un métier où il aime conserver le développement et la création, tout en mettant en avant la conception, l’échange et la formation.
Au cours de sa carrière professionnelle, il a participé à plusieurs projets dans différentes startups et chez différents éditeurs logiciels.

Curriculum du programme

Comprendre les concepts et les enjeux du BigData

  • Origines et définition du BigData.
  • Les 3 V : Volume, Vélocité et Variété
  • Diversité dans les cas d’usage : données chaudes, données froides
  • Vos Data : Quelle valeur tirer de vos données ?
  • Un exemple d’architecture Big Data.
  • Exercice / Démo : Parcourir différentes sources de données accessibles via le WEB (API)

 

Expliquer les technologies du Big Data

  • Quelles données et pour quoi faire ?
  • Définir les outils de collecte de données
  • Anticiper les moyens de stockage en fonction des usages
  • Le datalake : votre référentiel de données
  • Paralléliser ou traiter vos données en continue ?
  • S’approprier les données avec des analyses visuelles : la dataviz

 

Stocker des données

  • État de l’art : Le NoSql, sonne t’il le glas des bases de données relationnelles ?
  • Le triangle de CAP
  • Pourquoi le NoSql ?
  • Les différentes approches : document / wide column / key-value
  • Tour d’horizon des solutions à disposition : MongoDB, Cassandra, HBase…
  • Exercice / Démo : définir et mettre en place un modèle de stockage de type document avec MongoDB

  

Collecter les données

  • Comprendre les différentes sources de données : iOT / SI / Réseau sociaux / API : D’où viennent les données ?
  • Gérer des formats de données différents : JSON, XML, CSV, binaires, …
  • De l’importance des connecteurs…
  • Tour d’horizon des outils du marché : NIFI / Node Red / Flume / Sqoop
  • Exercice / Démo : Utiliser NIFI pour collecter les données d’une API publique

 

Hadoop

  • Comprendre le périmètre de Hadoop : Stockage et traitement
  • Une plateforme de traitement batch et de stockage de données froides
  • Architecture et composants de la plateforme Hadoop.
  • HDFS, YARN et Mapreduce : les 3 piliers
  • Un écosystème complexe et complet : Hive, HBase
  • Exercice / Démo : Manipuler des fichiers via Hue, mise en place de tables et requêtes Hive sur une plateforme Hadoop

 

Spark

  • Un framework pour paralléliser des traitements
  • Positionnement Spark / Hadoop
  • Quelle infrastructure de déploiement
  • Comprendre la complexité de la parallélisation des traitements
  • SparkML : une librairie pour la datascience
  • Exercice / Démo : Mise en place et analyse d’un traitement simple

 

Stream processing

  • Le besoin de traitement au fil de l’eau
  • Streaming ETL
  • Streaming analytics
  • Prise de décision en temps réel
  • Les approches et outils de streaming : Spark Streaming / Kafka Streaming / Flink…
  • Exercice / Démo : analyse en continue d’un flux de données simple

 

Transporter vos données : Kafka

  • Définir le besoin d’un bus de données
  • Les middleware Orienté Messages dans un contexte BigData
  • Définir les acteurs : Producers & Consumers
  • Comprendre les composants : Messages, brokers, topics, …
  • Un outil taillé pour les performances
  • Kafka Connect : Connectez vos outils à Kafka
  • Exercice / Démo :  Mise en place d’un bus Kafka pour permettre à Elasticsearch de manipuler des données extraites via NIFI

 

Big Data et Intelligence Artificielle

  • Présentation de l’Intelligence Artificielle
  • Positionnement de l’Intelligence Artificielle dans un contexte Big Data
  • Les différentes approches du machine learning : Clusterisation, classification, régression
  • Les implémentations : Scikit Learning / SparkML
  • Le « Deep learning »
  • Démo : processus complet d’un projet de datascience (analyse des données, sélection de données, apprentissage, scoring)

 

Datavisualization

  • Pourquoi faire ?
  • Dataviz pour comprendre les données
  • L’écosystème de la Dataviz : outils et API
  • Exercice / Démo : Analyse visuelle d’un jeu de données

Qu'en pensent les alumni ?

Chloé V.

Data Scientist, SII Toulouse

Cette formation m’a permis d’acquérir une vision globale des outils nécessaires à la mise en place d’une architecture big data selon les cas d’usages. Très bon formateur qui maîtrise son sujet et qui prend le temps de bien répondre aux questions et/ou revenir sur les points bloquants.

Ludovic D.

Ingénieur informatique, Celad

Je cherchais par cette formation a avoir une vue d’ensemble sur l’approche BigData. J’ai obtenu ce que je cherchais et je me sens maintenant en capacité de m’orienter pour monter en compétence sur des sujets plus pointu ou plus spécifiques. Je craignais un peu que l’aspect distanciel de la formation soit un obstacle mais au final ça n’a pas nuit à la qualité de la formation.

Marietta C.

Product Owner, CS Group

Les objectifs sont atteints avec un bon mix entre la partie pratique et la partie théorique qui permet de manipuler les outils à partir de cas concrets. J’appréhendais le distanciel sur ce niveau de cours mais il n’a pas été un frein.

En classe virtuelle ou présentiel (à Paris, Toulouse)

Composée à 70% de pratique, cette formation utilise des exercices illustrés et didactiques.

Une évaluation quotidienne de l’acquisition des connaissances de la veille est effectuée.

Une synthèse est proposée en fin de formation.

Une évaluation à chaud sera proposée au stagiaire à la fin du cours. Un support de cours sera remis à chaque participant comprenant les slides sur la théorie, les exercices. Une feuille d’émargement par demi-journée de présence est fournie en fin de formation ainsi qu’une attestation de fin de formation si le stagiaire a bien assisté à la totalité de la session.

Un suivi et un échange avec les participants seront mis en place quelques jours après la formation.

Une journée type de formation à distance se décompose de la façon suivante :

Matin :
- 2h de théorie en visioconférence
- 10 à 15 minutes de présentation d’exercices en visio
- 1h de TP en autonomie avec possibilité de solliciter le formateur (partage d’écran à distance pour une assistance efficace).

Après-midi :
- 2h de théorie en visioconférence
- 10 à 15 minutes de présentation d’exercices en visio
- 1h de TP en autonomie avec possibilité de solliciter le formateur (partage d’écran à distance pour une assistance efficace).

Formations qui pourraient vous intéresser