Accueil > Big Data, IA > Apache Nifi : gestion des Flux de Données
Formation #BSI16

Formation Apache Nifi : gestion des Flux de Données

Durée : 3 jours

Code : BSI16


Prochaines dates programmées :

Du 22 au 24 Mai 2024

Du 24 au 26 Juil. 2024

Du 25 au 27 Sept. 2024

Du 20 au 22 Nov. 2024

Fin d'Inscription :
Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email : Au minimum 15 JOURS OUVRÉS avant la date de formation.
Si vous avez un besoin URGENT et que vous souhaitez une date de formation plus proche que les sessions programmées (minimum 15 à 20 jours ouvrés à date de votre demande)

Objectifs

  • Comprendre l'architecture et les concepts de flux de données de NiFi
  • Pouvoir installer et configurer Apache NiFi
  • Créer des flux de données entre différents systèmes
  • Développer des extensions à l'aide d'API NiFi et tierces
  • Comprendre le concept de programmation "flow-based"
  • Personnaliser et développer votre propre processeur Apache NiFi
  • Intégrer Apache NiFi et Apache Kafka
Programme
1/ Introduction NiFi : installation et concepts fondamentaux
  • Différence entre données froides et données chaudes
  • Généralités sur la gestion des flux de données, les pipelines de données et ETL
  • Présentation des outils et technologies Big Data
  • Les cas d'usage d'Apache NiFi : EAI, Big Data, IoT, …
  • Présentation générale de NiFi : architecture, positionnement et cas d’usages
  • Concepts de base et terminologie : Processors, FlowFile, Connectors…
  • La création d'un flux et son fonctionnement
  • Composants et fonctionnalités
  • Hadoop (HDFS et MapReduce) et Spark
  • Installer et configurer Apache NiFi
  • Prise en main de l’interface
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité
2/ La programmation basée sur les flux (« flow-based »)
  • Concepts de programmation "flow-based" et les workflows
  • Le projet Open Source Apache NiFi et ses concurrents (Apache Camel, Node-RED, …)
  • L'écosystème NiFi et ses distributions (Hortonworks DataFlow, …)
  • Les fonctionnalités essentielles
  • Les pré-requis d'installation et les modes de fonctionnement
3/ Démarrer avec NiFi : création de flux de données
  • Ajouter et configurer un processor : GetFile
  • Créer un premier flux avec PutFile et comprendre son fonctionnement
  • Les différents types de processeurs disponibles
  • Configurations et connexions
  • Générer des Flow Files avec GenerateFlowFile et ReplaceText
  • Utiliser les attributs
  • Introduction aux variables et à variable registry
4/ Mise en oeuvre de NiFi
  • Composants, événements et modèles de processeur
  • Le format des FlowFiles
  • Le langage EL et la gestion de conditions de routage
  • Les principaux processeurs et leurs paramètres
  • L'utilisation de scripts (Groovy, Python, …)
  • La gestion d'erreurs
  • L'utilisation de templates
  • Services de contrôleur
  • Tests et dépannage
  • Contribuer à Apache NiFi
5/ Débugger NiFi et monitoring
  • Debugging et gestion des erreurs depuis l’interface
  • Utiliser Reporting Task
  • Configurer Backpressure
  • Provenance des données
  • Surveiller les logs
6/ Intégration avec apache kafka
  • NiFi en producteur de données pour Kafka
  • NiFi en consommateur de données
  • Cas d’usages
7/ Cluster et big data
  • Le fonctionnement en cluster avec Zookeeper
  • L'intégration dans un environnement Big Data (Hadoop HDFS, Spark)
  • Mise en pratique : configuration d'un cluster avec Zookeeper
8/ Extensions
  • Les principes de fonctionnement d'un Processor
  • Le paramétrage et l'accès aux données d'un flux
  • Le packaging d'un Processor dans un NAR
Approche Pédagogique

Approche Pédagogique

  • Pédagogie très opérationnelle fondée sur l'alternance entre théorie et pratique
  • Cas pratiques
  • Remise d’outils
  • Echanges d’expériences
Public cible

Public cible

  • Architecte
  • Tech lead
  • Développeurs
Dates

Dates

  • Du 22 au 24 Mai 2024
  • Du 24 au 26 Juil. 2024
  • Du 25 au 27 Sept. 2024
  • Du 20 au 22 Nov. 2024
  • Fin d'Inscription :
    Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email : Au minimum 15 JOURS OUVRÉS avant la date de formation.