Accueil > Développement informatique et DevOps > Python, extraction de données
Formation #DEV89

Formation Python, extraction de données

Durée : 4 jours

Code : DEV89


Prochaines dates programmées :

Du 23 au 26 Avril 2024

Du 27 au 30 Août 2024

Du 17 au 20 Déc. 2024

Fin d'Inscription :
Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email : Au minimum 15 JOURS OUVRÉS avant la date de formation.
Si vous avez un besoin URGENT et que vous souhaitez une date de formation plus proche que les sessions programmées (minimum 15 à 20 jours ouvrés à date de votre demande)

Objectifs

  • Etre capable de réaliser du scraping de données
  • Faire les actions d'ingestion nécessaires pour alimenter un Data Lake
Programme
1/ Rappels sur les bases du langage Python
  • Présentation des possibilités du langage Python
  • Python pour l'analyse de données : pourquoi ce choix ?
  • Les variables & les typages
  • Les différents types d'instructions
  • Les procédures et fonctions
2/ L'ingestion avec Python
  • Analyse de données avec Pandas
  • DataFrame : Présentation du concept
  • Les structures : Interrogation, Indexation
  • Gérer des données manquantes
  • Fusion de DataFrames
  • Manipuler les dates
  • Mesures statistiques variées sur les DataFrames
  • Comprendre les problèmes d'échelle de mesure, de normalisation
  • Créer les métriques d'analyse
3/ Scraping de données
  • Définition du scraping
  • Présentation de ses différents niveaux de difficulté sur plusieurs supports :
  • Depuis le Web
  • Depuis du papier
  • Depuis des PDF
  • Présentation de quelques projets réalisés grâce au scraping
  • L'architecture d'Internet
  • L'impact d'HTTP et d'HTML sur les scrapers
  • Identifier certains éléments avec une "class" ou un "id"
4/ Python comme solution ETL
  • Différentes formats de données structurées : CSV, flux XML et JSON
  • Lecture et écriture de fichiers
  • Traiter des données de fichiers de différentes sources
  • Fonctions d'accès et de chargement de données en blocs de lignes
  • Outils pour le scraping : Beautiful Soup, CSS Select
5/ Mettre en oeuvre un scraper
  • Un scraper simple (requêtes GET, pages séquencées)
  • Identification de la stratégie à adopter pour naviguer sur le site
  • Codage du scraper
  • Un scraper complexe : envoyer des données à un site Internet pour obtenir des résultats plus complexes
  • Requête POST et GET
  • Parcourir un site pour trouver les données
  • Présentation de la stratégie à adopter
Approche Pédagogique

Approche Pédagogique

  • Pédagogie très opérationnelle fondée sur l'alternance entre théorie et pratique
  • Cas pratiques
  • Remise d’outils
  • Echanges d’expériences
Public Cible

Personnes Visées

  • Développeurs
  • Intégrateurs
  • Chefs de projets
  • Consultants BI
Dates

Dates

  • Du 23 au 26 Avril 2024
  • Du 27 au 30 Août 2024
  • Du 17 au 20 Déc. 2024
  • Fin d'Inscription :
    Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email : Au minimum 15 JOURS OUVRÉS avant la date de formation.