> Formations > Technologies numériques > Intelligence Artificielle, Big Data > Big Data > Formation Hadoop, développement > Formations > Technologies numériques > Formation Hadoop, développement
Nouvelle formation Formation référencée dans une action collective

Formation : Hadoop, développement

Hadoop, développement

Télécharger le programme Partager cette formation

Télécharger le programme Partager cette formation

Ce cours vous apprendra à développer des applications vous permettant de traiter des données distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop afin de mettre en place des chaînes de traitement intégrées à votre système d'information.


Inter
Intra
Sur mesure

Cours pratique en présentiel ou en classe à distance

Réf. HDD
Prix : 2320 € H.T.
  3j - 21h00
Pauses-café et
déjeuners offerts
Financements
Nous contacter




Ce cours vous apprendra à développer des applications vous permettant de traiter des données distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop afin de mettre en place des chaînes de traitement intégrées à votre système d'information.

Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
  • Comprendre l’écosystème Hadoop Cloudera/Hortonworks
  • Présenter les principes du Framework Hadoop
  • Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d'ensembles de données volumineux
  • Développer des algorithmes parallèles efficaces avec MapReduce
  • Charger des données non structurées des systèmes HDFS et HBase

Public concerné
Développeurs, chefs de projets, data-scientists, architectes

Prérequis
Avoir la connaissance d'un langage de programmation objet comme Java et du scripting.
Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant  ce test.

Programme de la formation

Le Big Data

  • Définition du périmètre du Big Data.
  • Le rôle du projet Hadoop.
  • Les concepts de base des projets Big Data.
  • Présentation du Cloud Computing.
  • Différence entre Cloud Computing privé et public.
  • Les architectures Big Data à base de projet Hadoop.
  • L’écosystème Hadoop Cloudera/Hortonworks.
Démonstration
Usage d'Hadoop.

Collecte de données et application de Map Reduce

  • Analyse des flux de données dans l'entreprise.
  • Données structurées et non-structurées.
  • Les principes de l'analyse sémantique des données d'entreprise.
  • Graphe des tâches à base de MapReduce.
  • La granularité de cohérence des données.
  • Transfert de données depuis un système de persistance dans Hadoop.
  • Transfert de données d'un Cloud dans Hadoop.
Travaux pratiques
Gérer la collecte d'informations clientèles par Map Reduce. Configuration de l'implémentation YARN. Développement d'une tâche basée sur Map Reduce.

Le stockage des données avec HBase

  • Plusieurs types de base de données XML.
  • Patterns d'usages et application au Cloud.
  • Application de Hadoop database au sein d'un workflow.
  • Utilisation des projets Hive/Pig.
  • Utilisation du projet HCatalog.
  • L'API Java HBase.
Travaux pratiques
Gérer les modifications d'un catalogue de données.

Le stockage des données sur HDFS

  • Patterns d'usages et application au Cloud.
  • Architecture et installation d'un système HDFS, journal, NameNode, DataNode.
  • Opérations, commandes et gestion des commandes.
  • L'API HDFS Java.
  • Analyse de données avec Apache Pig.
  • Le langage Pig Latin. Utiliser Apache Pig avec Java.
  • Requêtage avec Apache Hive.
  • Réplication de données. Partage de données sur une architecture HDFS.
Travaux pratiques
Administrer un référentiel client partagé sur Hadoop. Utilisation de la console de visualisation.


Modalités pratiques
Développement d'applications pour le Big Data.
Méthodes pédagogiques;
Cours 30%, travaux pratiques 70%.

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Solutions de financement
Pour trouver la meilleure solution de financement adaptée à votre situation : contactez votre conseiller formation.
Il vous aidera à choisir parmi les solutions suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • France Travail sous réserve de l’acceptation de votre dossier par votre conseiller France Travail.
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • France Travail sous réserve de l’acceptation de votre dossier par votre conseiller France Travail.

Financement par les actions collectives ou clé en main
Jusqu’à 100% de prise en charge des frais pédagogiques de la formation dans la cadre des actions collectives ou des tarifs négociés avec les actions « clé en main » mises en place par les OPCO. Cliquez sur l’OPCO pour découvrir les modalités financières associées

Horaires
En présentiel, les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.
Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 16h le dernier jour.

Dates et lieux
Sélectionnez votre lieu ou optez pour la classe à distance puis choisissez votre date.
Classe à distance