Formation Programmer Hadoop en Java

Votre devis en 3 clics

  • Un support et les exercices du cours pour chaque stagiaire
  • Un formateur expert ayant suivi une formation à la pédagogie
  • Boissons offertes pendant les pauses en inter-entreprises
  • Salles lumineuses et locaux facilement accessibles
  • Méthodologie basée sur l'Active Learning : 75% de pratique minimum
  • Matériel pour les formations présentielles informatiques : un PC par participant
  • Evaluation de fin de formation : Certification CPF ou mise en situation notée par le formateur
Durée :
4 jours
Public :
Toute personne amenée à utiliser, administrer ou déployer SharePoint dans une organisation. Toute personne qui souhaite développer ou administrer des applications SharePoint
Pré-requis :
Avoir une expérience du niveau de la formation 471, Programmation Java : Les fondamentaux, ou plus de 6 mois d'expérience en programmation Java
Objectifs :
- Développer des algorithmes parallèles efficaces - Analyser des fichiers non structurés et développer des tâches Java MapReduce - Charger et récupérer des données de HBase et du système de fichiers distribué Hadoop (HDFS) - User Defined Functions de Hive et Pig
Sanction :
Attestation de fin de stage mentionnant le résultat des acquis
Référence :
BUS100298-F
Demandeurs d'emploi :
Contactez-nous pour connaître les remises Pôle Emploi
Téléchargez le PDF

Introduction

Évaluer la valeur que peut apporter Hadoop à l'entreprise
Examiner l'écosystème d'Hadoop
Choisir un modèle de distribution adapté

Défier la complexité de la programmation parallèle

Examiner les difficultés liées à l'exécution de programmes parallèles : algorithmes, échange des données
Évaluer le mode de stockage et la complexité du Big Data

Programmation parallèle avec MapReduce

Fragmenter et résoudre les problèmes à grande échelle
Découvrir les tâches compatibles avec MapReduce
Résoudre des problèmes métier courants

Appliquer le paradigme Hadoop MapReduce

Configurer l'environnement de développement
Examiner la distribution Hadoop
Étudier les démons Hadoop
Créer les différents composants des tâches MapReduce
Analyser les différentes étapes de traitement MapReduce : fractionnement, mappage, lecture aléatoire et réduction

Créer des tâches MapReduce complexes

Choisir et utiliser plusieurs outils de mappage et de réduction, exploiter les partitionneurs et les fonctions map et reduce intégrées, analyser les données en séries temporelles avec un second tri, rationaliser les tâches dans différents langages de programmation

Résoudre les problèmes de manipulation des données

Exécuter les algorithmes : tris, jointures et recherches parallèles, analyser les fichiers journaux, les données des média sociaux et les courriels

Mise en œuvre des partitionneurs et des comparateurs

Identifier les algorithmes parallèles liés au réseau, au processeur et aux E/S de disque
Répartir la charge de travail avec les partitionneurs
Contrôler l'ordre de groupement et de tri avec les comparateurs
Mesurer les performances avec les compteurs

Bien-fondé des données distribuées

Optimiser les performances du débit des données
Utiliser la redondance pour récupérer les données

Interfacer avec le système de fichiers distribué Hadoop

Analyser la structure et l'organisation du HDFS
Charger des données brutes et récupérer le résultat
Lire et écrire des données avec un programme
Manipuler les types SequenceFile d'Hadoop
Partager des données de référence avec DistributedCache

Structurer les données avec HBase

Passer du stockage structuré au stockage non structuré
Appliquer les principes NoSQL avec une application de modèle à la lecture, se connecter à HBase à partir des tâches MapReduce, comparer HBase avec d'autres types de magasins de données NoSQL

Exploiter la puissance de SQL avec Hive

Structurer bases de données, les tables, les vues et les partitions
Intégrer des travaux MapReduce avec des requêtes Hive
Lancer des requêtes avec HiveQL
Accéder aux servers Hive via IDBC, ajouter des fonctionnalités à HiveQL avec les fonctions définies par l'utilisateur

Exécuter des workflows avec Pig

Développer des scripts Pig Latin pour consolider les workflows, intégrer des requêtes Pig à Java
Interagir avec les données par le biais de la console Grunt
Étendre Pig avec les fonctions définies par l'utilisateur

Tester et déboguer le code Hadoop

Enregistrer des événements importants à auditer et à déboguer
Valider les spécifications avec MRUnit
Déboguer en mode local

Déployer, surveiller et affiner les performances

Déployer la solution sur un cluster de production, utiliser des outils d'administration pour optimiser les performances, surveiller l'exécution des tâches via les interfaces utilisateur web

CopyrightDepot Dawan
Transmettre l’envie d'apprendre, de comprendre, de progresser, de partager : c'est ce qui nous motive chaque jour pour améliorer sans cesse l'entreprise, le travail de nos équipes et la satisfaction de nos clients.
C'est pour cela que nous mettons tout en œuvre pour vous accueillir dans le meilleur des cadres, avec les meilleurs contenus, les meilleurs formateurs, des supports constamment renouvelés et une démarche commerciale résolument innovante.

GAGNER EN QUALITE

Depuis 2000, nous progressons continuellement pour faire évoluer notre catalogue, nos cours, nos supports, notre accueil et notre pédagogie. Nous sommes certifiés OPQF depuis la rentrée 2012 et poursuivons notre démarche qualité en formant constamment nos intervenants aux nouvelles techniques pédagogiques et aux évolutions technologiques.

DEVELOPPER NOTRE EQUIPE DE FORMATEURS INTERNES

Nous avons développé une équipe de professionnels de la pédagogie qui interviennent pour notre propre compte ainsi qu'en sous-traitance pour la plupart de nos confrères. Nous bénéficions ainsi d'une très riche expérience de l'enseignement en nous confrontant constamment à la quasi-globalité des contenus et outils pédagogiques du marché de la formation professionnelle.

ASSURER UNE REACTIVITE COMMERCIALE

Notre équipe de commerciaux est parfaitement formée aux nouvelles technologies et saura répondre à tous les besoins en moins de 48h. Disponibilité, programme, coût : vous aurez une réponse appropriée, claire et vraiment rapide.

CREER DES SUPPORTS INNOVANTS

Nous veillons à ce que nos clients soient parfaitement satisfaits des supports que nous offrons. Aussi, nous avons développé des produits internes très efficaces que nous mixons avec les meilleurs supports du marché. A cela s'ajoute un tutorat mail pendant 30 jours pour que chaque stagiaire puisse poser toutes les questions qui lui viennent après le cours.

SOIGNER L'ACCUEIL DE NOS CLIENTS

Nous mettons un point d'honneur à ce que nos clients soient parfaitement accueillis quand ils viennent chez nous : prise en charge dès leur arrivée, boissons et viennoiseries aux pauses, repas avec les autres stagiaires et formateurs, questions/réponses après les cours. Nos formations représentent une étape de progression et de réflexion dans la carrière de nos clients et nous souhaitons qu'elle se fasse dans les meilleures conditions.

DISPOSER D'UN ENVIRONNEMENT PRIVILEGIE

Nous vous accueillons dans des salles parfaitement adaptées à l'apprentissage : des machines très puissantes pour les formations gourmandes en ressources, des salles lumineuses et climatisées, des locaux faciles d'accès en centre ville et à proximité immédiate des gares etc. Tout a été pensé pour votre confort !

PARTAGER NOTRE SENS DU SERVICE

Nous voulons continuer à vous apporter le meilleur service au meilleur coût. Sollicitez Dawan pour vos besoins de formations et vous découvrirez un organisme réellement désireux de participer à la réussite des projets de ses clients.

formation

Datadock

Dawan bénéficie du soutien du FRED

TOSA
logo OPQF
logo FFP