Public : Développeurs Java, Administrateurs (DBA ou systèmes)
Durée : 5 jour(s)
Pré-requis : Maîtrise de la programmation orientée objets en Java
Objectifs : - Développer des algorithmes parallèles efficaces - Analyser des fichiers non structurés et développer des tâches Java MapReduce - Charger et récupérer des données de HBase et du système de fichiers distribué Hadoop (HDFS) - User Defined Functions de Hive et Pig
Sanction : Attestation de fin de stage mentionnant le résultat des acquis
Taux de retour à l’emploi : Aucune donnée disponible
Référence : BUS101601-F
Accessibilité : Nos formations sont accessibles aux personnes en situation de handicap
3 875,00 € HT
Évaluer la valeur que peut apporter Hadoop à l'entreprise
Examiner l'écosystème d'Hadoop
Choisir un modèle de distribution adapté
Examiner les difficultés liées à l'exécution de programmes parallèles : algorithmes, échange des données
Évaluer le mode de stockage et la complexité du Big Data
Fragmenter et résoudre les problèmes à grande échelle
Découvrir les tâches compatibles avec MapReduce
Résoudre des problèmes métier courants
Configurer l'environnement de développement
Examiner la distribution Hadoop
Étudier les démons Hadoop
Créer les différents composants des tâches MapReduce
Analyser les différentes étapes de traitement MapReduce : fractionnement, mappage, lecture aléatoire et réduction
Choisir et utiliser plusieurs outils de mappage et de réduction, exploiter les partitionneurs et les fonctions map et reduce intégrées, analyser les données en séries temporelles avec un second tri, rationaliser les tâches dans différents langages de programmation
Exécuter les algorithmes : tris, jointures et recherches parallèles, analyser les fichiers journaux, les données des média sociaux et les courriels
Identifier les algorithmes parallèles liés au réseau, au processeur et aux E/S de disque
Répartir la charge de travail avec les partitionneurs
Contrôler l'ordre de groupement et de tri avec les comparateurs
Mesurer les performances avec les compteurs
Optimiser les performances du débit des données
Utiliser la redondance pour récupérer les données
Analyser la structure et l'organisation du HDFS
Charger des données brutes et récupérer le résultat
Lire et écrire des données avec un programme
Manipuler les types SequenceFile d'Hadoop
Partager des données de référence avec DistributedCache
Passer du stockage structuré au stockage non structuré
Appliquer les principes NoSQL avec une application de modèle à la lecture, se connecter à HBase à partir des tâches MapReduce, comparer HBase avec d'autres types de magasins de données NoSQL
Structurer bases de données, les tables, les vues et les partitions
Intégrer des travaux MapReduce avec des requêtes Hive
Lancer des requêtes avec HiveQL
Accéder aux servers Hive via IDBC, ajouter des fonctionnalités à HiveQL avec les fonctions définies par l'utilisateur
Enregistrer des événements importants à auditer et à déboguer
Valider les spécifications avec MRUnit
Déboguer en mode local
Déployer la solution sur un cluster de production
Uutiliser des outils d'administration pour optimiser les performances
Surveiller l'exécution des tâches via les interfaces utilisateur web
Pour suivre une session à distance depuis l'un de nos centres, contactez-nous.
Aucune date de programmée actuellement. Pour plus d'information sur les prochaines sessions, nous vous invitons à joindre le service commercial par téléphone au 09 72 37 73 73 (prix d'un appel local) ou depuis notre formulaire de contact.
Bât Ravezies - 2e étage 250 avenue Emile Counord
33300 Bordeaux
Liaison directe de la gare Bordeaux Saint-Jean via le tram C
Rue de la Loi, 23
1040 Bruxelles
32 Boulevard Vincent Gâche
44000 Nantes
c/o CCI France Suisse Route de Jussy 35 Case postale 6298
CH-1211 Thônex - Genève
46 rue des Canonniers - 2è étage
59800 Lille
Proche des deux gares
5 Rue Goethe
L-1637 Luxembourg
62 rue de Bonnel - 1er étage Ascenseur à droite de l'entrée
69003 Lyon
38/40 rue de la République Escalier A, 1er étage
13001 Marseille
A proximité du vieux port
26 Allée de Mycènes Le Thèbes, Bât. A, 3è étage
34000 Montpellier
Quartier Antigone
32 Boulevard Vincent Gâche
44200 Nantes
455 promenade des Anglais Bât Arenice, 7è étage
06200 Nice
11 rue Antoine Bourdelle
75015 Paris
dans le 15e arrondissement
3 place du Général Giraud
35000 Rennes
4 rue de Sarrelouis - 4è étage
67000 Strasbourg
1 place Occitane Bât. Le Sully - 4è étage
31000 Toulouse
Proche de Jean-Jaurès et du Capitole