Public : Tous
Durée : 5 jour(s)
Pré-requis : Connaissances en administration système, préférablement Java
Objectifs : Comprendre le Big Data et ses enjeux - Savoir déployer Hadoop et son écosystème - Comprendre HDFS, MapReduce - Structurer les données avec HBase - Ecrire des requêtes avec HiveQL - Installer les services d'un nœud Hadoop - Assembler plusieurs nœuds Hadoop - Déployer une nouvelle application sur un cluster existant - Effectuer une restauration de données suite à une reprise sur incident
Sanction : Attestation de fin de stage mentionnant le résultat des acquis
Taux de retour à l’emploi : Aucune donnée disponible
Référence : BUS101732-F
Accessibilité : Nos formations sont accessibles aux personnes en situation de handicap
3 875,00 € HT
Qu'est-ce que le Big Data ?
Source des données : l'homme, la machine
La problématique de taille
Position de Hadoop dans le paysage
L'origine du projet
Le système de fichiers HDFS
Comprendre l'algorithme MapReduce
L'environnement d'Hadoop : HBase, ZooKeeper, Hive, Pig…
L'API YARN
Du mode autonome au mode complètement distribué en cluster
Pré-requis, distributions Hadoop
Cluster Hadoop : NameNode, ResourceManager, DataNode, NodeManager
Les fichiers de configuration
Opérations de base sur le cluster HDFS : formatage, démarrage, arrêt
Atelier pratique : installer Hadoop sur 2 nœuds, formater et manipuler HDFS
L'intérêt de MapReduce
Mappers, reducers, parallélisme et indépendance des traitements
Entrées, sorties
Soumission d'un job à Hadoop
Atelier pratique : exécuter une tâche via MapReduce, avec sortie dans HDFS
L'accès aléatoire, temps réel, lecture-écriture au Big Data
Fonctionnalités de HBase, NoSQL
Pré-requis, configuration
Manipulation via le shell HBase
Atelier pratique : mettre en place HBase sur Hadoop, créer et manipuler une table
Présentation de Hive
Gérer le schéma : bases, tables, vues, partitions
Manipulation des données, requêtes et map-reduce avec HiveQL
Audits et journal d'erreurs
Atelier pratique : chargement de données massives dans Hive, requêtes
Gérer les logs et l'audit de tâches Hadoop
Découvrir MRUnit pour les test unitaires dans Hadoop
Débogage en local
Surveillance des perfomances
Atelier pratique : mise en place d'un job MapReduce plus complexe avec traces et tests unitaires
Présentation d’un nœud existant
Organisation des services et étude du séquencement avec YARN
Atelier : modifier la taille des blocs HDFS pour diminuer le nombre de Map/Reduce
Relation entre la plateforme installée et les framework de développement
Proposer de frameworks indépendants pour assurer la compatibilité : Spring Data
Atelier : déployer une application d’accès à HBase au travers d’un mapping O/R Spring Data
Déployer un programme Map/Reduce sur un cluster de nœuds Hadoop
Recherche des logs
Remonter les anomalies aux développeurs
Proposer l’usage de file Kafka
Atelier : utilisation de file d’entrée sortie pour un programme Map/Reduce
Définition de routes logicielles
Mettre en place un cas de calcul où les données déclenchent les programmes
Atelier : faire un routage de données depuis un répertoire HDFS vers une file Kafka qui est l’entrée d’un programme Map/Reduce
Utilisation des vues Ambari
Visualisation de l’état des nœuds d’un cluster
Importer/exporter des fichiers de configuration
Atelier : relancer une grappe de services, utilisation des vues YARN et Tez
Gestion des comptes utilisateurs
Gestion des droits de fichier sur un système de fichier distribué
Utilisation de certificat
Atelier : configurer les services Knox et Ranger
Pour suivre une session à distance depuis l'un de nos centres, contactez-nous.
| Lieu | Date | Remisé | Actions |
|---|---|---|---|
| Bordeaux | Du 24/06/2024 au 28/06/2024 | Oui | S'inscrire |
| Bordeaux | Du 23/09/2024 au 27/09/2024 | Oui | S'inscrire |
| Distance | Du 10/06/2024 au 14/06/2024 | Oui | S'inscrire |
| Distance | Du 09/09/2024 au 13/09/2024 | Oui | S'inscrire |
| Distance | Du 02/12/2024 au 06/12/2024 | Oui | S'inscrire |
| Lille | Du 10/06/2024 au 14/06/2024 | Oui | S'inscrire |
| Lille | Du 09/09/2024 au 13/09/2024 | Oui | S'inscrire |
| Lille | Du 02/12/2024 au 06/12/2024 | Oui | S'inscrire |
| Lyon | Du 15/07/2024 au 19/07/2024 | Oui | S'inscrire |
| Lyon | Du 14/10/2024 au 18/10/2024 | Oui | S'inscrire |
| Marseille | Du 15/07/2024 au 19/07/2024 | Oui | S'inscrire |
| Marseille | Du 14/10/2024 au 18/10/2024 | Oui | S'inscrire |
| Montpellier | Du 24/06/2024 au 28/06/2024 | Oui | S'inscrire |
| Montpellier | Du 23/09/2024 au 27/09/2024 | Oui | S'inscrire |
| Nantes | Du 15/07/2024 au 19/07/2024 | Oui | S'inscrire |
| Nantes | Du 14/10/2024 au 18/10/2024 | Oui | S'inscrire |
| Nice | Du 15/07/2024 au 19/07/2024 | Oui | S'inscrire |
| Nice | Du 14/10/2024 au 18/10/2024 | Oui | S'inscrire |
| Paris | Du 10/06/2024 au 14/06/2024 | Oui | S'inscrire |
| Paris | Du 09/09/2024 au 13/09/2024 | Oui | S'inscrire |
| Paris | Du 02/12/2024 au 06/12/2024 | Oui | S'inscrire |
| Rennes | Du 15/07/2024 au 19/07/2024 | Oui | S'inscrire |
| Rennes | Du 14/10/2024 au 18/10/2024 | Oui | S'inscrire |
| Strasbourg | Du 15/07/2024 au 19/07/2024 | Oui | S'inscrire |
| Strasbourg | Du 14/10/2024 au 18/10/2024 | Oui | S'inscrire |
| Toulouse | Du 24/06/2024 au 28/06/2024 | Oui | S'inscrire |
| Toulouse | Du 23/09/2024 au 27/09/2024 | Oui | S'inscrire |
Bât Ravezies - 2e étage 250 avenue Emile Counord
33300 Bordeaux
Liaison directe de la gare Bordeaux Saint-Jean via le tram C
Rue de la Loi, 23
1040 Bruxelles
32 Boulevard Vincent Gâche
44000 Nantes
c/o CCI France Suisse Route de Jussy 35 Case postale 6298
CH-1211 Thônex - Genève
46 rue des Canonniers - 2è étage
59800 Lille
Proche des deux gares
5 Rue Goethe
L-1637 Luxembourg
62 rue de Bonnel - 1er étage Ascenseur à droite de l'entrée
69003 Lyon
38/40 rue de la République Escalier A, 1er étage
13001 Marseille
A proximité du vieux port
26 Allée de Mycènes Le Thèbes, Bât. A, 3è étage
34000 Montpellier
Quartier Antigone
32 Boulevard Vincent Gâche
44200 Nantes
455 promenade des Anglais Bât Arenice, 7è étage
06200 Nice
11 rue Antoine Bourdelle
75015 Paris
dans le 15e arrondissement
3 place du Général Giraud
35000 Rennes
4 rue de Sarrelouis - 4è étage
67000 Strasbourg
1 place Occitane Bât. Le Sully - 4è étage
31000 Toulouse
Proche de Jean-Jaurès et du Capitole