Formation Apache Spark

Votre devis en 3 clics

  • Un support et les exercices du cours pour chaque stagiaire
  • Un formateur expert ayant suivi une formation à la pédagogie
  • Boissons offertes pendant les pauses en inter-entreprises
  • Salles lumineuses et locaux facilement accessibles
  • Méthodologie basée sur l'Active Learning : 75% de pratique minimum
  • Matériel pour les formations présentielles informatiques : un PC par participant
  • Evaluation de fin de formation : Certification CPF ou mise en situation notée par le formateur
Durée :
4 jours
Public :
Développeurs, architectes système et responsables techniques qui veulent déployer des solutions Spark dans leur entreprise
Pré-requis :
Maîtrise de la programmation orientée objet en Java ou en C#
Objectifs :
- Développer des applications avec Spark - Utiliser les bibliothèques pour SQL, les flux de données et l'apprentissage automatique - Retranscrire des difficultés rencontrées sur le terrain dans des algorithmes parallèles - Développer des applications métier qui s'intègrent à Spark
Sanction :
Attestation de fin de stage mentionnant le résultat des acquis
Référence :
BUS100299-F
Demandeurs d'emploi :
Contactez-nous pour connaître les remises Pôle Emploi
Téléchargez le PDF

Introduction

Définition du Big Data et des calculs
À quoi sert Spark
Quels sont les avantages de Spark

Applications évolutives

Identifier les limites de performances des CPU modernes
Développer les modèles de traitement en parallèle traditionnels

Créer des algorithmes parallèles

Utiliser la programmation fonctionnelle pour l'exécution des programmes en parallèles
Retranscrire des difficultés rencontrées sur le terrain dans des algorithmes parallèles

Structures de données parallèles

Répartir les données dans le cluster avec les RDD (Resilient Distributed Datasets) et les DataFrames
Répartir l'exécution des tâches entre plusieurs nœuds
Lancer les applications avec le modèle d'exécution de Spark

Structure des clusters Spark

Créer des clusters résilients et résistants aux pannes
Mettre en place un système de stockage distribué évolutif

Gestion du cluster

Surveillance et administration des applications Spark
Afficher les plans d'exécution et les résultats

Choisir l'environnement de développement

Réaliser une analyse exploratoire avec le shell Spark
Créer des applications Spark autonomes

Utiliser les API Spark

Programmation avec Scala et d'autres langages compatibles
Créer des applications avec les API de base
Enrichir les applications avec les bibliothèques intégrées

Interroger des données structurées

Traiter les requêtes avec les DataFrames et le code SQL embarqué
Développer SQL avec les fonctions définies par l'utilisateur (UDF)
Utiliser les ensembles de données aux formats JSON et Parquet

Intégration à des systèmes externes

Connexion aux bases de données avec JDBC
Lancer des requêtes Hive sur des applications externes

Qu'appelle-t-on flux de données ?

Utiliser des fenêtres glissantes
Déterminer l'état d'un flux de données continu
Traiter des flux de données simultanés
Améliorer les performances et la fiabilité

Traiter les flux des sources de données

Traiter les flux des sources intégrées (fichiers journaux, sockets Twitter, Kinesis, Kafka)
Développer des récepteurs personnalisés
Traiter les données avec l'API Streaming et Spark SQL

Classer les observations

Prévoir les résultats avec l'apprentissage supervisé
Créer un élément de classification pour l'arbre de décision

Identifier les schémas récurrents

Regrouper les données avec l'apprentissage non supervisé
Créer un cluster avec la méthode k-means

Développer des applications métier avec Spark

Mise à disposition de Spark via un service Web RESTful
Générer des tableaux de bord avec Spark

Utiliser Spark sous forme de service

Service cloud vs. sur site
Choisir un fournisseur de services (AWS, Azure, Databricks, etc.)

Développer Spark pour les clusters de grande taille
Améliorer la sécurité des clusters multifournisseurs
Suivi du développement continu de produits Spark sur le marché
Projet Tungsten : repousser les performances à la limite des capacités des équipements modernes
Utiliser les projets développés avec Spark
Revoir l'architecture de Spark pour les plateformes mobiles

CopyrightDepot Dawan
Transmettre l’envie d'apprendre, de comprendre, de progresser, de partager : c'est ce qui nous motive chaque jour pour améliorer sans cesse l'entreprise, le travail de nos équipes et la satisfaction de nos clients.
C'est pour cela que nous mettons tout en œuvre pour vous accueillir dans le meilleur des cadres, avec les meilleurs contenus, les meilleurs formateurs, des supports constamment renouvelés et une démarche commerciale résolument innovante.

GAGNER EN QUALITE

Depuis 2000, nous progressons continuellement pour faire évoluer notre catalogue, nos cours, nos supports, notre accueil et notre pédagogie. Nous sommes certifiés OPQF depuis la rentrée 2012 et poursuivons notre démarche qualité en formant constamment nos intervenants aux nouvelles techniques pédagogiques et aux évolutions technologiques.

DEVELOPPER NOTRE EQUIPE DE FORMATEURS INTERNES

Nous avons développé une équipe de professionnels de la pédagogie qui interviennent pour notre propre compte ainsi qu'en sous-traitance pour la plupart de nos confrères. Nous bénéficions ainsi d'une très riche expérience de l'enseignement en nous confrontant constamment à la quasi-globalité des contenus et outils pédagogiques du marché de la formation professionnelle.

ASSURER UNE REACTIVITE COMMERCIALE

Notre équipe de commerciaux est parfaitement formée aux nouvelles technologies et saura répondre à tous les besoins en moins de 48h. Disponibilité, programme, coût : vous aurez une réponse appropriée, claire et vraiment rapide.

CREER DES SUPPORTS INNOVANTS

Nous veillons à ce que nos clients soient parfaitement satisfaits des supports que nous offrons. Aussi, nous avons développé des produits internes très efficaces que nous mixons avec les meilleurs supports du marché. A cela s'ajoute un tutorat mail pendant 30 jours pour que chaque stagiaire puisse poser toutes les questions qui lui viennent après le cours.

SOIGNER L'ACCUEIL DE NOS CLIENTS

Nous mettons un point d'honneur à ce que nos clients soient parfaitement accueillis quand ils viennent chez nous : prise en charge dès leur arrivée, boissons et viennoiseries aux pauses, repas avec les autres stagiaires et formateurs, questions/réponses après les cours. Nos formations représentent une étape de progression et de réflexion dans la carrière de nos clients et nous souhaitons qu'elle se fasse dans les meilleures conditions.

DISPOSER D'UN ENVIRONNEMENT PRIVILEGIE

Nous vous accueillons dans des salles parfaitement adaptées à l'apprentissage : des machines très puissantes pour les formations gourmandes en ressources, des salles lumineuses et climatisées, des locaux faciles d'accès en centre ville et à proximité immédiate des gares etc. Tout a été pensé pour votre confort !

PARTAGER NOTRE SENS DU SERVICE

Nous voulons continuer à vous apporter le meilleur service au meilleur coût. Sollicitez Dawan pour vos besoins de formations et vous découvrirez un organisme réellement désireux de participer à la réussite des projets de ses clients.

formation

Datadock

Dawan bénéficie du soutien du FRED

TOSA
logo OPQF
logo FFP