Partie 1 | Préliminaires

Vue d’ensemble

Cette partie pose les bases : ce qu’est le big data (les 5V) et pourquoi il faut distribuer le calcul, puis le modèle MapReduce qui rend possible le traitement parallèle de données massives.

Objectifs

À l’issue de cette partie, chaque étudiant.e sera capable de :

• Caractériser le big data par les 5V et expliquer les défis du calcul distribué

• Décrire le modèle MapReduce (map, regroupement par clé, reduce)

• Modéliser des problèmes classiques en MapReduce (word count, produit matrice-vecteur, opérations relationnelles)

Organisation

• Chapitre 1 : Introduction au big data
  • Objectifs
  • 1. Taille et ordres de grandeur
  • 2. Les 5V du big data
  • 3. Big data et data mining
  • 4. Pourquoi distribuer le calcul ?
  • Exercices
• Chapitre 2 : MapReduce
  • Objectifs
  • 1. Le modèle
  • 2. Exemple canonique : word count
  • 3. Produit matrice-vecteur
  • 4. Opérations relationnelles
  • 5. Exécution et tolérance aux pannes
  • Exercices