Big Data Engineering

Big Data ENGINEERING GIN5L08

Enseignant:

Email:

Durée totale du cours: 45 H

Semestre : 5

Option : Ingénierie logicielle

Nombre de crédits : 3

Option ingénierie des connaissances

Nombre de crédits : 2

Sommaire

Objectifs d’apprentissage et compétences visées

• Comprendre les concepts fondamentaux du Big Data, y compris les volumes de données massifs, la variété des données, la vélocité des données, la véracité des données et la valeur des données (les 5V).
• Analyser les défis et les opportunités associés au Big Data dans les domaines de l'ingénierie logicielle.
• Maîtriser les outils et les technologies couramment utilisés dans le traitement des données massives, tels que Hadoop, Spark, Kafka, et les bases de données NoSQL.
• Concevoir des architectures Big Data robustes et évolutives pour répondre aux besoins spécifiques d'une entreprise.
• Acquérir des compétences en collecte, nettoyage, transformation, stockage et analyse de données massives.
• Comprendre les aspects de la sécurité et de la confidentialité liés au Big Data.
• Appliquer les compétences acquises pour résoudre des problèmes concrets en utilisant des ensembles de données volumineux.

Contenu du Cours par Semaine:

• Introduction aux concepts de base du Big Data et aux défis associés.
• Historique et évolution du Big Data.
• Applications du Big Data dans l'ingénierie logicielle.

• Compréhension des architectures Big Data, y compris les architectures en lot et en temps réel.
• Étude de cas d'architectures Big Data populaires.

• Introduction à Hadoop et à son écosystème.
• Programmation MapReduce.
• Traitement de données massives avec Hadoop.

• Introduction à Apache Spark et ses avantages par rapport à Hadoop.
• Programmation Spark en Scala.
• Traitement de données massives en temps réel avec Spark Streaming.

• Comprendre les bases de données NoSQL (MongoDB, Cassandra, etc.).
• Modélisation de données NoSQL.
• Intégration de bases de données NoSQL dans des applications Big Data.

• Compréhension du streaming de données et de ses applications.
• Utilisation d'Apache Kafka pour la gestion du streaming de données.
• Traitement de flux de données en temps réel.

• Questions de sécurité liées au Big Data.
• Protection des données personnelles et conformité.
• Éthique dans l'utilisation des données massives.

• Les étudiants travaillent sur des projets concrets mettant en œuvre les compétences acquises tout au long du cours.
• Présentation des projets et évaluation finale.

Méthodes d’enseignement et d’apprentissage

• Enseignement frontal avec des exemples à résoudre en
• Travaux pratiques (laboratoire)
• Travaux à faire à domicile (mini-projet, exposé, compte-rendu, …)

Connaissances et compétences pré-requises

• Systèmes de gestion de fichiers, BDs relationnelles, Linux, Programmation fonctionnelle, Java, Documents structurés (XML/JSON), web services REST, conteneurs Docker

Références bibliographiques

• Notes de cours (présentations Beamer) et fiches de TP
• Docuementation, Tutoriels et sandbox hortonworks : https://fr.hortonworks.com/tutorials/
• Documentation, tutoriels et sandbox Spark : http://spark.apache.org/docs/latest/
• "Big Data: A Revolution That Will Transform How We Live, Work, and Think" par Viktor Mayer-Schönberger et Kenneth Cukier.
• "Hadoop: The Definitive Guide" par Tom White.
• "Spark: The Definitive Guide" par Bill Chambers et Matei Zaharia.
• "Data-Intensive Text Processing with MapReduce" par Jimmy Lin et Chris Dyer.
• "Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems" par Martin Kleppmann.
• "Streaming Systems: The What, Where, When, and How of Large-Scale Data Processing" par Tyler Akidau, Slava Chernyak, et Tyler Akidau.
• "Big Data Analytics: A Hands-On Approach" par Arshdeep Bahga et Vijay Madisetti.

Modalité d’évaluation

• 40% Contrôle continu (TP noté, Test, Assiduité, Devoir surveillé, travaux non présentiel, …)
• 60% Examen semestriel

Résultat d'apprentissage :

1. Traitement des données massives (Big Data) : Comprendre les concepts fondamentaux du Big Data, y compris la collecte, le stockage, le traitement et l'analyse de grandes quantités de données.
2. Programmation : Maîtriser les langages de programmation couramment utilisés dans le domaine du Big Data, tels que Python, Java, Scala, et posséder des compétences en développement de scripts et d'applications Big Data.
3. Bases de données distribuées : Savoir concevoir, mettre en place et gérer des bases de données distribuées, notamment des technologies telles que Hadoop, Spark, NoSQL, et les entrepôts de données.
4. Analyse de données : Être capable de réaliser des analyses de données avancées, y compris la modélisation prédictive, l'apprentissage automatique, et la visualisation des données.
5. Infrastructure Cloud : Comprendre l'utilisation et la gestion des ressources de cloud computing pour le stockage et le traitement des données, comme Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform (GCP), etc.
6. Sécurité des données : Avoir une compréhension approfondie des principes de sécurité des données, y compris la protection des données sensibles et la conformité aux réglementations.
7. Architecture Big Data : Pouvoir concevoir des architectures Big Data évolutives et performantes en utilisant des composants tels que les clusters Hadoop, les bases de données distribuées, les moteurs de traitement en continu, etc.

1. Communication : Être capable de communiquer efficacement avec des équipes multidisciplinaires, des gestionnaires de projet et des parties prenantes pour expliquer les résultats et les besoins en matière de données.
2. Gestion de projet : Avoir une compréhension de base de la gestion de projet pour planifier, organiser et exécuter des projets Big Data avec succès.
3. Résolution de problèmes : Pouvoir résoudre des problèmes complexes liés aux données, aux performances et à l'infrastructure.
4. Éthique professionnelle : Comprendre les enjeux éthiques liés à la collecte et à l'utilisation des données, et être capable de respecter les normes éthiques dans le traitement des données.
5. Apprentissage continu : Être disposé à suivre les dernières tendances et évolutions technologiques dans le domaine du Big Data et à continuer à se former tout au long de la carrière.
6. Collaboration : Travailler efficacement en équipe avec des ingénieurs logiciels, des scientifiques des données, des administrateurs de bases de données, etc., pour atteindre les objectifs de l'entreprise.
7. Adaptabilité : Être capable de s'adapter aux changements rapides dans le domaine de la technologie et du Big Data