Théorie de l’information et codage

Théorie de l’information et codage  GT3108

Enseignant:

Email:

Durée totale du cours: 31.5 H

Semestre : 3

Nombre de crédits : 2

Modules spécialisés	Modules de base	Sciences et techniques de l'ingénierie	Préparation à la carrière professionnelle
		X

 

Nombre d’heures		Activités hors classe
45		38
cours	TD		TP
21	10.5

Sommaire:

La théorie de l'information est une branche des mathématiques et de l'informatique qui étudie la quantité d'information contenue dans un message et les méthodes de sa transmission, sa compression et son stockage. Elle a été développée par Claude Shannon dans les années 1940

Code

GT3108

Théorie de l’information et codage

Objectifs :

Ce cours explique comment mesurer, représenter et communiquer efficacement des informations. Pourquoi les bits sont devenus la monnaie universelle pour l'échange d'informations. Comment la théorie de l'information influe sur la conception et le fonctionnement des systèmes modernes tels que les smartphones et Internet. Des mesures d'information sont d'abord introduites, puis appliquées à l'analyse des performances théoriques réalisables en compression de données et en communication sur des canaux bruités. L'objectif du cours est d'enseigner aux étudiants comment les concepts liés au codage de source et à la capacité des canaux sont utilisés pour modéliser, analyser et concevoir des systèmes de communication modernes afin de permettre un traitement efficace de l'information. Étant donné que l'application de ces concepts est un aspect fondamental de tout système de communication moderne, un autre objectif est d'établir des liens concrets entre ces concepts et les technologies avancées utilisées pour traiter l'information dans différents systèmes. Dans ce but, un projet pourra être assigné pour appliquer les concepts et principes appris au cours des cours. Outre les objectifs ci-dessus, le cours met en œuvre des «classes collaboratives», une nouvelle initiative lancée par comme moyen d'internationaliser l'enseignement.

Sujets couverts :

Semaine 1-2 : Introduction à la Théorie de l’Information

• Contenu :
  • Fondements de la théorie de l'information de Shannon
  • Entropie et information mutuelle
  • Codage de source vs codage de canal
• Activités :
  • Cours magistraux, lectures et discussions dirigées

Semaine 3-4 : Codage de Source

• Contenu :
  • Codage de Huffman
  • Codage de Shannon-Fano
  • Codage arithmétique
• Activités :
  • Exercices pratiques, travaux dirigés

Semaine 5-6 : Codage de Canal

• Contenu :
  • Capacité d'un canal
  • Théorème du codage canal-source
  • Codes correcteurs d'erreurs
• Activités :
  • Études de cas, simulations

Semaine 7-8 : Codes Linéaires

• Contenu :
  • Codes de Hamming
  • Codes cycliques
  • Codes BCH
• Activités :
  • Exercices de résolution de problèmes, travaux dirigés

Semaine 9-10 : Codes Convolutifs

• Contenu :
  • Codage convolutif
  • Décodeurs Viterbi
  • Applications en télécommunication
• Activités :
  • Laboratoires pratiques, projets

Semaine 11-12 : Compression de Données

• Contenu :
  • Algorithmes de compression sans perte (ex. LZW, Run-Length Encoding)
  • Compression avec perte (ex. JPEG, MP3)
• Activités :
  • Études de cas, analyse de performances

Semaine 13-14 : Applications en Génie Logiciel

• Contenu :
  • Intégration de la théorie de l'information dans le développement de logiciels
  • Sécurité des communications et cryptographie
• Activités :
  • Projets de groupe, présentations

Semaine 15-16 : Projet Final

• Contenu :
  • Application des connaissances acquises dans un projet pratique
  • Développement, implémentation et évaluation d'un système basé sur la théorie de l'information et le codage.
• Activités :
  • Présentation des projets, évaluations

Méthodes d’enseignement et d’apprentissage

¨Enseignement frontal (magistral) avec des exemples à résoudre en commun. ¨Exercices théoriques et études de cas (présentation et discussion).

• Apprentissage mixte et classe inversée
• MOOC & Classroom

Connaissances et compétences pré-requises

Ce cours nécessite une connaissance de base en informatique et une solide compréhension de la théorie des probabilités et des variables aléatoires.

Références bibliographiques

• Un support de cours de l’enseignant sera
• DJC MacKay , Théorie de l'information, inférence et algorithmes d'apprentissage , Editeur : DJ Cambridge University Press, 2003
• RG Gallager , Théorie de l'information et communication fiable , Éditeur : John Wiley & Sons, 1968

• "Information Theory, Inference, and Learning Algorithms" - David MacKay
• "Introduction to the Theory of Information and Coding" - Imre Csiszár, János Körner
• "Channel Codes: Classical and Modern" - William Ryan, Shu Lin

Modalité d’évaluation

L'évaluation consistera en un examen écrit et un contôle continu. La partie écrite se compose d'exercices numériques et de questions ouvertes sur les thèmes abordés dans le cours.

Évaluation :

• Participation en classe : 10%
• Travaux pratiques et devoirs : 30%
• Projet final : 30%
• Examen final : 30%

Résultats d'apprentissage :

1 - Connaissances et compréhension A la fin du cours, les étudiants devraient être capables de : - définir la mesure quantitative de l'information - connaître les compétences théoriques et méthodologiques liées au concept d'information - comprendre les propriétés de l'entropie, l'information mutuelle telle qu'elle s'applique au traitement de l'information - définir les problèmes de codage source et canal multi-terminaux et décrire les théorèmes de codage concernant la compression distribuée, l'accès multiple et la diffusion. 2 - Appliquer les connaissances et comprendre A la fin du cours, les étudiants doivent être capables de : - comprendre et résoudre des problèmes complexes dans différents domaines interdisciplinaires - intégrer et trouver et réadapter individuellement des solutions connues à des problèmes croissants - analyser l'incertitude en termes d'information entropie et autres mesures d'information - résumer et présenter les résultats obtenus au cours des activités d'analyse et de spécification 3 - Porter des jugements A l'issue du cours, les étudiants devraient être capables de : - définir des modèles mathématiques en considérant les aspects informationnels d'un système et les mesures - évaluer des schémas concrets de compression et de communication   Voici les cinq Descripteurs de Dublin associés au EQF : Niveau 1 : Connaissances et compréhension de base. Niveau 2 : Compétences cognitives et pratiques générales. Niveau 3 : Compétences spécialisées et autonomie limitée. Niveau 4 : Compétences avancées et autonomie. Niveau 5 : Compétences hautement spécialisées et autonomie experte.