Théorie de l’information et codage

Théorie de l’information et codage  GT3108

Enseignant:

Email:

Durée totale du cours: 22.5 H

Semestre : 2

Nombre de crédits : 2

Modules spécialisés	Modules de base	Sciences et techniques de l’ingénierie	Préparation à la carrière professionnelle
		X

 

Nombre d’heures		Activités hors classe
45		38
cours	TD		TP
22.5

Sommaire:

La théorie de l’information est une branche des mathématiques et de l’informatique qui étudie la quantité d’information contenue dans un message et les méthodes de sa transmission, sa compression et son stockage. Elle a été développée par Claude Shannon dans les années 1940

Code

GT3108

Théorie de l’information et codage

Objectifs :

Ce cours explique comment mesurer, représenter et communiquer efficacement des informations. Pourquoi les bits sont devenus la monnaie universelle pour l’échange d’informations. Comment la théorie de l’information influe sur la conception et le fonctionnement des systèmes modernes tels que les smartphones et Internet. Des mesures d’information sont d’abord introduites, puis appliquées à l’analyse des performances théoriques réalisables en compression de données et en communication sur des canaux bruités. L’objectif du cours est d’enseigner aux étudiants comment les concepts liés au codage de source et à la capacité des canaux sont utilisés pour modéliser, analyser et concevoir des systèmes de communication modernes afin de permettre un traitement efficace de l’information. Étant donné que l’application de ces concepts est un aspect fondamental de tout système de communication moderne, un autre objectif est d’établir des liens concrets entre ces concepts et les technologies avancées utilisées pour traiter l’information dans différents systèmes. Dans ce but, un projet pourra être assigné pour appliquer les concepts et principes appris au cours des cours. Outre les objectifs ci-dessus, le cours met en œuvre des «classes collaboratives», une nouvelle initiative lancée par comme moyen d’internationaliser l’enseignement.

Sujets couverts :

1 – Introduction à la théorie de l’information Contexte historique. Introduction à la théorie de l’information et ses applications. 2 – Entropie et codage source Entropie d’une source sans mémoire. Codage des sources sans mémoire. Codes de préfixe. Inégalité de Kraft. Codes de Huffman et codes de Shannon. Théorèmes de codage de source (pour les sources sans mémoire). Entropie conjointe et entropie conditionnelle. Règles de la chaîne. Entropie des sources avec mémoire. Théorème de codage source. Méthodes pratiques de codage de source. Codes universels. Codage arithmétique. 3 – Capacité des canaux Modèles de canaux. Canaux discrets. Informations mutuelles. Inégalité de traitement des données. Capacité du canal. Codage des informations pour transmission sur des canaux non fiables. Entropie, information mutuelle et capacité de canaux continus. Canal AWGN gaussien. Théorème de codage de canal. Exposant d’erreur. L’inégalité de Fano. 4 – Théorie de l’information réseau Codage source Slepian-Wolf. Canaux à accès multiple. Régions de capacité. Canal gaussien à accès multiple. Chaîne de diffusion gaussienne. 5 – Codes correcteurs d’erreurs et théorie de l’information de longueur finie Définitions de base et préliminaires. Codes binaires de bloc et de convolution. Codes itératifs (LDPC). Conception de codes courts et théorie de l’information de longueur finie. Compromis entre le débit de transmission et la probabilité d’erreur de paquet. Atteignabilité et bornes inverses. L’approximation normale. 6 – Projet sur des sujets choisis Le laboratoire du projet comprendra des discussions en classe encadrées par l’enseignant du cours et les chercheurs des entreprises invitées.

Méthodes d’enseignement et d’apprentissage

¨Enseignement frontal (magistral) avec des exemples à résoudre en commun. ¨Exercices théoriques et études de cas (présentation et discussion). Apprentissage mixte et classe inversée MOOC & Classroom

Connaissances et compétences pré-requises

Ce cours nécessite une connaissance de base en informatique et une solide compréhension de la théorie des probabilités et des variables aléatoires.

Références bibliographiques

Un support de cours de l’enseignant sera disponible. DJC MacKay , Théorie de l’information, inférence et algorithmes d’apprentissage , Editeur : DJ Cambridge University Press, 2003 RG Gallager , Théorie de l’information et communication fiable , Éditeur : John Wiley & Sons, 1968

Modalité d’évaluation

40% Contrôle continu (TP noté, Test, Assiduité, Devoir surveillé, travaux non présentiel, …) 60% Examen semestriel L’évaluation consistera en un examen écrit et un contôle continu. La partie écrite se compose d’exercices numériques et de questions ouvertes sur les thèmes abordés dans le cours.

Résultats d’apprentissage :

1 – Connaissances et compréhension A la fin du cours, les étudiants devraient être capables de : – définir la mesure quantitative de l’information – connaître les compétences théoriques et méthodologiques liées au concept d’information – comprendre les propriétés de l’entropie, l’information mutuelle telle qu’elle s’applique au traitement de l’information – définir les problèmes de codage source et canal multi-terminaux et décrire les théorèmes de codage concernant la compression distribuée, l’accès multiple et la diffusion. 2 – Appliquer les connaissances et comprendre A la fin du cours, les étudiants doivent être capables de : – comprendre et résoudre des problèmes complexes dans différents domaines interdisciplinaires – intégrer et trouver et réadapter individuellement des solutions connues à des problèmes croissants – analyser l’incertitude en termes d’information entropie et autres mesures d’information – résumer et présenter les résultats obtenus au cours des activités d’analyse et de spécification 3 – Porter des jugements A l’issue du cours, les étudiants devraient être capables de : – définir des modèles mathématiques en considérant les aspects informationnels d’un système et les mesures – évaluer des schémas concrets de compression et de communication   Voici les cinq Descripteurs de Dublin associés au EQF : Niveau 1 : Connaissances et compréhension de base. Niveau 2 : Compétences cognitives et pratiques générales. Niveau 3 : Compétences spécialisées et autonomie limitée. Niveau 4 : Compétences avancées et autonomie. Niveau 5 : Compétences hautement spécialisées et autonomie experte.