Introduction to Deep Learning for the Physical Layer

Introduction to Deep Learning for the Physical Layer

Enseignant:

Email:

Durée totale du cours: 22.5 H

Semestre : 5 option Réseaux et Services Mobiles (RSM)

Nombre de crédits : 1

Modules spécialisés	Modules de base	Sciences et techniques de l'ingénierie	Préparation à la carrière professionnelle
		X

 

Nombre d’heures		Activités hors classe
22.5		18
cours	TD		TP
16.5	6

 

Code

:GTIAI02

Introduction to Deep Learning for the Physical Layer

Volume Horaire : 1h30 Cours intégrés +Travaux pratiques (par semaine)

Description de la formation

Obtenez une introduction aux concepts clés de l'apprentissage en profondeur et à leurs applications pratiques aux problèmes de communication, allant de l'estimation de canal, sur un récepteur OFDM neuronal complet, à un système de communication basé sur un réseau entièrement neuronal qui ne utiliser n'importe quel algorithme traditionnel.

Objectifs d’apprentissage et compétences visées

Ce cours fournit d'abord un aperçu de l'architecture RAN actuelle basée sur 3GPP, couvrant différentes options de déploiement telles que D-RAN, C-RAN et V-RAN. Dans ce contexte, les options de division du RAN sont discutées, en se concentrant sur la division des couches supérieure et inférieure (HLS et LLS, respectivement). Ensuite, les limitations et les frais généraux résultant des aspects propriétaires des solutions RAN non ouvertes basées sur le 3GPP sont analysés, jetant les bases de la présentation du cadre O-RAN. La proposition O-RAN est d'abord introduite par la présentation de l'effort de normalisation pertinent, de l'écosystème, des parties impliquées et de l'état actuel du déploiement. Ensuite, les aspects techniques de l'O-RAN sont analysés, y compris l'architecture, les interfaces, les aspects logiciels et matériels et le rôle de la virtualisation. Une analyse détaillée du rôle des contrôleurs intelligents RAN (RIC) est fournie, expliquant comment l'architecture des RIC ouvre le RAN à des solutions et fonctionnalités innovantes. Enfin, l'instructeur présente des études de cas des premiers utilisateurs de l'O-RAN, résumant les principales conclusions de ces premiers déploiements et discutant des défis et menaces potentiels de l'O-RAN.

Contenu

Semaine 1-2: Introduction to Deep Learning and Telecommunications

• Introduction to deep learning: history, basic concepts, and applications.
• Overview of telecommunications and the role of the physical layer.
• Challenges in optimizing the physical layer for wireless communication.

Semaine 3-4: Fundamentals of Telecommunication Systems

• Review of wireless communication systems: modulation, multiplexing, and multiple access techniques.
• Channel impairments: noise, fading, and interference.

Semaine 5-6: Basics of Neural Networks

• Fundamentals of artificial neural networks (ANNs).
• Activation functions, loss functions, and optimization algorithms.
• Building and training a simple feedforward neural network.

Semaine 7-8: Convolutional Neural Networks (CNNs) for Signal Processing

• Introduction to CNNs and their applications in image and signal processing.
• CNN architecture and layers: convolutional, pooling, and fully connected layers.
• Adaptation of CNNs for analyzing wireless signals.

Semaine 9-10: Recurrent Neural Networks (RNNs) for Sequence Modeling

• Understanding sequential data and the need for recurrent neural networks.
• Structure of RNNs: recurrent layers, sequence-to-sequence models.
• Application of RNNs in time-series data and wireless channel modeling.

Semaine 11-12: Autoencoders and Feature Learning

• Concept of autoencoders for unsupervised feature learning.
• Variants: denoising autoencoders, sparse autoencoders.
• Leveraging autoencoders for signal denoising and feature extraction in telecommunications.

Semaine 13-14: Generative Adversarial Networks (GANs) for Signal Generation

• Introduction to GANs: generator and discriminator networks.
• Training process, loss functions, and applications of GANs.
• Using GANs for generating realistic wireless channel simulations.

Semaine 15-16: Deep Learning for Physical Layer Optimization

• Application of deep learning for modulation recognition and signal demodulation.
• Using deep learning to mitigate channel impairments: noise reduction, equalization.
• Future trends and challenges in integrating deep learning with the physical layer.

Les sujets suivants seront abordés :

• Partie I - Introduction et introduction à l'apprentissage automatique et à l'apprentissage en profondeur
• Introduction et bases de l'apprentissage automatique
• Qu'est-ce que le ML/IA ?
• Quand (ne pas) utiliser le ML ?
• Que peut faire le ML pour les communications ?
• 3GPP Rel. 18 activités ML/IA
• Composants d'un système ML
• Réseaux de neurones feed-forward
• Descente de gradient et rétropropagation
• Architectures avancées de réseaux de neurones
• Réseaux de neurones convolutifs
• Foulée et mutualisation
• Champ récepteur et circonvolutions dilatées
• Convolutions séparables en profondeur
• Ignorer les connexions et ResNets
• Attention & transformateurs
• Réseaux de neurones graphiques
• Introduction à la bibliothèque de logiciels Sionna
• Partie II - Applications de l'apprentissage en profondeur pour les communications
• Récepteurs MIMO multi-utilisateurs OFDM neuronaux
• Travaux pratiques : Implémentation d'un récepteur OFDM neuronal mono-utilisateur
• Extension à l'OFDM MIMO multi-utilisateurs
• Comparaison des récents récepteurs MIMO basés sur le deep learning
• Deep Learning pour le décodage des canaux
• Décodage pondéré de la propagation des croyances
• Décodage de passage de messages appris à l'aide de réseaux de neurones graphiques
• Apprentissage de bout en bout
• Qu'est-ce que l'apprentissage E2E ?
• Taux de décodage bit-métrique
• Façonnage géométrique
• Estimation du dégradé
• Travaux pratiques : entraînez votre premier autoencodeur
• Auto-encodeurs Turbo

Ressources :

• Livres, articles et publications académiques pertinents sur le sujet
• Plates-formes d'apprentissage en ligne pour tutoriels et documentation
• Environnement de développement avec des cadres de deep learning (comme TensorFlow, PyTorch

 Méthodes d’enseignement et d’apprentissage

Enseignement frontal (magistral) avec des exemples à résoudre en commun. Exercices théoriques et études de cas (présentation et discussion). Travaux pratiques (laboratoire) Travaux à faire à domicile (mini-projet, exposé, compte-rendu, …)

Connaissances et compétences pré-requises

Solide expérience dans les systèmes de communication numérique, en particulier la couche physique (OFDM, MIMO, modulation, détection, estimation, codage de canal) Contexte de la théorie de base de l'information, du traitement du signal et des communications sans fil. Une connaissance de base de l'apprentissage automatique et, en particulier, de l'apprentissage en profondeur est une bonne chose, mais ce n'est pas un prérequis. La connaissance du langage de programmation Python ainsi que de TensorFlow ou PyTorch sont bénéfiques

Références bibliographiques

1. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press.
2. Haykin, S. (2001). Communication Systems. Wiley.
3. O'Shea, T. J., & Hoydis, J. (2017). An Introduction to Deep Learning for the Physical Layer. IEEE Transactions on Cognitive Communications and Networking, 3(4), 563-575.

Un polycopié (Notes du cours) de l’enseignant sera disponible avec recommandations bibliographiques.

Modalité d’évaluation

40% Contrôle continu (TP noté, Test, Assiduité, Devoir surveillé, travaux non présentiel, …) 60% Examen semestriel.

Évaluation :

• Quizzes réguliers pour vérifier la compréhension des concepts fondamentaux.
• Projets individuels ou en groupe pour implémenter des modèles de deep learning adaptés aux problèmes de télécommunications.
• Projets pratiques de mise en œuvre des techniques de deep learning dans les systèmes de communication
• Présentation finale des projets, démontrant l'application des compétences acquises
• Examen final évaluant la compréhension globale des concepts et leur application dans le domaine de la couche physique des télécommunications.

Résultat d'apprentissage :

Après avoir réussi l'examen du cours "Introduction to Deep Learning for the Physical Layer", les étudiants devraient acquérir un ensemble de compétences techniques et pratiques liées à l'utilisation de l'apprentissage profond dans le domaine des télécommunications. Voici quelques compétences que les étudiants pourraient développer à l'issue de ce cours :

1. Compréhension des concepts de base de l'apprentissage profond : Les étudiants devraient avoir une compréhension solide des concepts fondamentaux de l'apprentissage profond, y compris les réseaux de neurones, les couches de neurones, les fonctions d'activation, etc.
2. Application de l'apprentissage profond aux communications : Les étudiants devraient être en mesure d'appliquer les techniques d'apprentissage profond spécifiquement aux problèmes liés à la couche physique des communications, tels que la modulation, la démodulation, la détection d'erreurs, etc.
3. Traitement du signal : Les étudiants devraient avoir des compétences dans le traitement du signal, en comprenant comment les signaux sont modulés, démodulés et traités au niveau physique.
4. Conception de réseaux neuronaux pour les communications : Les étudiants devraient être en mesure de concevoir des architectures de réseaux neuronaux adaptées aux problèmes de la couche physique, en prenant en compte les contraintes et les caractéristiques spécifiques des communications.
5. Sélection des données et prétraitement : Les étudiants devraient être capables de sélectionner et de prétraiter les données appropriées pour l'entraînement des modèles d'apprentissage profond, en tenant compte des caractéristiques des signaux de communication.
6. Évaluation et ajustement des modèles : Les étudiants devraient être en mesure d'évaluer les performances des modèles d'apprentissage profond pour les tâches de communication, et d'ajuster les hyperparamètres pour améliorer les performances.
7. Optimisation des performances : Les étudiants devraient être en mesure d'optimiser les performances des systèmes de communication en utilisant des techniques d'apprentissage profond, ce qui pourrait inclure l'amélioration de la capacité de canal, la réduction des erreurs de transmission, etc.
8. Analyse critique des résultats : Les étudiants devraient être en mesure d'analyser de manière critique les résultats obtenus à l'aide des modèles d'apprentissage profond, en comprenant leurs limites et en proposant des améliorations potentielles.
9. Intégration des connaissances interdisciplinaires : Les étudiants devraient être capables de mettre en œuvre des solutions qui intègrent des connaissances à la fois en télécommunications, en traitement du signal et en apprentissage automatique.

• Communication efficace : Les étudiants devraient être en mesure de communiquer de manière efficace les concepts, les méthodologies et les résultats liés à l'application de l'apprentissage profond à la couche physique des communications, tant à l'écrit qu'à l'oral.