Travaux pratiques 5 de deep learning

Réalisation de travaux pratiques dans le cadre du cours de Deep learning, sur les réseaux de neurones pour la traduction.

Préliminaires

• Pourquoi avons-nous besoin d'un tokenizer ?
• Bibliothèques Torchtext et Spacy

Téléchargement du dataset

• Importation des bibliothèques nécessaires
• Téléchargement et préparation des données

Tokenisation et Vocabulaire

• Tokenisation avec Spacy
• Définition des tokens spéciaux
• Construction du vocabulaire

Encodage et Embedding

• Encodage positionnel
• Embedding des tokens

Architecture Seq2Seq

• Modèle Sequence-to-Sequence
• Encoder
• Decoder
• Attention multi-têtes
• Réseaux feed-forward

Masquage et Masques de Séquence

• Masquage causal
• Création des masques

Construction du modèle

• Hyperparamètres prédéfinis
• Initialisation du modèle

Création du DataLoader

• Fonction de collate
• Chargement des données d'entraînement et de validation

Entraînement

• Fonction d'entraînement par époque
• Fonction d'évaluation
• Entraînement du modèle sur plusieurs époques

Décodage et Traduction

• Fonction de décodage greedy
• Fonction de traduction

Hyperparamètres et Performances

• Ajustement des hyperparamètres
• Cas d'échec du modèle

Question Bonus

• Implémentation de la recherche par faisceau (Beam Search)