Made by: Malick Diaw - Vanda Martins Barbosa
Supervised by: Pr. Abdelhak Mahmoudi
This is a summary illustrating our Natural Language Processing (NLP) module project, semester 2 of the Master of Data Engineering and Software Development (IDDLo) on the realization of a Machine Translation .
This project aims to translate a text from a source language into another text from a destination language.
In this project, we made two translation models, one for a translation from French to Portuguese and the other from English to French.
These two models are illustrated and explained in detail step by step in a jupyter NoteBook for each one, notebook english french - notebook french portuguese.
For its realization, we built a deep neural network using the Transformer mechanism "Attention is all you need" to create a Machine Translation model.
- Loading the libraries and the dataset for training
- Pre-processing: cleaning and tokenization
- The creation of Classes and Functions to build a Transformer model
- Building and training the model
- And finally the prediction to visualize the results.
Réalisé par : Malick Diaw - Vanda Martins Barbosa
Supervisé par : Pr. Abdelhak Mahmoudi
Ceci est un résumé illustrant notre projet du module Natural Language Processing (NLP), semestre 2 du Master Ingénierie de Données et Développement Logiciel (IDDLo) portant sur la réalisation d’une Traduction Automatique (Machine Translation).
Ce projet fait objet de traduire un texte d’un langage source en un autre texte d’un langage de destination.
Dans ce projet, on a réalisé deux modèles de traduction, l’un pour une traduction de Français en Portugais et l’autre de l’anglais en Français.
Ces deux modèles sont illustrés et expliqués en détail étapes par étapes dans un jupyter NoteBook pour chacun, notebook english french - notebook french portuguese.
Pour sa réalisation, nous avons construit un réseau de neurones profonds en utilisant le mécanisme de Transformer « Attention is all you need » pour former un modèle de Machine Translation.
- Le chargement des librairies et du dataset pour l’entrainement
- Le pre-processing: nettoyage et tokenization
- La création des Classes et Fonctions pour construire un modèle de Transformer
- La construction et l’entrainement du modèle
- Et enfin la prédiction pour visualiser les résultats.