Git Product home page Git Product logo

depot-mini-projet-nlp's Introduction

Natural Language Processing and Application

Université Mohamed V, Faculté des Sciences de Rabat

Machine Translation Mini-Project

Made by:              Malick Diaw  -  Vanda Martins Barbosa

Supervised by:     Pr. Abdelhak Mahmoudi

This is a summary illustrating our Natural Language Processing (NLP) module project, semester 2 of the Master of Data Engineering and Software Development (IDDLo) on the realization of a Machine Translation .

This project aims to translate a text from a source language into another text from a destination language.

In this project, we made two translation models, one for a translation from French to Portuguese and the other from English to French.

These two models are illustrated and explained in detail step by step in a jupyter NoteBook for each one, notebook english french - notebook french portuguese.

For its realization, we built a deep neural network using the Transformer mechanism "Attention is all you need" to create a Machine Translation model.

The different fundamental steps are:

  • Loading the libraries and the dataset for training
  • Pre-processing: cleaning and tokenization
  • The creation of Classes and Functions to build a Transformer model
  • Building and training the model
  • And finally the prediction to visualize the results.

Here are some screenshots of the application:

img_1.png img_2.png img_3.png

Natural Language Processing and Application

Université Mohamed V, Faculté des Sciences de Rabat

Machine Translation Mini-Project

Réalisé par :         Malick Diaw  -  Vanda Martins Barbosa

Supervisé par :      Pr. Abdelhak Mahmoudi

Ceci est un résumé illustrant notre projet du module Natural Language Processing (NLP), semestre 2 du Master Ingénierie de Données et Développement Logiciel (IDDLo) portant sur la réalisation d’une Traduction Automatique (Machine Translation).

Ce projet fait objet de traduire un texte d’un langage source en un autre texte d’un langage de destination.

Dans ce projet, on a réalisé deux modèles de traduction, l’un pour une traduction de Français en Portugais et l’autre de l’anglais en Français.

Ces deux modèles sont illustrés et expliqués en détail étapes par étapes dans un jupyter NoteBook pour chacun, notebook english french - notebook french portuguese.

Pour sa réalisation, nous avons construit un réseau de neurones profonds en utilisant le mécanisme de Transformer « Attention is all you need » pour former un modèle de Machine Translation.

Les différentes étapes fondamentales sont :

  • Le chargement des librairies et du dataset pour l’entrainement
  • Le pre-processing: nettoyage et tokenization
  • La création des Classes et Fonctions pour construire un modèle de Transformer
  • La construction et l’entrainement du modèle
  • Et enfin la prédiction pour visualiser les résultats.

Voici quelques captures de l'application :

img_1.png img_2.png img_3.png

depot-mini-projet-nlp's People

Contributors

malickdiaw avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.