somosnlp / the-annotated-transformer Goto Github PK

Traducción al español del notebook "The Annotated Transformer" de Harvard NLP donde se explica e implementa el paper "Attention Is All You Need".

natural-language-processing nlp transformers

the-annotated-transformer's People

Contributors

Stargazers

Watchers

Forkers

isaacrodgz nachuss yesid-acm

the-annotated-transformer's Issues

Implementar "Multi-Head Attention" con PyTorch (.py)

Crear un archivo llamado multi_head_attention.py
Implementar la función multi_head_attention usando PyTorch
Input de la función: output de positional_encoding
Output de la función: input de add_and_norm

Implementar "Masked Multi-Head Attention" con PyTorch (.py)

Crear un archivo llamado masked_multi_head_attention.py
Implementar la función masked_multi_head_attention usando PyTorch
Input de la función: output de positional_encoding
Output de la función: input de add_and_norm

Add & Norm

Entender, explicar e implementar la pieza "Add & Norm" de la arquitectura Transformer.

Explicar "Masked Multi-Head Attention" (.ipynb)

Crear un notebook masked_multi_head_attention.ipynb en el que se explique la estructura y la función de la pieza de manera interactiva
Pensar si combinar el notebook con multi_head_attention.ipynb o hacer uno diferente

Masked Multi-Head Attention

Entender, explicar e implementar la pieza "Masked Multi-Head Attention" de la arquitectura Transformer.

Documentar "Positional Encoding"

Documentar los archivos y funciones utilizadas en la implementación de la pieza de tal manera que se pueda autogenerar la documentación con Sphinx
Crear una sección a dedicada a la pieza y añadirla al índice
Incluir el código y/o un ejemplo para mostrar el funcionamiento de la pieza

Implementar "Positional Encoding" con PyTorch (.py)

Crear un archivo llamado positional_encoding.py
Implementar la función positional_encoding usando PyTorch
Input de la función: datos preprocesados
Output de la función: input de la pieza "Multi-Head Attention"

Explicar "Multi-Head Attention" (.ipynb)

Crear un notebook multi_head_attention.ipynb en el que se explique la estructura y la función de la pieza de manera interactiva

Explicar "Positional Encoding" (.ipynb)

Crear un notebook positional_encoding.ipynb en el que se explique la estructura y la función de la pieza de manera interactiva

Preprocesar los datos de entrenamiento (.ipynb)

Buscar una base de datos con la que empezar a trabajar (puede ser provisonal)
Crear un notebook datos_entrenamiento.ipynb en el que se descarguen los datos y se preprocesen
Explicar bien los diferentes pasos que se realizan

Traducir el notebook "The Annotated Transformer"

Traducir el notebook "The Annotated Transformer" de Harvard NLP.

Softmax

Entender, explicar e implementar la pieza "Softmax" de la arquitectura Transformer.

Documentar "Multi-Head Attention"

Documentar los archivos y funciones utilizadas en la implementación de la pieza de tal manera que se pueda autogenerar la documentación con Sphinx
Crear una sección a dedicada a la pieza y añadirla al índice
Incluir el código y/o un ejemplo para mostrar el funcionamiento de la pieza

Feed Forward

Entender, explicar e implementar la pieza "Feed Forward" de la arquitectura Transformer.

Multi-Head Attention

Entender, explicar e implementar la pieza "Multi-Head Attention" de la arquitectura Transformer.

Positional Encoding

Entender, explicar e implementar la pieza "Positional Encoding" de la arquitectura Transformer.

Documentar "Masked Multi-Head Attention"

Documentar los archivos y funciones utilizadas en la implementación de la pieza de tal manera que se pueda autogenerar la documentación con Sphinx
Crear una sección a dedicada a la pieza y añadirla al índice
Incluir el código y/o un ejemplo para mostrar el funcionamiento de la pieza

Linear

Entender, explicar e implementar la pieza "Linear" de la arquitectura Transformer.

Preprocesar los datos de entrenamiento (.py)

Crear un script preprocesar_datos.py que

Compruebe si la base de datos ya se ha descargado y en caso negativo la descargue
Preprocese y tokenice los datos para poder utilizarlos en el modelo