Este es el repositorio para la materia de "Métodos Numéricos y Optimización (MNO)" impartida en la maestría de ciencia de datos del ITAM por el Prof. Erick Palacios Moreno, github: palmoreck.

En este repositorio se han creado diferentes ramas que pueden ser accesadas como se aprecia en esta imagen:

Seleccionar por ejemplo la rama mno-2018-1 (u otra) para información del curso de MNO de 2018.

Dar click en liga para la rama del curso del semestre enero-mayo 2020.

En la carpeta C encuentran:

• C/Clases para introducción al lenguaje C de programación.

• Dentro de C/BLAS y C/LAPACK se tienen funciones para ejecución de algunas rutinas de BLAS, LAPACK en un sistema ubuntu.

• Dentro de C/extensiones_a_C/ se encuentran las siguientes extensiones al lenguaje de programación C: C/extensiones_a_C/MPI para MPI, C/extensiones_a_C/Phtreads para Pthreads, C/extensiones_a_C/openMP para openMP y C/extensiones_a_C/CUDA para CUDA.

Los directorios de Python y algoritmos serán incorporados a las notas. Este trabajo será realizado durante el semestre enero-mayo 2020.

En el Wiki encuentran información sobre Amazon Web Services.

Normalmente los pull requests no se hacen a la rama master salvo haya una modificación a realizar en tal rama (modificación para algún código por ejemplo).

A continuación se presentan links a las notas y material de cada tema. Adicionalmente se encuentran en el directorio temas.

Cada número contiene información del tema respectivo, dar click en el tema de interés.

Adicionalmente, algunos temas tienen un botón de binder para ejecutar de forma interactiva el contenido (ojo: cada botón tiene ambientes de docker distintos por lo que un mismo botón puede no funcionar para notas de capítulos distintos, p.ej. el botón de la nota 1.2 no funciona para la 1.4).

Ver dockerfiles-for-binder para documentación de las imágenes de docker usadas y en la liga jupyterhub/binderhub encuentran información de binder.

Ver Jupyter kernels para una tabla de los kernels disponibles en jupyter.

1.1 Analisis numérico y cómputo científico.

1.2 Sistema de punto flotante. (nota escrita en jupyterlab + kernel de C)

• Ejercicios punto flotante

1.3 Condición, estabilidad y normas. (nota escrita en jupyterlab)

• Ejercicios de normas y condición

Métodos de diferenciación e integración numérica:

1.4 Polinomios de Taylor y diferenciacion_numerica. (nota escrita en jupyterlab + kernel de R)

• Ejercicios Taylor y diferenciación numérica

1.5 Integración numérica (nota escrita en jupyterlab)

• Ejercicios Integración numérica

1.6 Perfilamiento de código

• Python (nota escrita en jupyterlab)

• R

• C (pendiente)

1.7 Opciones para resolver bottlenecks:

• Compilar a C, Python + C: Cython (nota escrita en jupyterlab)

• Reescribir funciones a C++: Rcpp (nota escrita en jupyterlab + kernel de R)

• Cómputo en paralelo (capítulo II).

• Uso del caché y operaciones BLAS (capítulo III).

2.1 Un poco de historia y generalidades.

2.2 Sistemas de memoria compartida

La descripción y uso de las siguientes librerías/módulos/paquetes/API's no tiene el propósito de ser extensa ni completa pues en un futuro pueden existir herramientas con mejor desempeño, documentación o comunidad. En las referencias de cada nota aparecen ligas y libros con documentación para extender su aprendizaje.

Nota del prof: estoy reescribendo las notas y añadiendo botones para interactividad.

• Python

  • Multiprocessing (nota escrita en jupyterlab)

  • Dask

• R

  • Parallel

• C

  • OpenMP

2.3 [CUDA]

• Python

  • PyCUDA

  • CuPy

• C

  • CUDA C

2.2 Sistemas de memoria distribuida: MPI.

• Preguntas 2.2

• Levantar un cluster de forma pseudo distribuida con openmpi y docker

Ejemplos con openmpi:

• send_receive_broadcast_reduce

• io_scatter_gather

• openMPI y BLAS

2.3 Sistemas de memoria compartida: Pthreads

• Preguntas 2.3

Ejemplos con Pthreads

2.4 Sistemas de memoria compartida: openMP

• Preguntas 2.4

Ejemplos con openMP

• parallel_and_critical_directives

• reduction_clause

• parallel_for_directive

2.5 Compute Unified Device Architecture (CUDA).

• Preguntas 2.5

• Instalación

• Ejemplos

• CUBLAS

• CUSOLVER

• PyCUDA

3.1.1 Multiplicación de matrices y estructura de datos.

• Preguntas 3.1.1

3.1.2 Localidad y vectorización. Análisis del error en cómputos matriciales básicos.

• Preguntas 3.1.2

3.2.1 Sistemas de ecuaciones lineales: eliminación Gaussiana y factorización LU.

• Preguntas 3.2.1

3.2.2 Factorizaciones matriciales: SVD, Cholesky, QR. (Vista rápida).

• Preguntas 3.2.2

3.3 Sistemas de ecuaciones lineales: métodos iterativos.

3.4 Tensores. Una introducción.

• Preguntas 3.4

3.5 Aplicaciones del álgebra lineal numérica.

• Preguntas 3.5

3.6.1 Multiplicación de matrices con cómputo en paralelo.

3.6.2 SVD con cómputo en paralelo.

4.1 Introducción.

• Preguntas 4.1

4.2 Problemas de optimización convexa.

• Preguntas 4.2

4.3.1 Teoría de convexidad: conjuntos convexos.

• Preguntas 4.3.1

4.3.2 Teoría de convexidad: funciones convexas.

• Preguntas 4.3.2

4.4 Dualidad.

• Preguntas 4.4

4.5.1 Problemas de optimización convexa: definiciones

Ejemplo de métodos de bisección, punto fijo y Newton para resolver ecuaciones no lineales

4.5.2 Algoritmos de optimización sin restricciones

4.5.3 Algoritmos de optimización con restricciones de igualdad

4.5.4 Algoritmos de optimización con restricciones de igualdad y desigualdad

• Ejemplo de optimización, aprendizaje automático y cómputo en paralelo.

Ecuaciones no lineales

Algoritmos para optimización sin restricciones

Algoritmos para optimización con restricciones de igualdad: ecuaciones lineales

Algoritmos para optimización con restricciones de igualdad: ecuaciones lineales y desigualdad

Ejemplos de Uso:

1. Antares3

2. Pangeo

AWS.0 Tutorial para activar créditos de Amazon Web Services

AWS.1.1 Configuración de servicios básicos de AWS

AWS.1.2 Instalación de herramientas útiles en AWS

AWS.2 AWS y OpenMPI

AWS.3 AWS y Sun Grid Engine

AWS.4 AWS y Kubernetes

AWS.adicional1 [AWS: Relational Database System]