Git Product home page Git Product logo

gyepescalero / tfm Goto Github PK

View Code? Open in Web Editor NEW
0.0 1.0 0.0 6.99 MB

Análisis de modelos de Deep Learning mediante SHAP values. Desarrollo y programación de herramientas que permitan interpretar modelos de Deep Learning usando las SHAP values, generando una mejor explicación de los factores en los que se basa el modelo a la hora de tomar sus predicciones.

Jupyter Notebook 100.00%
deep-learning deep-neural-networks explainable-ai explainable-ml explainability machine-learning shap-values artificial-intelligence

tfm's Introduction

TFM: Análisis de modelos de Deep Learning mediante SHAP values

Resumen

El Deep Learning o Aprendizaje Profundo se aplica cada vez más en la toma de decisiones y problemas analíticos. Como consecuencia, existe una demanda creciente por la capacidad de interpretar la predicción de modelos. Una técnica de explicación es la basada en los valores de Shapley como medida de agregación para determinar la influencia de las características individuales en la predicción del modelo colectivo. Las SHAP values presentan propiedades muy ventajosas en el análisis de este tipo de modelos, pues usan nociones de teoría de juegos para medir la influencia de las diferentes características en el resultado final del modelo. A lo largo de este trabajo, desarrollaremos y programaremos herramientas que nos permitan interpretar modelos de Deep Learning usando las SHAP values, dándonos una mejor interpretación de los factores en los que se basa el modelo a la hora de tomar una decisión u otra.

Comenzaremos con un modelo sencillo, con el que introduciremos los conceptos básicos de las SHAP values y aprenderemos a implementarlas en un entorno \textit{Python}. A continuación, desarrollaremos, de la forma más profesional posible, un estudio de interpretabilidad de un modelo de caja negra, sacando el máximo provecho a los resultados de la explicación del modelo. Finalmente, ejemplificaremos y probaremos la efectividad de la SHAP values en la interpretación de arquitecturas de reconocimiento visual profundo.

Palabras clave: Aprendizaje Automático, Aprendizaje Profundo, Explicabilidad, Inteligencia Artificial, Valores SHAP.

Abstract

Deep Learning is increasingly applied in decision making and analytical problems. As a consequence, there is a growing demand for the ability to explain model prediction. One explanation technique is through the use of Shapley values as a measure of aggregation to determine the influence of individual characteristics on the prediction of the collective model. SHAP values have very advantageous properties in the analysis of this type of model, since they use notions of game theory to measure the influence of the different features on the final result of the model. Throughout this work, we will develop and program a tool that allows us to interpret Deep Learning models using SHAP values, giving us a better interpretation of the factors on which the model is based when making one decision or another.

We will start with a simple model, with which we will introduce the basic concepts of SHAP values and learn to implement them in a \textit{Python} environment. Next, we will develop, in the most professional way possible, an interpretability study of a black box model, making the most of the model explanation results. Finally, we will exemplify and test the effectiveness of SHAP values in the interpretabilty of deep visual recognition architectures.

Keywords: Machine Learning, Deep Learning, Explainability, Artificial Intelligence, SHAP Values.

Descripción de los archivos y documentos.

  • VGG16_images: Imágenes .jpg que han sido utilizadas en el modelo clasificador de imágenes VGG16.

  • datasets: Ficheros .csv con los datasets empleados.

  • python: Programas .ipynb con la implementación de los modelos y las SHAP values. Tendremos tres programas:

    • SimpleModel-Iris: Programa para el modelo sencillo del dataset Iris.
    • ComplexModel-CensusIncome: Programa para el modelo complejo del dataset Census Income.
    • ImageModel-VGG16: Programa para el modelo clasificador de imágenes VGG16.
  • Memoria TFM: Documento .pdf con la memoria final del TFM, que recopila todas las etapas del proyecto.

tfm's People

Contributors

gyepescalero avatar

Watchers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.