Repositorio de la materia LLM de la Especialización en IA
Alumno: Leandro Albachiaro
mail: [email protected]
El objetivo de este proyecto es implementar un modelo capaz de detectar mensajes de texto SPAM para proteger a los usuarios de comunicaciones no deseadas y potencialmente peligrosas. Para esto se utilizará DistilBERT, una versión compacta y eficiente del modelo BERT, pre-entrenado para tareas de procesamiento del lenguaje natural (NLP).
-
Preparación de datos: Se realiza un análisis exploratorio del dataset, el cual contiene una colección de 5572 mensajes de texto etiquetados como SPAM o legítimos. SMS Spam Collection Dataset | Kaggle
-
Carga del modelo pre-entrenado de DistilBERT: Se utiliza la biblioteca
transformers
de Hugging Face para cargar el modelo pre-entrenado de DistilBERT y su tokenizador correspondiente. -
Tokenización de mensajes: Se tokenizan los mensajes de texto utilizando el tokenizador de DistilBERT.
-
Entrenamiento del modelo: Se define una arquitectura de clasificación de secuencias utilizando DistilBERT como base y se ajustan los pesos del modelo utilizando los datos de entrenamiento. Durante el entrenamiento, se ajustan los parámetros del modelo para minimizar la función de pérdida de entropía cruzada (Cross-Entropy Loss), que mide la discrepancia entre las predicciones del modelo y las etiquetas reales.
-
Evaluación del modelo: Una vez entrenado el modelo, se evalúa su rendimiento utilizando datos de prueba previamente no vistos. Se calculan métricas como precisión y recall para medir la capacidad del modelo para distinguir entre mensajes de texto SPAM y legítimos.
-
Precisión y recall significativos: Los resultados muestran la capacidad del modelo para identificar mensajes de spam con una precisión y recall significativos.
-
Viabilidad y eficacia de DistilBERT: A pesar de ser un modelo más pequeño y compacto, se demostró con éxito la viabilidad y eficacia de utilizar DistilBERT para la detección de spam en mensajes de texto.