Необходимо изменить пайплайн тренировки языковой модели из файла seminar_02/train.py
для получения лучшего значения точности. Для этого можно попробовать изменить структуру модели, скорость обучения, количество эпох и т.д.
- Точность >= 69.5 -- 3 балла
- Точность >= 68 и < 69.5 -- 2 балла
- Точность >= 66.5 и < 68 -- 1 балла
В ноутбуке seminar_03/finetuning.ipynb
необходимо изменить датасет ag_news
на imdb
и провести fine-tuning модели.
- Точность >= 70 -- 3 балла
- Точность >= 50 и < 70 -- 2 балла
- Точность >= 25 и < 50 -- 1 балла
Необходимо взять с сайта Huggingface любую модель, датасет соответствующий задаче данной модели, а так же выбрать метрику качества. Далее необходимо написать скрипт в котором происходит инференс данной модели по выбранному датасету и считается метрика качества. Для подсчета метрики можно использовать библиотеку evaluate
. Для защиты данной работы вам нужно будет показать работоспособность скрипта, а так же знать что происходит на кажном шаге его работы.