1. ODS
2. Stepik DLS CV
3. Stepik DLS NLP

Необходимо изменить пайплайн тренировки языковой модели из файла seminar_02/train.py для получения лучшего значения точности. Для этого можно попробовать изменить структуру модели, скорость обучения, количество эпох и т.д.

• Точность >= 69.5 -- 3 балла
• Точность >= 68 и < 69.5 -- 2 балла
• Точность >= 66.5 и < 68 -- 1 балла

В ноутбуке seminar_03/finetuning.ipynb необходимо изменить датасет ag_news на imdb и провести fine-tuning модели.

• Точность >= 70 -- 3 балла
• Точность >= 50 и < 70 -- 2 балла
• Точность >= 25 и < 50 -- 1 балла

Необходимо взять с сайта Huggingface любую модель, датасет соответствующий задаче данной модели, а так же выбрать метрику качества. Далее необходимо написать скрипт в котором происходит инференс данной модели по выбранному датасету и считается метрика качества. Для подсчета метрики можно использовать библиотеку evaluate. Для защиты данной работы вам нужно будет показать работоспособность скрипта, а так же знать что происходит на кажном шаге его работы.