Для запуска надо запустить файл main.py
config.json, main.py и functions.py должны лежать в одной директории.
-
В файле config.json:
- В поле folder_path указывается директория где будут храниться записанные треды, для записи в ту же директорию нужно поставить "/"
- Чтобы запустить парсинг с нуля в поле last_archive_element нужно установить значение 0, а так же в полях archive_modified_date и catalog_modified_date оставить пустую строку
-
Скрипт записывает треды в отдельных файлах. Структура файла:
- Поле "title" хранит в себе заголовок треда, пустая строка если отсутствует
- Поле "text" хранит текст треда, пустая строка если отсутствует
- Поле "img_link" хранит ссылку на изображение в треде, пустая строка если отсутствует
- Поле "replies" зранит список комментариев к треду, список пустой, если комментарии отсутствуют, структура:
- Поле "text" хранит текст комментария, пустая строка если отсутствует
- Поле "img_link" хранит ссылку на изображение в комментарии, пустая строка если отсутствует
Обновление происходит раз в час. При первом запуске первое обновление может идти чуть дольше из-за объемов архива, но час отсчитывается с момента завершения обновления.