Парсер книг с сайта tululu.org
Скрипт скачивает книги с сайта tululu.org.
python 3.7
Требуется установка дополнительных библиотек, файл requirements.txt с зафиксированными версиями пакетов. Для установки необходимых библиотек следует в терминале прописать:
pip install -r requirements.txt
Для запуска парсера следует в терминале прописать:
python parse_tululu_category.py
По умолчанию будут скачиваться все книги категории "Научная фантастика", через аргументы (описание ниже) можно выбрать свои условия скачивания.
Для выставления своих условий скачивания книг можно использовать аргументы:
--start_page
- Стартовая страница категории(включительно), необходимо указать номер страницы после аргумента. По умолчанию выставлено "1".--end_page
- Конечная страница категории(не включительно), необходимо указать номер страницы после аргумента. По умолчанию выставлено "999".--dest_folder
- Путь к каталогу с результатами парсинга, необходимо указать путь после аргумента(--dest_folder имяПапки
). По умолчанию скачивает в корень.--json_path
- Путь к *.json файлу, необходимо указать путь после аргумента (--json_path имяПапки
). По умолчанию скачивает в корень если не указан--dest_folder
.--skip_imgs
- Не скачивать картинки.--skip_txt
- Не скачивать книги.--category
- Также возможно указать свой жанр книг, для этого необходимо на сайте tululu.org зайти в раздел интересующего жанра с книгами и скопировать название категории из адресной строки сайта (пример в разделе "Фантастика и фэнтези" в адресной строкеtululu.org/fantastic/
скопировать =>fantastic
) и вставить после указания аргумента (--category fantastic
). По умолчанию выставлено "l55" (Научная фантастика).
Пример:
python parse_tululu_category.py --start_page 1 --end_page 2 --dest_folder result
скачает все книги первой страницы категории "Научная фантастика" в папку с именем "result".