shorstko / gibddstat Goto Github PK

Спасибо огромное за инструмент. Я написала парсер, но ваш ловчее и быстрее.
Но! Есть вопросы. Помогите разобраться.

Centos, скачала все, кроме 1 11 25 28 45 46 47 65 67 75 77 82 96 98 регионов за 2018 .
Python не знаю, простите. Ошибка ниже.
Но могу выложить как все json в базу положить pentaho. В качестве благодарности и просто из общей широты души.

python3.6 GibddStatParser.py --year 2018 --month 5 --regcode 1
Загрузчик данных по ДТП ГИБДД РФ
Обновление справочника отменено
Обрабатываются данные для Алтайский край (г.Барнаул) за 5-5.2018
99 ДТП для Алтайский край (г.Барнаул) за 5-5.2018
Обрабатываются данные для Алтайский край (Немецкий национальный район) за 5-5.2018
2 ДТП для Алтайский край (Немецкий национальный район) за 5-5.2018
Обрабатываются данные для Алтайский край (Шипуновский район) за 5-5.2018
2 ДТП для Алтайский край (Шипуновский район) за 5-5.2018
Обрабатываются данные для Алтайский край (Чарышский район) за 5-5.2018
1 ДТП для Алтайский край (Чарышский район) за 5-5.2018
Обрабатываются данные для Алтайский край (Целинный район) за 5-5.2018
Traceback (most recent call last):
File "GibddStatParser.py", line 313, in
main()
File "GibddStatParser.py", line 302, in main
getDTPInfo(data_root, year, months, regions, region_id=namespace.regcode)
File "GibddStatParser.py", line 199, in getDTPInfo
cards = getDTPData(region["id"], region["name"], district["id"], district["name"], months, year)
File "GibddStatParser.py", line 134, in getDTPData
cards = json.loads(json.loads(r.content)["data"])["tab"]
File "/usr/lib64/python3.6/json/init.py", line 354, in loads
return _default_decoder.decode(s)
File "/usr/lib64/python3.6/json/decoder.py", line 339, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "/usr/lib64/python3.6/json/decoder.py", line 357, in raw_decode
raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Также всю статистику ДТП можно взять здесь. Guthub не поддерживает файлы размером больше 25 Мб, поэтому выгрузки за 2015-2017 пришлось разделить на два архива ...

Git не предназначен для хранения больших бинарных файлов (если вы не используете LFS). Лучше положите это в релизы. Там и размер файлов может быть больше, не придётся делить на архивы.
https://help.github.com/articles/about-releases/

Добрый день.
Подскажите пожалуйста, каким способом можно получить данные по несовершеннолетним пострадавшим? Есть ли такой срез, именно по несовершеннолетним пострадавшим или участникам?

Запускаю парсер со следующими параметрами:
GibddStatParser.py --year 2018 --month 9 --regcode 1
В итоге парсер начинает работу, но на каком-то этапе выдаёт ошибку:

Загрузчик данных по ДТП ГИБДД РФ
Обновление справочника отменено
Обрабатываются данные для Алтайский край (г.Барнаул) за 9-9.2018
144 ДТП для Алтайский край (г.Барнаул) за 9-9.2018
Обрабатываются данные для Алтайский край (Немецкий национальный район) за 9-9.20
18
1 ДТП для Алтайский край (Немецкий национальный район) за 9-9.2018
Обрабатываются данные для Алтайский край (Шипуновский район) за 9-9.2018
2 ДТП для Алтайский край (Шипуновский район) за 9-9.2018
Обрабатываются данные для Алтайский край (Чарышский район) за 9-9.2018
1 ДТП для Алтайский край (Чарышский район) за 9-9.2018
Обрабатываются данные для Алтайский край (Целинный район) за 9-9.2018
Traceback (most recent call last):
  File "GibddStatParser.py", line 313, in <module>
    main()
  File "GibddStatParser.py", line 302, in main
    getDTPInfo(data_root, year, months, regions, region_id=namespace.regcode)
  File "GibddStatParser.py", line 199, in getDTPInfo
    cards = getDTPData(region["id"], region["name"], district["id"], district["n
ame"], months, year)
  File "GibddStatParser.py", line 134, in getDTPData
    cards = json.loads(json.loads(r.content)["data"])["tab"]
  File "C:\Program1\WPy-3661\python-3.6.6.amd64\lib\json\__init__.py", line 354,
 in loads
    return _default_decoder.decode(s)
  File "C:\Program1\WPy-3661\python-3.6.6.amd64\lib\json\decoder.py", line 339,
in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Program1\WPy-3661\python-3.6.6.amd64\lib\json\decoder.py", line 357,
in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Windows 8.1 x64 Python 3.6

По мотивам комментария на хабре:

При запуске скрипта вылезла ошибка об отсутствии модуля requests.
Питон свежескачанный и свежеустановленный.
Помогло следующее:
python\scripts\easy_install.exe requests