newsviz Goto Github PK

├── config
│    └─ config.ini -- директория для конфигов
│
├── docs
│    └─ first_run.md -- как запустить `pipeline.py` и немного о визуализации
│
├── newsviz -- собственно основной код
│    ├── search
│    │    └── engine.py
│    │
│    ├── stopwords
│    │    ├── sw_en.txt
│    │    └── sw_ru.txt
│    │
│    ├── visualizer -- здесь будет лежать стандартный визуализатор
│    │    ├── app.py
│    │    ├── readme.md
│    │    ├── st_app.py
│    │    ├── st_app_functions.py
│    │    └── utils.py
│    │
│    ├── init_proj.py
│    ├── learning_frontend.py
│    ├── pipeline.py -- основной скрипт со всеми luigi тасками
│    ├── preprocessing_tools.py -- скрипты препроцессинга
│    └── topic_model.py -- обёртка для тематической модели
│
├── scripts -- запуск с помощью docker
│    ├── build.sh -- для сборки контейнера
│    ├── clear.sh -- для удаления всех промежуточных данных, моделей и прочих артефактов. Скачанные данные останутся
│    ├── download_data.sh -- для скачивания исходных непроцессированных данных
│    ├── jupyter.sh -- запуск jupyter `make_news_viz_classifier.ipynb`
│    ├── pipeline.sh -- для препроцессинга данных, обучения моделей и подготовки данных для визуализации
│    ├── pre-commit.sh -- запуск pre-commit
│    └── viz.sh --  для запуска контейнера с визуализацией, доступ по ссылке http://0.0.0.0:8080
│
├── templates
│    └── make_tm.py
│
├── tests
│    └── preprocesing_tools_tests.py

├── config
│    └─ config.ini -- directory for configs
│
├── docs
│    └─ first_run.md -- how to run `pipeline.py` & little bit about visualisation
│
├── newsviz -- the actual main code
│    ├── search
│    │    └── engine.py
│    │
│    ├── stopwords
│    │    ├── sw_en.txt
│    │    └── sw_ru.txt
│    │
│    ├── visualizer -- the standard visualizer will be here
│    │    ├── app.py
│    │    ├── readme.md
│    │    ├── st_app.py
│    │    ├── st_app_functions.py
│    │    └── utils.py
│    │
│    ├── init_proj.py
│    ├── learning_frontend.py
│    ├── pipeline.py -- main script with all luigi tasks
│    ├── preprocessing_tools.py -- preprocessing scripts
│    └── topic_model.py -- wrapper for topic model
│
├── scripts -- run with docker
│    ├── build.sh -- to build docker container
│    ├── clear.sh -- to delete all intermediate data, models and other artifacts. Raw data will percist
│    ├── download_data.sh -- to download raw data
│    ├── jupyter.sh -- run jupyter `make_news_viz_classifier.ipynb`
│    ├── pipeline.sh -- to preprocess data, train model and prepare data for visualization
│    ├── pre-commit.sh -- run pre-commit
│    └── viz.sh -- to run docker container with visualization, access via http://0.0.0.0:8080
│
├── templates
│    └── make_tm.py
│
├── tests
│    └── preprocesing_tools_tests.py