russoedu / legiscrawler.br Goto Github PK

Crawler completo para a legislação brasileira

##Sobre LegisCrawler.br foi criado para capturar e organizar a legislação brasileira encontrada no site do Planalto e entregar uma API com seus dados.

A ferramenta é formada por duas partes, o crawler – que lê, captura e organiza os dados das legislações – e a API – que entrega os separados por legislação e artigo.

##Instalação

O sistema foi criado em Node.js utilizando ECMA 6, portanto deve usar Node.js 6.5 em diante para funcionar corretamente.

Para instalar, siga os próximos passos:

git clone [email protected]:russoedu/LegisCrawler.br.git
cd LegisCrawler.br

Caso use o Yarn, execute

yarn

Caso utilize NPM, execute

npm install

Esses comandos instalarão as dependências do projeto.

##Configuração

TODO Variáveis de ambiente Mongo / File Lista de legislações

##Debug

##Crawler node crawl

##API npm start

###Crawler

##Configuration

##Debugging LegisCrawler uses (debug)[https://github.com/visionmedia/debug] for debugging.

To debug the scrap utility, run:

$ DEBUG=scrap,scrap-parser node scrap/index.js

The following debug options are set:

1. scrap
2. scrap-cleaner
3. scrap-parser
4. scrap-getter
5. split

To debug the API, run:

$ DEBUG=api,DB npm start

The following debug options are set:

1. api
2. DB

Most debugs are commented in the code and you must uncomment the ones you want to debug.