Git Product home page Git Product logo

githubdataminer's Introduction

GitHub Data Miner

Instalação e Execução

Eu rodei o projeto na versão 16.15.0 do node e 8.5.5 do npm e instalei o MongoDB pelo docker, também consegui rodar no download normal do Mongo, se rodar a versão baixada no site do mongo não precisa criar o usuário de admin e se não mudou as configurações do mongo a string do URI de exemplo já está certa.

Para rodar o projeto clone o repositorio e depois acesse ele e instale as bibliotecas com o seguinte comando

npm install

Crie o arquivo .env com os seus dados seguindo o exemplo do .env.example

O token do github você gera aqui, eu acredito que não precisa marcar nenhuma permissão para rodar em projeto público, mas se for projeto privado talvez tenha que escolher alguma opção.

Eu recomendo rodar salvando a saída em algum arquivo de texto, execute o script da seguinte forma:

node . >> log.txt

Se preferir não salvar em um arquivo de log e só deixar a saida no terminal, rode o script com:

node .

Erros

Se der algum erro (menos o erro 404, esse significa que a issue foi deletada) quando tiver buscando alguma issue você vai ter que fazer algumas modificações no código para pegar só o que deu erro, para isso edite no loop a issue que você precisa:

for(let i = ISSUE QUE DEU ERRO; i <= ISSUE QUE DEU ERRO; i++) {

Se for varias issues em sequencia voce pode mudar o alcance do loop.

Exemplo tratamento de erro:

Deu o seguinte erro no arquivo de log

Got an error while fetching issue timeline 1337, message: erro de exemplo

Você vai mudar o alcance do loop do for para pegar a issue 1337 e comentar as linhas que salvam no banco de dados da issues/comments/events/pull, uma vez que você só precisa dos dados da timeline

A unica exceção é quando da erro ao buscar a issue, porque ai você não precisa comentar nada, o script vai pular essa issue por completo.

githubdataminer's People

Contributors

getuliobr avatar

Watchers

 avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.