PARTE A (feita somente uma vez): descobrir URLs do linkedin dos alunos
- abra o google chrome
- abra uma guia no chrome; faça login no linkedin;
- obter nomes de todos os alunos do curso;
- preencher nomes de alunos no arquivo nomes_alunos_base.txt (um nome abaixo do outro). Pode-se copiar-e-colar os nomes de um relatório do SIGAA (listagem de docentes ativos).
- rodar o processar_nomes_alunos_base.py (execução sugerida: python3 processar_nomes_alunos_base.py), que vai:
- gravar a saída do programa no arquivo "nomes_alunos.txt"
- remover acentos
- formatar os nomes conforme exemplo: ALVORI+FELICIANO+LINKEDIN ANDREI+ANTONIO+CAMPIGOTTO+LINKEDIN
- deve haver uma pasta vazia (apague todos os arquivos/pastas pré-existentes, caso existam) chamada "alunos";
- executar primeiravez.sh
- aguardar... esse programa vai visitar o google informando como critério de busca os itens do passo 2 e vai salvar os arquivos com esse mesmo nome
-
executar o programa parser.py, para ler os arquivos em /alunos e gerar a saída com diversas informações. Execução sugerida: python3 parser.py > primeiro.csv
-
abrir primeiro.csv no libreoffice, usar delimitador: "|"
-
ordenar linhas pela terceira coluna ("ok" ou "x"). Campos com "ok" estão corretos, mas pode-se verificar se as empresas retornadas aparentam estar certas (pode haver alguns errados). Salvar as duas colunas desses nomes com "ok" num arquivo chamado "corretos.txt". => selecionar colunas A e B até a linha do último correto => copiar => abrir gedit => colar => substituir: \t (tab) por vírgula => salvar no arquivo corretos.txt
-
salvar o arquivo .csv aberto no libreoffice como "dados-ANO-MÊS.ods" (exemplo: dados-2019-JUNHO.ods)
as informações disponíveis corretas são, em primeiro momento, aquelas com o status "ok"
- se desejar, buscar e acertar as URLs dos incorretos (quanto desejar; melhor deixar os alunos constatarem o erro e informarem a URL correta)
- os que forem consertados podem ser adicionados no arquivo "corretos.txt"
FIM DA PARTE A
PARTE B: feita periodicamente
- aplicar correções de URL de linkedin na planilha de dados.ods, guia alunos
- obter da planilha dados.ods os nomes dos alunos que tiverem os links corretos (ou seja, não-em-branco; pode-se ordernar por URL e considerar apenas aqueles com URL do linkedin): copiar colunas A e C, salvar em arquivo corretos.txt, contendo nome e url; trocar TAB por vírgula (corretos.txt deve ter as 2 colunas separadas por vírgula)
- abra o google chrome
- abra uma guia no chrome; faça login no linkedin
- deve haver uma pasta vazia chamada "alunos" (apague todos os arquivos/pastas pré-existentes, caso existam)
- ===> executar periodico.sh
- aguardar... esse programa vai percorrer o arquivo corretos.txt, visitando a url informada ao lado do nome do aluno, e vai salvar os arquivos com o nome de cada aluno
- executar o programa parser.py, para ler os arquivos em /alunos e gerar a saída com diversas informações. Execução sugerida: python3 parser.py > periodico.csv
- fazer análise como no passo 9 em diante da PARTE A (considerando periodico.csv em vez de primeiro.csv)
final)
PARTE GERAL: resultados do parser.py
- ordenar por "status"
- apagar os que não estão "ok"
- ordenar pelo primeiro campo de local de trabalho
- apagar o que não possuem informação
- publicar o resultado com os registros coerentes