Script desenvolvido durante o processo seletivo para uma bolsa de iniciação cientifica do Instituto do Cérebro da UFRN. O script tem como objetivo acessar uma determinada lista do wikipedia, acessar todos os links contidos nessa lista e trazer um compilado dos textos presentes em cada uma dessas páginas. Após isso, realizar tratamento dos dados e por fim, análise do que foi obtido.

• Selenium
• nltk
• string
• pandas
• sklearn
• matplotlib
• wordcloud

• Notebook com os resultados obtidos pelo script

• Script Analise_Textos

O link a seguir é uma página da Wikipédia em português que mostra listas e subcategorias de listas sobre diversos assuntos:

https://pt.wikipedia.org/wiki/Categoria:Listas

Escolha uma destas listas. Ela será válida se estiver contida no link acima, mesmo que de forma recursiva através das subcategorias contidas no link. Pelo menos 50 itens da lista escolhida precisam estar associados a uma página do Wikipédia que tenha conteúdo, formando assim, um conjunto de pelo menos 50 páginas do Wikipédia. Caso a lista seja muito grande, pode-se trabalhar com um subconjunto dessas páginas, usando qualquer critério para a seleção, desde que o subconjunto possua pelo menos 50 páginas.

Para cada página, encontre um meio de carregar o texto da página, de modo que possa ser analisado computacionalmente usando Python.

Combinando o texto de todas as páginas carregadas, descubra quais as 50 palavras que ocorrem mais vezes. Você pode definir um conjunto de palavras a ser ignorado nessa contagem, de acordo com critérios de sua escolha. Você também pode transformar palavras em outras, seguindo um critério.

Sendo p o número de páginas carregadas, monte uma matriz com p linhas (uma para cada página) e 50 colunas (uma para cada palavra). Os valores da matriz devem indicar a quantidade de vezes que uma determinada palavra ocorre em uma determinada página.

Nessa matriz aplique uma PCA (Análise de Componentes Principais). Avalie os resultados da PCA de modo a gerar 2 grupos de palavras. Gere gráficos para mostrar esses resultados. Interprete os resultados de modo a tentar entender que conceitos distinguem os dois grupos de palavras. Escreva uma conclusão que mostre como esses resultados ampliaram seu entendimento sobre o assunto de que se trata a lista.