Este projeto visa empregar técnicas de aprendizado de máquina para classificação e indexação de textos legislativos. A indexação automática de textos é fundamental para viabilizar mecanismos de consulta mais eficientes e relacionar documentos semanticamente semelhantes, como projetos de lei, notícias e normas.

Atualmente, as normas são classificadas manualmente em 39 temas, distribuidos da seguinte forma:

O objetivo é utilizar as informações de tematização para formar um conjunto etiquetado a ser utilizado em algoritmos de aprendizado supervisionado que resultem em modelos capazes de inferir um ou mais tópicos a partir do texto da norma.

As informações de normas são extraídas do banco de dados do Sistema de Legislação Informatizada (Legin), que armazena mais de 250 mil normas, sendo mais de 175 mil com indexação manual e pouco mais de 32 mil possuem classificação temática. Acesse o notebook com detalhes da preparação dos dados.

Para a classificação das normas em temas foram testados métodos baseados em frequencia de palavras utilizando a biblioteca scikit-learn.

Além da classificação temática, existe um trabalho de indexação manual das normas, que segue um padrão bem definido de assunto principal em caixa alta seguido de subtópicos separados por hífen. Exemplo da indexação da Lei nº 8.666, de 21 de junho de 1993:

LICITAÇÃO - Administração Federal - Fixação - Normas - Contrato administrativo
LEI DE LICITAÇÃO

O número de normas indexadas (> 175 mil) é muito superior ao de normas tematizadas. Esse conjunto de dados poderia ser utilizado para aumentar o conjunto de dados tematizados (data augmentation) ou mesmo treinar modelos multilabel, capazes de atribuir várias classes tags a um mesmo texto.

Mais detalhes sobre as regras de indexação podem ser encontradas no Manual de indexação de proposição legislativa.

• Classification of text documents using sparse features
• Text Classification with NLTK and Scikit-Learn
• Working With Text Data
• Analyzing tf-idf results in scikit-learn
• Convolutional Neural Networks for Sentence Classification
• Lex2vec: word2vec aplicado à legislação brasileira