vbunt / homonymy-and-frequency Goto Github PK

В файле "1. Создание базы" обрабатывается корпус, заранее поделенный на маленькие файлы, и результат записывается в базу в таблицу main. Там хранится токен, его частотность и тип омонимии.

В "2. Графики распределения типов по частотности" строятся графики распределения типов по частотности в 10000 словоформ (Рис. 2) и в 1000 словоформ (Рис. 3).

В "3. Доделывание базы" по 20000 самых частотных словоформ создается таблица pos_tag_lemma, в которой записывается каждый разбор каждой словоформы: ее часть речи, параметры и начальная форма.

В "4. Части речи и типы омонимии" строятся Табл. 1 и 2, в которых показано распределение частей речи по типам омонимии.

В "5. Распределение частей речи по частоте" строятся графики распределения частей речи по частоте (Рис. 4-6).

В "6. Матрицы падежей и частей речи" строятся матрицы омонимии падежей (Табл. 4) и частей речи (Табл. 3) и график изменения наиболее частотных совпадений частей речи (Рис. 8).

В "7. Графы" по соответствующим матрицам строятся графы падежей (Рис. 9) и частей речи (Рис. 7).

В "8. Ищем длины словоформ" находятся средние длины токенов и создаются графики зависимости типов неоднозначности от длины токена (Рис. 10, 11).