natasha / razdel Goto Github PK

Заметил что в tokenize нет RULE которое бы объединило сокращение в один терм, это было сделано специально?

Такое правило добавлено в sentenize, что привело к различному формированию токенов

Что бы добавить дополнительное правило необходимо полностью переписать TokenSegmenter, можно дать возможность передавать аргументы как это было сделано для SentSegmenter ?

Здравствуйте.
Токенизатор правильно разбивает тексты, где содержатся названия городов:
Ростов-на-Дону Санкт-Петербург

Однако с диапазонами значений он поступает аналогично:
2016-2017 - один токен
5-кратное - один токен
10ти-кратное - разбивается на 10 и ти-кратное

Следующие пары предложений расцениваются как одно:
Точка K принадлежит отрезку MN длиной 32 см и делит его в отношении 3:5, считая от точки M. Найдите KM.
Точка К принадлежит отрезку АВ длиной 3 и делит его в отношении 2:7 считая от точки А. Найдите КВ.

Мешает то ли римская M как перечислимый пункт, то ли инициалы, то ли еще что...

Здравствйте, столкнулся со следующей проблемой при использовании на python 3.7.
Там необходимо немного переписать обращение к генератору, как, например, тут https://stackoverflow.com/questions/51700960/runtimeerror-generator-raised-stopiteration-every-time-i-try-to-run-app

Вот так выглядит traceback в данный момент.

File "/usr/lib/python3.7/site-packages/razdel/substring.py", line 18, in find_substrings
    for chunk in chunks:
RuntimeError: generator raised StopIteration

Привет, есть предложение считать все символы emoji за отдельные токены.
Сейчас библиотека склеивает их с нормальными словами:
Например, для такого текста:

✅Сдается комната. стиралка,wifi... Сдается без комиссии.Соседи семья без детей.Можно с животными. Вся необходимая инфраструктура в пешей доступности. М. Восстания Ул.Гончарная 8000+счетчики💰 8-906-271-28-93 📲 Все фото на стене🌅

Результат будет следующий:

[Substring(0, 8, '✅Сдается'),
 Substring(9, 16, 'комната'),
 Substring(16, 17, '.'),
 Substring(18, 26, 'стиралка'),
 Substring(26, 27, ','),
 Substring(27, 31, 'wifi'),
 Substring(31, 34, '...'),
 Substring(35, 42, 'Сдается'),
 Substring(43, 46, 'без'),
 Substring(47, 55, 'комиссии'),
 Substring(55, 56, '.'),
 Substring(56, 62, 'Соседи'),
 Substring(63, 68, 'семья'),
 Substring(69, 72, 'без'),
 Substring(73, 78, 'детей'),
 Substring(78, 79, '.'),
 Substring(79, 84, 'Можно'),
 Substring(85, 86, 'с'),
 Substring(87, 96, 'животными'),
 Substring(96, 97, '.'),
 Substring(98, 101, 'Вся'),
 Substring(102, 113, 'необходимая'),
 Substring(114, 128, 'инфраструктура'),
 Substring(129, 130, 'в'),
 Substring(131, 136, 'пешей'),
 Substring(137, 148, 'доступности'),
 Substring(148, 149, '.'),
 Substring(150, 151, 'М'),
 Substring(151, 152, '.'),
 Substring(153, 162, 'Восстания'),
 Substring(163, 165, 'Ул'),
 Substring(165, 166, '.'),
 Substring(166, 175, 'Гончарная'),
 Substring(176, 180, '8000'),
 Substring(180, 181, '+'),
 Substring(181, 190, 'счетчики💰'),
 Substring(191, 206, '8-906-271-28-93'),
 Substring(207, 208, '📲'),
 Substring(209, 212, 'Все'),
 Substring(213, 217, 'фото'),
 Substring(218, 220, 'на'),
 Substring(221, 227, 'стене🌅')]

https://github.com/Koziev/rutokenizer

text = "1. Текст юридической нормы согласно постановлению Правительства РФ от 25.05.2020 №3543 "О размещении информации и т.д. Общие положения" (зарегистрировано Министервом юстиции РФ. Регистрационный номер 3333) выделяются М.М. Мишустиным следующие истории: \n1. История 1; \n2. История 2; \n3.2. История 3\nа) История 2."

На входе есть такой текст (см. выше). По юридическим нормам русского языка это одно предложение

На выходе имеем ложное разбиение предложений внутри скобок, внутри кавычек, и при обработке списков.

Вопросы:

1. Это сознательное решение о подобном поведении в случаях обработки кавычек и скобок?
2. Можете подсказать точки изменений, которые позволят подобные вещи исправить и считать текст выше одним предложением?

Заранее спасибо :)

Тест-кейс:

from razdel import tokenize
print([_.text for _ in tokenize(`:-)`)]) 
# [`:`, `-`, `)`]

• В регулярке ATOM каждый символ пунктуации рассматривается как отдельный атом, то есть слияние ожидается от процедуры сегментации
• В процедуре punct судя по всему только содержимое двух атомов приходит, :-, -). Видимо, раньше здесь какое-то другое правило склеивало :- в один буффер, а punct проверяло завершающую скобочку ).

  # SMILE = re.compile(r'^' + r'[=:;]-?[)(]{1,3}' + '$', re.U)
  if SMILE.match(tok.buffer + right):
     return JOIN

Предлагаемый патч, проверяем третий токен

def punct(split):
    if split.left_1.type != PUNCT or split.right_1.type != PUNCT:
        return

    left = split.left
    right = split.right

+    if split.right_2 and SMILE.match(split.buffer + right + split.right_2.text):
+        return JOIN

    if SMILE.match(split.buffer + right):
        return JOIN

    if left in ENDINGS and right in ENDINGS:
        # ... ?!
        return JOIN

    if left + right in ('--', '**'):
        # ***
        return JOIN

Добрый день!
На главной странице анализатора razdel не работает выделенная ссылка (возвращается 404)

Встретил проблему при отладке сегментации

На строке DebugSegmenter используются print которые могут сломать вывод отображения

Предлагаю переписать на print(repr(split.left), '|', repr(split.delimiter), '|', repr(split.right))

Таким образом у нас появятся все непечатаемые символы что облегчит разбор отладки