natasha / slovnet Goto Github PK

I feel like it doesn't detect positions at all.

text = "Аналитик данных Василий Пупкин в Яндексе"
markup = ner(text)
show_markup(markup.text, markup.spans)

Аналитик данных Василий Пупкин в Яндексе
                PER───────────   ORG────

text = "Richard Biener, GCC developer"
markup = ner(text)
show_markup(markup.text, markup.spans)

Richard Biener, GCC developer
                ORG──────────

договор может заключаться без учета требований к срочным трудовым договорам, предусмотренных частью второй настоящей статьи с лицами, принимаемыми на работу в микроорганизацию

На сайте CoNLL-U сказано, что "The HEAD and DEPREL values define the basic dependencies which must be strictly a tree." Дерево, как мы знаем, это связный граф без циклов. Словнет, при всей своей маленькости, позволяет себе и не-связность, и циклы.

Например, для предложения "Не знаю, что и сказать, мистер Холмс" получается что-то вроде такого:

      ┌►  1 Не                   PART  advmod
┌─────└─  2 знаю                 VERB  
│ ┌────►  3 ,                    PUNCT punct
│ │ ┌──►  4 что                  SCONJ obj
│ │ │ ┌►  5 и                    PART  advmod
│ └─└─└─  6 сказать              VERB  
│   └──►  7 ,                    PUNCT punct
└────►┌─  8 мистер               NOUN  nsubj
      └►  9 Холмс                PROPN appos

Или так.

Токен "сказать", страшно сказать, имеет самого себя в head. Наверное, это считается за рекурсию, но другой пример с рекурсией, честное слово, найти несложно.

Я полагаю, всё это следствие того, что нейронка творит что хочет. Юдипайп такого ожидаемо не творит. Диппавлов делает так же?

Есть идеи, как это можно обойти после инфера? Вероятности брать не максимальные, а комплексно, пробегая вероятностной моделью, например.

Идеи, как это обойти, иначе обучая?

Планы сделать первое или второе в обозримом будущем?

обучил модель на собственном датасете, затем пытаюсь посмотреть как она обучилась и получить предсказание.
запускаю скрипт 05_ner/pack.ipynb и получаю следующую ошибку:

ner = api.NER.load(PACK)
ner.navec(navec)

custom = ['«Коронамобиль» Ангелы Меркель сняли на видео']

markup = ner(custom)

show_span_markup(markup)

[razdel\segmenters\tokenize.py:250](/Lib/site-packages/razdel/segmenters/tokenize.py:250), in TokenSplitter.atoms(self, text)
      2 ner.navec(navec)
      4 custom = ['«Коронамобиль» Ангелы Меркель сняли на видео']
----> 6 markup = ner(custom)
      8 show_span_markup(markup)  
...
    249 def atoms(self, text):
--> 250     **matches = ATOM.finditer(text)**
    251     for match in matches:
    252         start = match.start()

TypeError: expected string or bytes-like object, got 'list'

i cannot use the big navec model: hudlit_v1_12B_500K_300d_100q.tar
it only works with the small model.

whenever i use the big model i get an error because of the id.
i tried manually changing the id in the meta.json file, but if i do that, it still does not work.

this is my code:

text = 'Европейский союз добавил в санкционный список девять политических деятелей из.'
navec = Navec.load('hudlit_v1_12B_500K_300d_100q.tar')
ner = NER.load('slovnet_ner_news_v1.tar')
ner.navec(navec)
print(ner(text))

this is the error about the id i get:

~/sharedfolder/dev/ru/slovnet/slovnet/api.py in navec(self, navec)
28
29 def navec(self, navec):
---> 30 self.infer.model = self.infer.model.inject_navec(navec)
31 return self
32

~/sharedfolder/dev/ru/slovnet/slovnet/exec/model.py in inject_navec(self, navec)
39 def inject_navec(self, navec):
40 visitor = InjectNavecVisitor(navec)
---> 41 return visitor(self)
42
43 @Property

~/sharedfolder/dev/ru/slovnet/slovnet/visitor.py in call(self, item)
16
17 def call(self, item):
---> 18 return self.visit(item)

~/sharedfolder/dev/ru/slovnet/slovnet/visitor.py in visit(self, item)
13
14 def visit(self, item):
---> 15 return self.resolve_method(item)(item)
16
17 def call(self, item):

~/sharedfolder/dev/ru/slovnet/slovnet/exec/model.py in visit_Module(self, item)
504 value = [self.visit(_) for _ in value]
505 else:
--> 506 value = self.visit(value)
507 args.append(value)
508 return type(item)(*args)

~/sharedfolder/dev/ru/slovnet/slovnet/visitor.py in visit(self, item)
13
14 def visit(self, item):
---> 15 return self.resolve_method(item)(item)
16
17 def call(self, item):

~/sharedfolder/dev/ru/slovnet/slovnet/exec/model.py in visit_Module(self, item)
504 value = [self.visit(_) for _ in value]
505 else:
--> 506 value = self.visit(value)
507 args.append(value)
508 return type(item)(*args)

~/sharedfolder/dev/ru/slovnet/slovnet/visitor.py in visit(self, item)
13
14 def visit(self, item):
---> 15 return self.resolve_method(item)(item)
16
17 def call(self, item):

~/sharedfolder/dev/ru/slovnet/slovnet/exec/model.py in visit_NavecEmbedding(self, item)
550 id = self.navec.meta.id
551 if item.id != id:
--> 552 raise ValueError('Expected id=%r, got %r' % (item.id, id))
553
554 pq = self.navec.pq

ValueError: Expected id='news_v1_1B_250K_300d_100q', got 'hudlit_v1_12B_500K_300d_100q'

Добрый день!

Судя по всему, на данный момент имеется расхождение минимального примера из readme и актуальным API библиотеки, т.к. у функции NER нет аттрибута navec, во-вторых объект NERinfer возвращает генератор, который при распаковке ничего не возвращает. Подскажите, что я упускаю?

Также, было бы здорово хотя бы в тезисах увидеть документацию по обучению под кастомную задачу: формат датасета и минимальный код для этого.

P.S. планируется ли заморозка API? неделю назад интерфейс был другим, а по тегу релиза README нет

Разбираем предложение:

words = ['Ему', 'не', 'хватает', 'знания', 'языка', 'и', 'опыта', '.']

markup = syntax(words)

ids = {_.id: _ for _ in markup.tokens}

for token in markup.tokens:
    head = ids.get(token.head_id)
    if head:
        print([token.text, token.rel, head.text])
    else:
        print(token.text)

Результат:

['Ему', 'iobj', 'хватает']
['не', 'advmod', 'хватает']
хватает
['знания', 'nsubj', 'хватает']
['языка', 'nmod', 'знания']
['и', 'cc', 'опыта']
['опыта', 'conj', 'языка']
['.', 'punct', 'хватает']

Я правильно понимаю, что программа считает «языка» и «опыта» однородными определениями к слову «знания»?

Как можно исправить конкретную ошибку разбора?

Здравствуйте! Хотел уточнить, можно ли как-то работать с Natasha, используя GPU?

Продублирую проблему в этой ветке.
Проблема возникла с библиотекой natasha, но ссылка в ошибках идёт на slovnet.
Ошибка возникает при numpy 1.24

Лог ошибки
Собственно, natasha 1.4.0 not work with numpy 1.24.
Как исправить? И ждать ли исправлений?

Error log:

File "/home/user/project/moduls/modul_natasha.py", line 45, in natasha_analize
doc.parse_syntax(syntax_parser)
File "/home/user/project/env/lib/python3.10/site-packages/natasha/doc.py", line 139, in parse_syntax
parse_syntax_doc(self, parser)
File "/home/user/project/env/lib/python3.10/site-packages/natasha/doc.py", line 239, in parse_syntax_doc
for sent_id, (sent, markup) in enumerate(zip(doc.sents, markups), 1):
File "/home/user/project/env/lib/python3.10/site-packages/natasha/syntax.py", line 79, in map
for markup in markups:
File "/home/user/project/env/lib/python3.10/site-packages/slovnet/api.py", line 35, in map
yield from self.infer(chunk)
File "/home/user/project/env/lib/python3.10/site-packages/slovnet/exec/infer.py", line 109, in call
for item, pred in zip(items, preds):
File "/home/user/project/env/lib/python3.10/site-packages/slovnet/exec/infer.py", line 82, in call
for pred in preds:
File "/home/user/project/env/lib/python3.10/site-packages/slovnet/exec/infer.py", line 93, in process
pred = self.model(input.word_id, input.shape_id, input.pad_mask)
File "/home/user/project/env/lib/python3.10/site-packages/slovnet/exec/model.py", line 481, in call
rel_id = self.rel(x, target_head_id)
File "/home/user/project/env/lib/python3.10/site-packages/slovnet/exec/model.py", line 449, in call
head = self.head(gather_head(input, self.root.array, head_id))
File "/home/user/project/env/lib/python3.10/site-packages/slovnet/exec/model.py", line 419, in gather_head
zero = np.zeros((batch_size, 1), dtype=np.long)
File "/home/user/project/env/lib/python3.10/site-packages/numpy/init.py", line 284, in getattr
raise AttributeError("module {!r} has no attribute "
AttributeError: module 'numpy' has no attribute 'long'

I run code from example:

`from ipymarkup import show_dep_ascii_markup as show_markup
from razdel import sentenize, tokenize
from navec import Navec
from slovnet import Syntax

text='Европейский союз добавил в санкционный список девять политических деятелей из самопровозглашенных республик Донбасса — Донецкой народной республики (ДНР) и Луганской народной республики (ЛНР) — в связи с прошедшими там выборами. Об этом говорится в документе, опубликованном в официальном журнале Евросоюза. В новом списке фигурирует Леонид Пасечник, который по итогам выборов стал главой ЛНР. Помимо него там присутствуют Владимир Бидевка и Денис Мирошниченко, председатели законодательных органов ДНР и ЛНР, а также Ольга Позднякова и Елена Кравченко, председатели ЦИК обеих республик. Выборы прошли в непризнанных республиках Донбасса 11 ноября. На них удержали лидерство действующие руководители и партии — Денис Пушилин и «Донецкая республика» в ДНР и Леонид Пасечник с движением «Мир Луганщине» в ЛНР. Президент Франции Эмманюэль Макрон и канцлер ФРГ Ангела Меркель после встречи с украинским лидером Петром Порошенко осудили проведение выборов, заявив, что они нелегитимны и «подрывают территориальную целостность и суверенитет Украины». Позже к осуждению присоединились США с обещаниями новых санкций для России.'
chunk = []
for sent in sentenize(text):
tokens = [_.text for _ in tokenize(sent.text)]
chunk.append(tokens)
navec = Navec.load('navec_news_v1_1B_250K_300d_100q.tar')
syntax = Syntax.load('slovnet_syntax_news_v1.tar')
markup = next(syntax.map(chunk))`

It raise an error:

Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/arseniy/anaconda3/envs/slovnet/lib/python3.6/site-packages/slovnet/api.py", line 35, in map yield from self.infer(chunk) File "/home/arseniy/anaconda3/envs/slovnet/lib/python3.6/site-packages/slovnet/exec/infer.py", line 109, in __call__ for item, pred in zip(items, preds): File "/home/arseniy/anaconda3/envs/slovnet/lib/python3.6/site-packages/slovnet/exec/infer.py", line 82, in __call__ for pred in preds: File "/home/arseniy/anaconda3/envs/slovnet/lib/python3.6/site-packages/slovnet/exec/infer.py", line 93, in process pred = self.model(input.word_id, input.shape_id, input.pad_mask) File "/home/arseniy/anaconda3/envs/slovnet/lib/python3.6/site-packages/slovnet/exec/model.py", line 476, in __call__ x = self.emb(word_id, shape_id) File "/home/arseniy/anaconda3/envs/slovnet/lib/python3.6/site-packages/slovnet/exec/model.py", line 245, in __call__ word = self.word(word_id) File "/home/arseniy/anaconda3/envs/slovnet/lib/python3.6/site-packages/slovnet/exec/model.py", line 232, in __call__ indexes = self.indexes.array[input] TypeError: 'NoneType' object is not subscriptable

numpy version: 1.18.0, 1.19.5
python version: 3.8.5, 3.6
OS: Ubuntu

Здравствуйте! При использовании POS-таггера в режиме скрипта внутри одного процесса, обработка происходит достаточно быстро. Но если запустить celery очередь на 4 процессах, то POS-разметка занимает экстремально много времени: на одной машине и в celery-очереди одни и те же данные обрабатываются соответственно 6 и 250 секунд.

Я запустил профилирование, и увидел вот такое:

Это файл slovnet/exec/model.py.

Каким образом я могу настроить многопроцессную обработку данных с использованием slovnet? И чем может быть вызвано такое увеличение времени обработки?

Заранее спасибо!