Information retrieval project

Computer Science Center, 2014

Elizaveta Shashkova

На вход подаётся директория с документами. На выходе ожидаем получить индекс в любом формате (индекс будет использоваться второй программой).

Cтрока запуска:

./indexer.py ./docs index.inv

На вход подаётся индекс, сгенерированный на предыдущем шаге. После этого ожидаем, что программа может отвечать на запросы.

Детали:

• запросы — строки, состоящие из терминов и операторов AND и OR для упрощения считаем, что в запросе может быть только один вид оператора считаем, что в запросах все термины в нижнем регистре и в нормальной форме
• поиск должен осуществляться по всем формам слова (только для кириллических слов) индекс считывается из файла один раз и в дальнейшем хранится в памяти

Пример и формат ответов:

$ ./searcher.py index.inv
да OR нет
    found ./docs/doc1_st.txt ./docs/doc2_st.txt and 1 more
пралыоравафы
    no documents found
день
    found  ./docs/doc2_st.txt ./docs/doc3_st.txt
день AND ночь
    found  ./docs/doc2_st.txt
(зенит AND бенфика) OR (монако AND байер)
    incorrect query
большой человекоподобный робот
    incorrect query

Предполагается, что коллекция предобработана (например, с помощью технологии MyStem). MyStem запускается без дополнитеьных ключей, все значения по умолчанию. Исходный код можно открыть как проект PyCharm с сохраненными конфигурациями запуска.

вы /-4 не /3 мы
found  ./docs/doc3_st.txt
ночь /+100 день
found  ./docs/doc2_st.txt

где оператор расстояния /N имеет такую семантику:

A /N B — B на расстоянии не более N слов от A с любой стороны A /+N B — B после A на расстоянии на более N слов (аналогично A /-N B) Например, A /+1 B означает “А и B подряд”