5-е место в соревновании

Ссылка на решение, прототип веб-сервиса по детекции кариеса

• Задача
• Как мы решили кейс
  • Скриншоты
  • Что может наше решение
  • Что мы хотели бы добавить
• Соответствие техническим критериям
  • Проверка кода на запускаемость
  • Какую выбрали модель/метод
  • Какую метрику выбрали для проверки точности
  • На основе каких библиотек/ПО построено решение

Создание системы детекции по определению больных зубов у детей по фото ротовой полости с web интерфейсом. На основе фотоизображений ротовой полости, с применением технологий искусственного интеллекта, создать MVP системы детекции с web – интерфейсом по определению больных зубов у детей согласно заданного классификатора.

Реализован web сервис, предоставляющий два типа использования:

1. Любой пользователь, решивший проверить состояние сових зубов или своих детей. Возможность загрузки фото ротовой полости, получения подсвеченных участков, на которые возможно стоит обратить внимание в формате изображения с процентом уверености модели в предсказании
2. Работник детского сада / аналогичного учебного учреждения, имеющий возможность пакетной загрузки изображений, разметки имен для фотографий. Результатом обработки является итоговая сводная таблица с именами и процентами уверености модели в наличии проблем с зубами, на которые стоит обратить внимание.

Вероятность наличия кариеса предоставляется в процентном отношении и на основании этого результата предлагает направить исследуемого на дополнительное обследование к стоматологу. Для работников дошкольных учреждений предоставлена возможность вводить ID профиля ребенка и его фотографии в форматах png, jpg, json и получать список ID детей, рекомендуемых к прохождению осмотра у специалиста. Это позволит, как интегрировать в дальнейшем наш сервис к роботу-помощнику и его системе, так и сберечь нервы юных пациентов. Также при использовании в ручном режиме не требуются особые знания, а значит такое предварительное обследование может провести любой пользователь ПК, что поможет снизить нагрузку на профильных специалистов, ведь им будет сразу предложен только релевантный список для проверки.

Реализованный веб-сервис имеет несколько основных функций:

1. Автоматизированная проверка и выдача рекомендаций о внешнем состоянии зубов.
2. Возможность интеграции с частными стоматологическими клиниками, наличие онлайн карты на сайте и возможность предложения таргетированным пользователям услуг данных компаний в виде рекомендаций.
3. При минимальных трудозатратах данный web сервис трансформируется в десктоп приложение, работующее автономно на любом ПК.

1. Использование API робота-помощника. Возможность полной автономатизации всего пайплайна действий до получения результата.
2. Сегментация кариеса и расширение классификатора зубных заболеваний. При наличии большего кол-ва данных по каждому типа патологий возможно более точечно выделять больший список проблем полости рта.
3. Запись в ближайшую рекомендованную клинику
4. Монетизация за счет реализованного взаимодействия с заинтересованными клиниками в таргетированном трафике.

Для построения модели нами была выбрана модель YOLOv5 для детекции кариеса. В целом такую архитектуру можно представить в следующем виде:

Была выбрана метрика mAP, на итоговой модели она составила значение порядка 0.71.

Все использованные библиотеки предоставляются с открытым исходным кодом. Список библиотек можно найти в файле requirements.txt