← Все проекты

Мобильный видеогид для людей с нарушениями слуха

2023 · Дом-музей Марины Цветаевой · Фонд СВЕТ
Мобильный видеогид для музея Цветаевой
2 000+

фотографий экспонатов обработано

12+

часов видеоматериалов отснято

2023

проект запущен и работает

О проекте

Команда THEIGLOO в сотрудничестве с Домом-музеем Марины Цветаевой и при поддержке фонда СВЕТ разработала мобильный видеогид для глухих и слабослышащих посетителей. Приложение делает экспозицию музея доступной для людей с нарушениями слуха.

Видеогид работает на планшете и позволяет посетителям самостоятельно знакомиться с экспонатами. При наведении камеры на экспонат приложение распознаёт его и показывает информацию на жестовом языке.

Видеоматериалы

Отснято и обработано более 12 часов чернового видео об экспонатах музея. Каждый фрагмент переведён на русский жестовый язык и встроен в приложение.

Видеоматериалы проекта
Обработка фотографий экспонатов

Обработка фотографий

Сделано, обработано и оптимизировано более 2000 фотографий экспонатов музея для внедрения в механизм распознавания. Каждое изображение прошло цветокоррекцию и подготовку для компьютерного зрения.

Возможности

  • Распознавание экспонатов — наведение камеры планшета на объект запускает показ видеогида на жестовом языке
  • Интерактивный маршрут — приложение строит маршрут по музею с обозначением точек и порядка следования
  • Сурдоперевод — вся информация об экспонатах представлена на русском жестовом языке
  • Автономная работа — приложение работает без подключения к интернету

Технологии

Android
Kotlin
OpenCV
Компьютерное зрение
TensorFlow Lite
Распознавание
Оффлайн-режим
Без интернета