Проект разработан для хакатона МТС Система, трек "Инклюзивный дом". Решение представляет собой систему умного помощника для людей с ограниченными возможностями, позволяющую взаимодействовать с системой ЖКХ через различные каналы коммуникации: голос, текст и язык жестов.
- Клонировать репозиторий
- Запустить модуль backend
- Запустить модуль ml_service
- Запустить модуль frontend
См. инструкции по запуску в каждом модуле.
Клиентское веб-приложение, разработанное на React + TypeScript:
- Поддержка различных способов ввода (текст, голос, жесты)
- Интерактивный чат-интерфейс
- Распознавание языка жестов через веб-камеру
- Адаптивный дизайн
API-сервер на FastAPI для обработки запросов (бизнес-логика):
- Конвертация речи/видео в текст
- Маршрутизация запросов в ML-сервис
- Сохранение истории запросов
- Асинхронная обработка через Redis
Сервис машинного обучения для обработки запросов:
- Классификация намерений пользователя
- Обработка естественного языка
- Поддержка мультиязычности
- Интеграция с LLM для генерации ответов
Скрипты и конфигурации для дообучения моделей:
- Генерация синтетических данных
- Файлы конфигурации для обучения
- Утилиты для подготовки данных
- Скрипты для fine-tuning моделей
- Создание заявок в УК
- Вызов лифта
- Просмотр камер видеонаблюдения
- Проверка состояния территории
- Передача показаний счетчиков
- Оплата коммунальных услуг
- Frontend: React, Vite, TypeScript, TailwindCSS
- Backend: FastAPI, PostgreSQL, Redis, FFmpeg
- ML Service: vLLM, Pytorch, huggingface
- Infrastructure: Docker, Docker Compose, Nginx, Postgres, Redis