AI-Service

AI-Service - это сервис для анализа данных с интерактивной доски foggy и генерации контента для пользователей.
Сервис поддерживает следующие основные запросы:

1. POST /summarize: резюмирование того, к чему пришли пользователи в процессе работы
2. POST /structurize: структуризация доски для дальнейшей работы
3. POST /template: создание шаблона доски
4. Дополнительный API для профилирования сервиса(см. стандартный пакет pprof).

Формат REST API смотри в swagger.

С помощью чего происходит анализ данных доски

1. Использование Free&Open API от Google - inputtools для анализа рукописного ввода
2. Использование моделей, которые умеют работать с текстом, изображениями для анализа всей доски
3. Итоговое заключение текстовой модели по 1 и 2 пункту

Подходы при написании сервиса

1. Использование Pipeline
2. Использование ThreadPool
3. Кэш
4. Работа с историей сообщений
5. Работа с памятью

Особенности работы

Сервис умеет работать с ИИ моделями в двух режимах:

1. Использование локальных моделей (поддержка Ollama)
2. Использование облачных моделей (любые модели, работающие с OpenAI форматом)

Примеры потребления CPU, RAM во время работы