Skip to content
View kiselyovd's full-sized avatar

Block or report kiselyovd

Block user

Prevent this user from interacting with your repositories and sending you notifications. Learn more about blocking users.

You must be logged in to block users.

Maximum 250 characters. Please don’t include any personal information such as legal names or email addresses. Markdown is supported. This note will only be visible to you.
Report abuse

Contact GitHub support about this user’s behavior. Learn more about reporting abuse.

Report abuse
kiselyovd/README.md

Daniil Kiselyov · Lead ML Engineer · LLM systems that ship to production

Lead ML Engineer. I build LLM systems, RAG, and multimodal pipelines for enterprise clients in on-premise and air-gapped environments. 5.5 years in ML and engineering; the last three years end-to-end LLM, OCR/VLM, and RAG platforms in production.

Fullstack and team-lead background (Django/React) means I ship models as services, not proof-of-concepts.


Currently

  • Multi-platform AI for BIM design - production system for 160+ engineers at a major developer. Scenario Engine (n8n-style visual DAG with LLM-aware nodes, versioning, rollback) replacing an earlier multi-agent architecture. Polyglot monorepo: FastAPI backend, Tauri v2 + React 19 desktop, C# Revit plugin with a custom MCP protocol. Full MLOps contour - OpenTelemetry + Langfuse + Prometheus + Grafana + Jaeger.
  • Visual RAG platform for engineering documentation - hybrid retrieval (Visual RAG on PDF/DWG via Jina v4 + Text2SQL via Qwen on vLLM), four domain profiles, air-gapped deployments. Three enterprise clients shipped.

Text2BIM / Scenario Engine architecture


Python PyTorch FastAPI vLLM Qwen Langfuse OpenTelemetry Tauri Rust Docker HuggingFace Ruff uv


Enterprise work

Category Role What Stack highlights
BIM / AEC Full-stack, solo Multi-platform AI for BIM design, 160+ engineers; Scenario Engine, MCP, OIDC FastAPI · Tauri v2 · C#/Revit · MCP
Visual RAG Solo, 3 clients Hybrid Visual RAG + Text2SQL for engineering docs, 4 domain profiles, air-gapped vLLM · ChromaDB · Jina v4 · PaddleOCR
Industrial B2B Tech Lead, team 1+1 LLM commercial-proposal automation, VLM field extraction on Qwen with xgrammar constrained decoding Qwen 3.6 · xgrammar · networkx
EdTech VR ML advisor / mentor VR language-learning AI; Whisper + phoneme-alignment for pronunciation, MMS-TTS fine-tune on a low-resource creole Whisper · MMS-TTS

Presale & leadership

  • 10+ tenders and presale analyses over 10 months - multilingual ticket systems, LLM infrastructure cost modelling, HR analytics, GNN for BIM, air-gapped platforms for design institutes.
  • Tech lead on the BIM AI system - architecture, decomposition, code review, the Scenario Engine rewrite. CQRS split, OIDC + RBAC, full audit log.
  • Hiring & mentoring - 10 interviews on LLM + RecSys, 2 candidates accepted by the client. ML mentoring for external teams on speech pipelines and low-resource TTS/ASR.

🐉 Flagship: Dungeon Master AI

Dungeon Master AI combat - initiative tracker, virtual tabletop and AI tool-calls Dungeon Master AI guided hero creation

dungeon-master-ai - a multimodal, AI-powered D&D desktop app built from scratch in Rust + Tauri v2 + React 19. Not a wrapper: a real server-authoritative rules engine (initiative, turn-gating, conditions, damage resistance, spell resolution), an on-device LLM runtime (mistral.rs sidecar, no cloud required) with optional cloud providers, multimodal output (DM narration + generated maps/illustrations + video), and SRD rules retrieval (RAG). Cross-platform signed bundles (Windows/macOS/Linux), tagged releases, 11 CI workflows.


🧪 Open-source ML Portfolio

Five production-grade ML projects on a shared cookiecutter template. Full stack: PyTorch Lightning · Hydra · MLflow · DVC · FastAPI · Docker · GitHub Actions · MkDocs · HuggingFace Hub.

Project Task Main model Metrics Status
chest-xray-classifier CI HF Docs 3-class pneumonia classification ConvNeXt-V2-Tiny acc 91.3% · F1 90.3% · AUROC 97.5% ✅ v0.1.0
brain-mri-segmentation CI HF Docs Binary brain-tumor segmentation SegFormer-B2 Dice 65.5% · IoU 66.2% · Pixel acc 99.7% ✅ v0.1.0
vehicle-keypoints CI HF HF downloads Docs 14-keypoint car pose (CarFusion, n=12 761) YOLO26-pose + ViTPose-S (baseline) OKS-mAP 50.4% · mAP50 70.4% · PCK@0.05 76.1% ✅ v0.1.0
cardio-risk-rf CI HF Docs Tabular cardiovascular-risk classification (n=70 000, test n=10 501) LightGBM + RandomForest (baseline, ROC-AUC 79.5%) ROC-AUC 79.8% · PR-AUC 78.1% · F1 73.8% · Brier 0.182 ✅ v0.1.0
grnti-text-classifier CI HF Docs Russian scientific-text classification, 28 GRNTI codes (test n=2 772) XLM-RoBERTa-base + ruBERT-base (baseline, Top-1 72.9%) Top-1 72.4% · Top-5 96.8% · Macro F1 72.3% ✅ v0.1.0
ml-project-template CI Cookiecutter scaffold for the five above - 12/12 meta-tests green ✅ Stable

Shared features across all five models: patient-/scene-level splits with no leakage, bilingual EN+RU README, multi-stage Docker, HF Hub model cards with widgets, DVC-tracked artefacts, Python 3.12+3.13 matrix CI, ruff + mypy + deptry + bandit + interrogate + pre-commit quality gates, self-hosted coverage badges.

vehicle-keypoints is the most-pulled model of the set - 1k+ downloads/month on the Hub.


🎬 Synthetic data & monocular 3D pose (research track)

A sister line of work around vehicle-keypoints, exploring sim-to-real training and lifting 2D keypoints to 3D pose:

Cinematic reveal of the synthetic City Sample vehicle dataset with 24-point keypoint overlay

  • ue5-vehicle-synth - an Unreal Engine 5 C++ plugin that captures keypoint-annotated vehicle datasets from Epic's City Sample, on a 24-point schema (CarFusion-14 compatible), with the cinematic generation demo above, a published 🤗 dataset, and live docs.
  • citysample-vehicle-keypoints-24pt - a 24-point YOLO-pose model trained entirely on the synthetic renders (mAP@50 0.859 on held-out synthetic val); a proof that the generated dataset is clean and learnable.
  • Monocular 3D pose baseline inside vehicle-keypoints: detector -> PnP (solvePnPRansac) against a canonical rigid car wireframe -> 6DoF pose, evaluated on the ApolloCar3D benchmark (median rotation error 13.6 deg, 37.8% of cars within 10 deg).

Activity

GitHub Metrics


🇷🇺 Русская версия

Lead ML Engineer. Строю LLM-системы, RAG и мультимодальные пайплайны для корпоративных заказчиков в on-premise и air-gapped контурах. 5.5 лет в ML и разработке; последние три года - LLM, OCR/VLM и RAG-платформы в проде от архитектуры до поддержки.

Fullstack и тимлид-бэкграунд (Django/React) помогает доводить модели до полноценных сервисов, а не PoC.

Сейчас

  • Мультиплатформенная AI-система для BIM-проектирования - продакшен, 160+ инженеров крупного девелопера. Scenario Engine (визуальный DAG с LLM-нодами, версионированием, rollback) вместо прежней мультиагентной архитектуры. Polyglot-монорепо: FastAPI-бэкенд, Tauri v2 + React 19 desktop, C# плагин для Revit с собственным MCP-протоколом. MLOps-контур: OpenTelemetry + Langfuse + Prometheus + Grafana + Jaeger.
  • Visual RAG-платформа для инженерной документации - гибридный ретривал (Visual RAG по PDF/DWG на Jina v4 + Text2SQL через Qwen на vLLM), 4 domain-профиля, air-gapped развёртывания. Три корпоративных заказчика закрыто.

Enterprise-проекты

Категория Роль Что Стек
BIM / AEC Full-stack, соло Мультиплатформенная AI-система, 160+ инженеров; Scenario Engine, MCP, OIDC FastAPI · Tauri v2 · C#/Revit · MCP
Visual RAG Соло, 3 заказчика Гибрид Visual RAG + Text2SQL для инженерной документации, 4 domain-профиля, air-gapped vLLM · ChromaDB · Jina v4 · PaddleOCR
Промышленный B2B Tech Lead, команда 1+1 LLM-автоматизация КП, VLM-экстракция на Qwen через xgrammar Qwen 3.6 · xgrammar · networkx
EdTech / VR ML-ментор VR-платформа для изучения языков; Whisper + phoneme-alignment, MMS-TTS под низкоресурсный креольский Whisper · MMS-TTS

Пресейл и лидерство

  • 10+ тендеров и пресейл-аналитики за 10 месяцев - мультиязычные тикет-системы, cost-модели LLM-инфраструктуры, HR-аналитика, GNN-планировщик для BIM, air-gapped платформы для проектных институтов.
  • Техлид на BIM AI-системе - архитектура, декомпозиция, код-ревью, rewrite на Scenario Engine. CQRS, OIDC + RBAC, полный audit-log.
  • Найм и менторинг - 10 интервью LLM + RecSys, 2 кандидата приняты заказчиком. ML-менторинг внешних команд по речевым пайплайнам и low-resource TTS/ASR.

🐉 Флагман: Dungeon Master AI

Бой в Dungeon Master AI - трекер инициативы, виртуальный стол и AI tool-calls Создание героя в Dungeon Master AI

dungeon-master-ai - мультимодальное AI-приложение для D&D, написанное с нуля на Rust + Tauri v2 + React 19. Не обёртка: настоящий серверный движок правил (инициатива, контроль ходов, состояния, сопротивления урону, разрешение заклинаний), локальный LLM-рантайм (sidecar на mistral.rs, без облака) с опциональными облачными провайдерами, мультимодальный вывод (нарратив + генерация карт/иллюстраций + видео) и SRD-ретривал правил (RAG). Кроссплатформенные подписанные сборки (Windows/macOS/Linux), релизы с тегами, 11 CI-workflow.


🧪 Open-source ML-портфолио

Пять production-grade ML-проектов на общем cookiecutter-шаблоне. Тот же набор моделей и метрик, что в английской версии таблицы выше - карточки на GitHub и HuggingFace доступны по тем же ссылкам. Самая скачиваемая модель набора - vehicle-keypoints (1000+ загрузок в месяц на Hub).

🎬 Синтетические данные и монокулярная 3D-поза (research)

Смежная линия работ вокруг vehicle-keypoints - sim-to-real обучение и переход от 2D-ключевых точек к 3D-позе:

Кинематографичный reveal синтетического датасета City Sample с наложением 24 ключевых точек

  • ue5-vehicle-synth - плагин на C++ для Unreal Engine 5, который снимает размеченные датасеты ключевых точек авто из City Sample Epic по 24-точечной схеме (совместимой с CarFusion-14), с кинематографичным demo-роликом выше, опубликованным 🤗 датасетом и живой документацией.
  • citysample-vehicle-keypoints-24pt - 24-точечная YOLO-pose модель, обученная полностью на синтетических рендерах (mAP@50 0.859 на отложенном синтетическом val); доказательство, что сгенерированный датасет чист и обучаем.
  • Монокулярный 3D-baseline внутри vehicle-keypoints: детектор -> PnP (solvePnPRansac) по каноничному жёсткому каркасу авто -> 6DoF поза, оценка на бенчмарке ApolloCar3D (медианная ошибка поворота 13.6 deg, 37.8% машин в пределах 10 deg).

Pinned Loading

  1. dungeon-master-ai dungeon-master-ai Public

    Multimodal AI-powered D&D desktop application built with Tauri v2, React, and Rust

    TypeScript

  2. ue5-vehicle-synth ue5-vehicle-synth Public

    Synthetic vehicle-keypoint dataset pipeline on Unreal Engine 5 + City Sample (ZoneGraph road placement, Movie Render Queue gold-path render, 24-pt COCO export).

    Python

  3. vehicle-keypoints vehicle-keypoints Public

    14-keypoint car pose estimation on CarFusion — YOLO26-pose main + ViTPose-S baseline, FastAPI serving, HF Hub model

    Python 1

  4. chest-xray-classifier chest-xray-classifier Public

    3-class pneumonia classifier (normal/bacterial/viral) — ConvNeXt-V2-Tiny + DINOv2 baseline, FastAPI serving, HF Hub model

    Python

  5. brain-mri-segmentation brain-mri-segmentation Public

    Binary brain-tumor MRI segmentation (LGG) — SegFormer-B2 + U-Net baseline, FastAPI serving, HF Hub model

    Python

  6. grnti-text-classifier grnti-text-classifier Public

    Production-grade Russian multi-class text classifier (GRNTI) - XLM-RoBERTa main, ruBERT baseline, FastAPI serving, HF Hub model.

    Python