Bootcamp

Проект ETL (Extract, Transform, Load) для обработки и анализа данных в реальном времени с использованием современного стека технологий.

🚀 Подключение к сервисам и СУБД

Все ссылки на инструменты находятся здесь!

https://bootcamp-page.ru.tuna.am

Основные компоненты

• Airflow - оркестрация ETL процессов
• ClickHouse - колоночная СУБД для аналитики
• PostgreSQL - строковая СУБД в качестве источника данных
• Apache Spark - обработка данных в реальном времени
• Kafka - потоковая обработка данных
• Debezium - CDC (Change Data Capture) для отслеживания изменений в данных
• Apache Superset - визуализация данных
• Jupyter Notebook | VSCode - интерактивный анализ данных

Инфраструктура

• Docker - контейнеризация всех компонентов
• MinIO - S3-совместимое хранилище объектов
• PostgreSQL - метаданные Airflow

---