ETL

Автоматический сбор данных

ETL-пайплайны забирают данные из API маркетплейсов каждые 4 часа.
Нормализуют, дедуплицируют и складывают в ClickHouse.

Apache Airflow выполняет DAG по расписанию. Данные всегда актуальны — без ручного запуска.

Продажи, заказы, остатки, финансы, реклама, отзывы, тарифы — полный набор данных.

Ozon Seller, Ozon Performance, Wildberries (48 сущностей), Яндекс Маркет — из коробки.

ReplacingMergeTree + OPTIMIZE TABLE FINAL. Дубликаты исключены, повторная загрузка безопасна.

Данные копятся с момента подключения. Отключили Premium/Джем — история остаётся.

Telegram-уведомления при сбоях. Per-entity error handling — один сбой не ломает весь пайплайн.