Lakehouse и объектное хранилище

Сырые и обработанные данные лежат в разных системах

Озеро данных на S3/Iceberg с SQL-доступом

Решения, которые это умеют (8)

Возможность подтверждена модулями, которые разработчик описал у себя на сайте, — они названы под решением.

Модули, в которых это описано (8)
МодульТип
Hadoop/Spark платформа — →
ClickHouse — аналитическая СУБД — →
Evolution Object Storage

Объектное хранилище S3 для слоя данных. Все сервисы платформы оплачиваются по мере потребления и подключаются из единого интерфейса: «не нужно самостоятельно настраивать интеграции».

Входит в тариф →
Слой хранения на Apache Iceberg

Данные лежат в S3-совместимом объектном хранилище. Про табличный формат разработчик пишет: «Iceberg используется в качестве табличного формата хранения реляционных данных. Реализует ACID-подход, эволюцию метаданных, data time travel операции».

Входит в тариф →
Хранение и метаданные

Хранение — открытые табличные форматы Apache Iceberg и Hudi, метаданные — OpenMetadata и HMS. За безопасность отвечает отдельный продукт линейки — Digital Q.Security.

Входит в тариф →
Apache Iceberg — →
Работа с открытыми форматами через Apache Iceberg — →
Язык запросов S3 Select — →

Боли, которые закрывает (1)