Tarantool Column Store

Tarantool Column Store — «отечественная in-memory колоночная СУБД для транзакционно-аналитической обработки данных в реальном времени» — так описывает продукт его разработчик VK Tech. Это один из продуктов линейки Tarantool наряду с Tarantool DB, Tarantool CDC, Queue Enterprise и Clusters Federation.

Разработчик объясняет идею прямо: «Традиционно транзакционные и аналитические системы отделены друг от друга. Как правило, транзакционная информация копируется в витрину или хранилище, и далее к ней выполняются аналитические запросы». In-memory подход позволяет «осуществлять в real-time обработку транзакций (OLTP) и обработку аналитических запросов (OLAP) в одной системе» — это и есть HTAP. По словам разработчика, так можно «выполнять аналитику мгновенно на самых новых данных, а также уменьшить затраты на перенос и копирование информации».

• аналитика в реальном времени;
• формирование отчётности в реальном времени;
• ускорение аналитических запросов и расчётов;
• консолидация аналитических данных;
• «хранение и управление данными и метаданными (Feature Store) для задач машинного обучения».

Разработчик разбирает три сценария. Первый — антифрод: база «встраивается в антифрод-систему в качестве скоростного аналитического хранилища» и считает на исторических данных за период от нескольких часов до нескольких месяцев. Второй — выдача кредитов: система в реальном времени обрабатывает матрицу более чем со 100 000 вариантов предложений. Третий — быстрые витрины для аналитиков крупного бизнеса с объёмом данных в запросах около 10 ТБ: «есть возможность запускать сложные аналитические запросы с join, group by, фильтрами и быстрый расчет агрегатов».

Колоночное хранение данных в оперативной памяти с «гарантированной персистентностью хранимых данных», асинхронная репликация, горизонтальное масштабирование шардированием. Из SQL заявлены INSERT (единичная и пакетная вставки, insert into select), UPDATE, DELETE одиночных записей и «SQL SELECT (агрегатные и оконные функции, join, Explain, Prepared statement)», первичные и вторичные ключи. Подключение — через Arrow Flight SQL (JDBC/ADBC-драйверы) и HTTP API. В поставку входит автоматизация установки и запуска кластера.

Система работает на отечественных операционных системах Astra Linux и РЕД ОС. Разработчик заявляет: «Tarantool Column Store включен в реестр российского ПО (запись № 20683 от 25.12.2023)» и отдельно подчёркивает «разработку российского вендора» и собственную поддержку продукта.

На сайте есть форма заявки и загрузка продуктов; цены не опубликованы — условия обсуждаются с разработчиком. Отдельно продаются техническая поддержка (есть уровень премиальной) и тренинги для разработчиков, администраторов, архитекторов и аналитиков. Отраслевые разделы сайта — ритейл и e-commerce, банки, телеком.

Это не классическое дисковое хранилище, а in-memory СУБД: объём горячих данных упирается в память кластера, и расчёт железа стоит делать заранее. Из операций разработчик заявляет DELETE только для единичных записей — сценарии массового удаления и архивирования лучше проверить на пилоте. Не путать с Tarantool DB — это соседний продукт той же линейки для OLTP-нагрузки.