Arenadata Hyperwave

Arenadata Hyperwave (ADH) — «универсальная платформа на основе open-source компонентов и проприетарных решений… от Data Lake до Lakehouse и Data Mesh» разработчика «Аренадата Софтвер».

Первое, что нужно знать: продукт сменил имя. Разработчик отвечает на это прямым вопросом-ответом на своей же странице: «Что такое Arenadata Hyperwave и где Arenadata Hadoop? Arenadata Hyperwave — новое название Arenadata Hadoop». Если вы ищете ADH по старому названию или видите его в чужих документах — это один и тот же продукт.

Состав вышел за пределы Hadoop. «изначально базировался на экосистеме Hadoop (HDFS, MapReduce, YARN, Hive, Spark и др.)… включив новые компоненты: Ozone, Trino, Iceberg, Kyuubi и др.». Ozone вместо HDFS и Iceberg как формат таблиц — это и есть переход от классического озера к lakehouse.

Транзакции в озере: Ozone вместе с Iceberg дают ACID «из коробки» — то есть данные в озере можно обновлять и удалять, а не только дописывать.

Три архитектуры на выбор: Data Lake, Lakehouse и Data Mesh с мультиарендностью. Разработчик не навязывает одну, а показывает три паттерна поверх одной платформы.

Развязка компонентов — важное техническое изменение: «С версии ADH 4.0.0 продукт избавился от жёстких зависимостей между сервисами». На практике это означает, что обновить один компонент можно без остановки всего кластера.

Машинное обучение и ИИ: «Поддерживает… машинное обучение, обнаружение аномалий, работу с логами и GenAI»; в составе Airflow для конвейеров обучения.

Разработчик указывает, что платформа заменяет Cloudera, Oracle BDA, Hortonworks и MapR — то есть целится ровно в тот стек, который ушёл с российского рынка.

Цены индивидуальные, формула та же, что у всей линейки: число физических ядер и тип кластера. Есть бесплатная community-версия и выложенная разработчиком таблица сравнения Community и Enterprise — её стоит прочитать до того, как строить планы на бесплатной редакции.

«Сертифицирован ФСТЭК по высшему 4 уровню доверия 4821 от 13 июня 2024. Включен в реестр российского программного обеспечения 6355 от 7 апреля 2020. Зарегистрирован в Роспатент 2019660896 от 15 августа 2019».

Это самый тяжёлый продукт линейки по требованиям к команде. Озеро данных — не база, которую ставят и забывают: нужны люди, понимающие форматы хранения, партиционирование и жизненный цикл данных. Без них озеро превращается в свалку, и это происходит независимо от разработчика.

Встроенного BI нет — визуализация подключается снаружи.

Цен; встроенного BI; собственного знака продукта.