Инженер данных (data engineer)
Собирает и поддерживает потоки данных: подключает источники, настраивает загрузку и захват изменений, пишет преобразования, ведёт расписание и следит, чтобы данные доехали до хранилища. Рабочее место — коннекторы, конвейеры и внешние таблицы.
Программы для этой роли (10)
У этих программ есть модули, которые разработчик назвал для этой должности на своём сайте.
Модули, названные для этой роли (13)
Возможности (9)
Потоковая загрузка (Kafka, CDC)
Данные в хранилище отстают на сутки
Облачные сервисы и APIИнтеграция с Google Sheets, S3, REST API, Kafka
SQL-базы данныхподключение PostgreSQL, ClickHouse, MySQL, MS SQL, Oracle; широта поддерживаемых СУБД.
Трансформация данныхобъединение, фильтрация и преобразование данных в пайплайне; встроенный ETL без отдельного инструмента.
Федеративные запросыЧтобы свести данные из двух систем, их сначала копируют
Горизонтальное масштабирование и отказоустойчивостьВыросли данные — нужна новая дорогая железка
Аналитическая MPP/колоночная СУБДОтчёты по большим данным строятся часами
Файловые форматыимпорт из Excel, CSV, JSON, XML; стартовый сценарий для большинства.
Lakehouse и объектное хранилищеСырые и обработанные данные лежат в разных системах