Apache Iceberg

Apache Iceberg — это открытый формат таблиц для хранения больших данных с поддержкой ACID-транзакций, эволюции схемы и совместимостью с различными аналитическими движками.

Формат таблиц это слой абстракции который определяет сущность таблицы в распределенной системе. В случае обычного Hive в Hive Metastore хранится указание на папки в HDFS содержащие файлы с данными этой таблицы. Iceberg 🧊 предлагает древовидную структуру из Avro и JSON файлов содержащую полное указание на все файлы составляющие таблицу.

«Формат таблиц – это метод структурирования файлов данных для представления их в виде единой «таблицы». С точки зрения пользователя это можно определить как ответ на вопрос «какие данные находятся в этой таблице?».» (Ширан и др., 2024, p. 40)

Для использования фактически любого функционала iceberg требуется какой-либо вычислительный движок. Например Trino или Spark.

NOTE

Наиболее полная поддержка возможностей Iceberg реализована для Spark!

Архитектура Apache Iceberg

Слой содержащий avro и json файлы с метой ожидаемо называется Слой метаданных. Всего же слоя три:

• Child:: Слой каталога
• Child:: Слой метаданных
• Child:: Слой данных.

Возможности

• Child:: Branches Iceberg. Pyspark