Iceberg Catalog

Центральным местом, где можно найти указатель на текущие метаданные, является каталог Iceberg. Основное требование к каталогу – поддержка атомарных операций изменения указателя на текущие метаданные.

В своей простейшей реализации каталог это просто механизм сопоставления идентификатора таблицы с местоположением файла метаданных.

Технически для реализации дополнительных имплементации каталога авторы предлагают REST API спецификацию.

Некоторые реализации:

• Hadoop. Несмотря на название может использовать не только HDFS, а фактически любую FS включая S3. Пример настройки Spark для работы с таким каталогом:

spark-sql --packages
org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:0.14.0\
 --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
 --conf spark.sql.catalog.my_catalog1=org.apache.iceberg.spark.SparkCatalog \
 --conf spark.sql.catalog.my_catalog1.type=hadoop \
 --conf spark.sql.catalog.my_catalog1.warehouse=<протокол>://<путь>

• Hive Metastore. Таблицы Iceberg просто сохраняются в HMS как external, с сохранением в доп свойствах указателя на Файл метаданных. Пример как можно развернуть HMS: HDFS + HMS on Raspberry

spark-sql --packages
org.apache.iceberg:iceberg-spark-runtime-3.3_2.12:0.14.0 \
 --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
 --conf spark.sql.catalog.my_catalog1=org.apache.iceberg.spark.SparkCatalog \
 --conf spark.sql.catalog.my_catalog1.type=hive \
 --conf
spark.sql.catalog.my_catalog1.uri=thrift://<хост_metastore>:<порт>