Вы можете сохранять данные из кластера Yandex Data Processing в бакет Yandex Object Storage с помощью отдельного кластера Hive Metastore для хранения метаданных таблиц. Это позволит работать с сохраненными данными другому кластеру Yandex Data Processing, имеющему доступ к бакету и подключенному к тому же кластеру Metastore. Подготовка инфраструктуры для Yandex Data Processing и Object Storage через Terraform описана в практическом руководстве, необходимый для настройки конфигурационный файл dataproc-to-dataproc.tf расположен в этом репозитории.
yandex-cloud-examples/yc-data-proc-to-data-proc
Совместная работа с таблицами в Yandex Data Processing с использованием Metastore.
HCLApache-2.0