Платформа Yandex Cloud открыла доступ к Hive Metastore как к управляемому сервису в облаке. Благодаря доступности Hive Metastore на облачной платформе дата-инженеры смогут проще развернуть сервис, а также сократить вероятность отказов и проблем при работе с данными. Это ускорит создание проектов аналитической обработки данных – корпоративных хранилищ и витрин данных в компаниях. Hive Metastore предоставляется бесплатно на этапе Public Preview и уже доступен по запросу для пользователей облачной платформы.
Hive Metastore хранит метаданные. Это, например, данные о пути к файлам, о колонках и типах данных. Вся эта информация помогает легче обращаться к массивам данных и преобразовывать их в реляционные таблицы – подготовленный формат для разработки бизнес-систем. Hive Metastore предоставляет метаданные приложениям и помогает ускорять доступ и обработку конкретных данных из облачного хранилища.
Hive Metastore интегрирован с сервисом для обработки массивов данных Yandex Data Proc. Технология представлена в виде отдельных кластеров, которые автоматически масштабируются и используют сервис Yandex Object Storage как основной вариант хранения данных. Размещение информации в Object Storage обеспечивает совместный доступ к данным из множества кластеров Data Proc, гарантирует надёжность хранения и высокую пропускную способность доступа к данным.
Сервисы платформы данных остаются самыми быстро растущими по темпам потребления на облачной платформе. Для нас важно, чтобы работа с данными с помощью сервисов Yandex Cloud была максимально простой и быстрой для дата-инженеров, аналитиков, датасаентистов, ведь качественный анализ данных помогает любому бизнесу быстрее принимать решения и получать конкурентные преимущества. Hive Metastore позволяет упорядочить работу с данными из разных источников и, как результат, ускоряет работу с ними.
Григорий Атрепьев, директор по продуктам Yandex Cloud