CubeFS специально ориентирована на разделение архитектуры хранения и вычислений для баз данных, поисковых систем и приложений искусственного интеллекта/машинного обучения, сообщает портал The New Stack.

Как может распределенная система на базе Kubernetes обходиться без соответствующей файловой системы, которая четко отделяет компьютер от слоя хранения?

Теперь у Cloud Native Computing Foundation (CNCF) официально есть высокомасштабируемая распределенная файловая и объектная система хранения с открытым исходным кодом для своего стека Kubernetes — CubeFS («储宝» на китайском языке).

В 2017 г. rитайский гигант электронной коммерции и услуг JD.com запустил CubeFS, первоначально под названием ChubaoFS, для поддержки приложений с сохранением состояния, требующих разделения вычислений и хранения. С тех пор она нашла свое место в более чем 200 производственных средах, многие из которых являются крупными китайскими системами электронной коммерции.

Китайский гигант потребительской электроники OPPO использует CubeFS для ИИ, больших данных и разделения хранения и вычислений. «CubeFS предлагает богатые возможности для различных сценариев и интерфейсов, демонстрируя хорошую стабильность и непрерывные итерации, что приводит к отличному пользовательскому опыту», — заявил инженер CubeFS Джейд Ванг (王红岩).

Китайская игровая компания NetEase также полагается на эту технологию. «Стабильность проекта, его четкие рамки и дорожная карта вызывают доверие у NetEase, что делает его надежным компонентом для удовлетворения ее потребностей в облачной инфраструктуре», — говорится в заявлении ZCola (张锐) из NetEase.

В общей сложности файловая система уже обеспечивает хранение более 350 Пб данных из широкого спектра коммерческих приложений, облачных хранилищ и потоковых онлайн-медиа.

День выпуска CubeFS

21 января был завершен процесс оценки CubeFS в CNCF, в ходе которого Open Source-технология должна была продемонстрировать свою стабильность, зрелость и применимость в различных облачных средах.

Вступив в программу CNCF в 2019 г., CubeFS быстро прошла этапы «песочницы» и инкубации. Для получения официального статуса проект прошел аудит безопасности, включая создание модели угроз для определения рисков и точек входа. Также были проведены проверки на наличие возможных уязвимостей в коде и проверена цепочка поставок.

CNCF оказал проекту огромную помощь. С момента присоединения к CNCF у CubeFS появилось множество новых участников: из 27 человек из пяти компаний проект вырос до 379 участников из 42 компаний.

Файловая система для эры нативных облаков

CubeFS — это многоцелевой инструмент для хранения неструктурированных данных, с особым акцентом на большие данные, ИИ/LLM, контейнерные платформы и другие архитектуры, которые отделяют вычислительный уровень от уровня хранения.

Доступ к файловой системе может осуществляться через множество протоколов, таких как интерфейс объектного хранилища S3 от Amazon Web Servces, HDFS, предпочитаемый для больших данных, и семантика POSIX, понимаемая всеми современными серверами. CubeFS предлагает сильную согласованность, полную изоляцию и поддержку многоарендности, а также, как утверждает CNCF, высокомасштабируемый сервис метаданных.

В дальнейшем проект планирует добавить поддержку многоуровневого хранения и ускорения распределенного кэша. Для отслеживания проблем планируется реализовать трассировку цепочки вызовов.