VK Cloud запускает в Казахстане сервис с облачными GPU-картами для AI и ML-сценариев

VK Cloud предоставляет не просто GPU-мощности, а комплексную инфраструктуру для работы с данными и AI.

В рамках одной платформы компании могут:
— собирать и хранить большие данные с помощью VK Data Lakehouse
— обучать и запускать модели на Cloud ML Platform
— использовать GPU для ускорения вычислений.

Это позволяет запускать AI-проекты быстрее и без необходимости собирать инфраструктуру из разных поставщиков.

Пользователи смогут анализировать большие данные, разрабатывать нейросети и обучать их за считанные дни вместо недель. Это создает условия для появления в Казахстане собственных высокотехнологичных продуктов и сервисов на базе ИИ.

Сценарии использования GPU охватывают широкий спектр задач: 
— финансовые организации могут применять ускорители для анализа транзакций и выявления мошенничества в реальном времени
— ритейл и e-commerce компании получат инструменты для персонализированных рекомендаций и прогнозирования спроса
— в промышленности и энергетике GPU помогут в моделировании сложных процессов и прогнозировании технического обслуживания.

Сервис Cloud GPU будет особенно полезен для университетов, исследовательских центров и студентов, работающих над проектами в области искусственного интеллекта. Наличие производительных GPU в локальных дата-центрах позволяет развивать компетенции на территории Казахстана с сохранением персональных данных и минимальными затратами на инфраструктуру. Стартапы, в свою очередь, смогут быстрее тестировать гипотезы, обучать модели и выходить на рынок с готовыми решениями, что повышает их конкурентоспособность как в Казахстане, так и за его пределами.

GPU в публичном облаке

Инвестиции в локальную инфраструктуру оправданы для крупных предприятий с постоянной нагрузкой, например, для обучения нейросетей или обработки больших данных. Однако в большинстве случаев наиболее экономичный способ получить серверы с GPU — развернуть их в публичном облаке. Облачный провайдер предоставляет доступ к самым современным графическим процессорам, избавляя от необходимости регулярных капитальных затрат. Это особенно важно с учетом того, что новые процессоры выпускаются каждые два года, а в ближайшей перспективе будут выпускаться ежегодно.

Еще одно преимущество облачного развертывания — гибкость. Облачные ресурсы практически мгновенно масштабируются. При этом неважно, использует компания один сервер или многоузловой кластер с десятками графических процессоров — облачные мощности увеличиваются за считанные минуты.

Особенности виртуализации GPU в облаке

Существует несколько подходов к виртуализации графических процессоров, каждый из которых имеет свои особенности и области применения.

Технология vGPU. Этот подход позволяет разделить один физический графический процессор между несколькими виртуальными машинами. Каждой ВМ выделяется определенная доля вычислительной мощности и памяти. Эта технология используется в задачах, которые не требуют полной мощности GPU, или когда необходимо обеспечить доступ к графическим ускорителям большому количеству пользователей.

Технология GPU passthrough. Этот подход предоставляет прямой доступ к физическому GPU напрямую, без промежуточных слоев абстракции. Такой подход обеспечивает максимальную производительность и предназначен для задач, требующих высокой графической производительности: от 3D-моделирования и рендеринга до облачного гейминга.

Управляемый GPU-кластер в Kubernetes может работать несколькими способами:
— один под использует один или несколько GPU
— ресурсы распределены между подами через MPS — каждый процесс получает выделенные ресурсы
— ресурсы разделены через MIG — каждая часть работает изолированно.

Облачные GPU дают масштабируемые ресурсы, интеграцию с другими сервисами и могут стать частью комплексной инфраструктуры, а не просто заменой локального оборудования.

Кейс «ИНВИТРО»

«ИНВИТРО» — одна из крупнейших сетей медицинских лабораторий в Казахстане. Ее специализация — лабораторная диагностика и оказание медицинских услуг. Компания работает в пяти странах и ежедневно проводит 260 000 тестов в 1930 офисах.

Для ускорения обслуживания и снижения ошибок «ИНВИТРО» внедрила систему Face Detection на базе машинного обучения. Система автоматически распознает лица и объекты, сравнивая их с базой фотографий, исключая человека из процесса и сокращая время обслуживания.

Пилотный проект развернули в двух медицинских офисах. От локального развертывания «ИНВИТРО» отказался из-за сложности эксплуатации на большом объеме данных. Компания выбрала облачное развертывание, интегрированное с внутренними корпоративными сервисами.

Сейчас камеры в медицинских офисах записывают и отправляют видео в дата-центр. Наиболее подходящие для распознавания кадры алгоритм отправляет в систему компьютерного зрения, а она распознает лица и объекты на базе машинного обучения от VK Cloud.

Система Face Detection позволила повысить качество обслуживания клиентов, сократила время на поиск клиента и его регистрацию. Благодаря этому ускорилась процедура оформления и исчезли очереди в часы пик.