В Netflix разработали технологию реалистичного удаления объектов из видео
Существующие решения в области video object removal, как правило, справляются с базовой задачей — «закрашивают» объект и восстанавливают фон. Однако такие модели не учитывают физические взаимодействия. Например, если объект сталкивался с другими или влиял на движение сцены, итоговое видео выглядит н
Существующие решения в области video object removal, как правило, справляются с базовой задачей — «закрашивают» объект и восстанавливают фон. Однако такие модели не учитывают физические взаимодействия. Например, если объект сталкивался с другими или влиял на движение сцены, итоговое видео выглядит нереалистично.
VOID решает эту проблему, моделируя так называемые «контрфактические» сценарии — то есть пересчитывает, как развивалась бы сцена, если бы объекта изначально не существовало. Это позволяет корректно изменять движение других объектов, их траектории и последствия взаимодействий.
В основе подхода лежит комбинация vision-language модели и диффузионной генерации. Сначала система определяет области сцены, которые были затронуты удаляемым объектом. Затем диффузионная модель генерирует новую версию видео, в которой сохраняется физическая согласованность происходящего.
Для обучения разработчики создали специальный датасет с синтетическими и реальными сценами, где удаление объекта требует изменения всей логики взаимодействий. Это позволило модели лучше справляться со сложными сценариями, включая столкновения, падения и изменение движения объектов.
По результатам тестирования VOID демонстрирует более высокую реалистичность по сравнению с предыдущими методами, особенно в сценах с динамическими взаимодействиями.
Разработка может найти применение в киноиндустрии, постпродакшене, рекламе и создании цифрового контента, где требуется точное и реалистичное редактирование видео.
Источник: void-model
The Tech в Telegram Подписывайтесь на The Tech в Telegram
Будьте в курсе всех последних новостей из мира технологий и стартапов.
Читайте по теме
Другие материалы автора
Новость
test
The Tech
Новость IT
Стартапы Узбекистана и Гонконга получат новые возможности для выхода на рынки
The Tech
Новость IT
Microsoft представила обновленный Copilot с кодингом и ИИ-агентом
The Tech
Новость IT
Xsolla открыла центр исследований и разработок в Азербайджане
The Tech
Статья
Эндрю Ын рассказал, где находятся главные возможности ИИ
The Tech
Новость IT
NVIDIA, Kraken, Higgsfield AI: кто приедет на AI & Digital Bridge 2026 в Астану
The Tech