ТехноСаратов → Блог

Tencent представила новую ИИ-модель HunyuanWorld-Voyager для генерации 3D-видеоНовости

На этой неделе Tencent представила свою новую модель ИИ HunyuanWorld-Voyager, которая позволяет генерировать 3D-видео из одного изображения, управляя траекторией камеры для виртуального исследования сцен. Модель одновременно создает видео в формате RGB и данные о глубине (RGB-D), что позволяет выполнять 3D-реконструкцию без традиционных методов моделирования. Несмотря на то, что результаты не являются полноценными 3D-моделями, они создают иллюзию пространственной согласованности, как если бы камера перемещалась в реальном 3D-пространстве. HunyuanWorld-Voyager использует более 100 тыс. видеоклипов для обучения, имитируя движения 3D-камер в видеоиграх. В отличие от других ИИ-генераторов, эта модель обеспечивает лучшее соответствие пространственным паттернам благодаря геометрической обратной связи. Однако, модель имеет ограничения при поворотах сцены на 360°. Для работы требуется мощное оборудование, и доступ к исходному коду можно получить на Hugging Face, хотя использование модели в некоторых странах ограничено.