hi-tech.mail.ru

Представлена технология для создания виртуального 3D-окружения — побываем внутри фантазийных миров

Модель генерирует длинные видеоролики с помощью текстового промпта или единственного изображения. Получается объемная среда, в которой можно прогуливаться в VR-очках. Исследователи разработали метод создания 3D-сцен на основе одного изображения. Эта технология позволяет погружаться в виртуальные миры с помощью VR-гарнитуры. Генерация сцены строится на обработке изображения с использованием нейросетей и алгоритмов, которые воссоздают недостающие детали и формируют объемное пространство. В основе процесса лежит два этапа. Сначала генерируется панорамное изображение с помощью предварительно обученной модели. Эта модель анализирует исходную картинку, дорисовывает края и формирует полный круговой обзор. Затем полученная панорама переводится в трехмерное пространство с помощью алгоритма оценки глубины. Он определяет, какие объекты находятся ближе, а какие дальше, создавая эффект объема. Одна из главных сложностей при таком подходе — обработка невидимых областей. Части сцены, которые не попали в оригинальный кадр, приходится достраивать с учетом окружающего контекста. Для этого используется алгоритм, который анализирует рендеры облаков точек и адаптируется под конкретные условия сцены. В результате удается получить более реалистичное окружение без заметных артефактов. Для финального шага применяется метод под названием Gaussian Splats. Он помогает скорректировать мелкие искажения и улучшить детализацию объектов. Полученная сцена становится доступной для просмотра в виртуальной реальности, позволяя пользователям свободно перемещаться в пределах небольшого куба размером два метра.

Апр 1, 2025 - 18:32

Представлена технология для создания виртуального 3D-окружения — побываем внутри фантазийных миров

Модель генерирует длинные видеоролики с помощью текстового промпта или единственного изображения. Получается объемная среда, в которой можно прогуливаться в VR-очках.

Исследователи разработали метод создания 3D-сцен на основе одного изображения. Эта технология позволяет погружаться в виртуальные миры с помощью VR-гарнитуры. Генерация сцены строится на обработке изображения с использованием нейросетей и алгоритмов, которые воссоздают недостающие детали и формируют объемное пространство.

В основе процесса лежит два этапа. Сначала генерируется панорамное изображение с помощью предварительно обученной модели. Эта модель анализирует исходную картинку, дорисовывает края и формирует полный круговой обзор. Затем полученная панорама переводится в трехмерное пространство с помощью алгоритма оценки глубины. Он определяет, какие объекты находятся ближе, а какие дальше, создавая эффект объема.

Одна из главных сложностей при таком подходе — обработка невидимых областей. Части сцены, которые не попали в оригинальный кадр, приходится достраивать с учетом окружающего контекста. Для этого используется алгоритм, который анализирует рендеры облаков точек и адаптируется под конкретные условия сцены. В результате удается получить более реалистичное окружение без заметных артефактов.

Для финального шага применяется метод под названием Gaussian Splats. Он помогает скорректировать мелкие искажения и улучшить детализацию объектов. Полученная сцена становится доступной для просмотра в виртуальной реальности, позволяя пользователям свободно перемещаться в пределах небольшого куба размером два метра.