Description

Метод для передачи стиля из набора изображений на 3D-объект. Внешний вид текстуры ресурса оптимизируется с помощью дифференцируемого рендерера в конвейере, основанном на потерях, используя предобученные глубокие нейронные сети. Конкретнее, мы используем потерю ближайшего соседа для сопоставления особенностей с помощью CLIP-ResNet50, чтобы извлечь стиль изображений. Мы показываем, что потеря на основе CLIP обеспечивает другой внешний вид по сравнению с потерей на основе VGG, фокусируясь больше на текстуре, а не на геометрических формах. Кроме того, мы расширяем потери для поддержки нескольких изображений и обеспечиваем управление палитрой цветов на основе потерь, включая автоматическое извлечение палитры цветов из изображений стиля.

На английском: a method for transferring the style from a set of images to a 3D object. The texture appearance of an asset is optimized with a differentiable renderer in a pipeline based on losses using pretrained deep neural networks. More specifically, we utilize a nearest-neighbor feature matching loss with CLIP-ResNet50 to extract the style from images. We show that a CLIP-based style loss provides a different appearance over a VGG-based loss by focusing more on texture over geometric shapes. Additionally, we extend the loss to support multiple images and enable loss-based control over the color palette combined with automatic color palette extraction from style images.

Добавлено: 2022-08-10 21:00:00