DragGAN 이란?

DragGAN의 메인 소개를 보면 이렇게 설명되어 있다.

Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold

Drag You GAN: Interactive Point-based Manipulation on the Generative Image Manifold.

직역해보자면 다양한 이미지 생성의 포인트 기반 상호작용 처리이다.

기존 방법론은 사용자의 요구에 부응하는 시각적 콘텐츠를 합성하기 위해 생성적 적대 신경망(GANs)의 자세, 형태, 표정 및 레이아웃을 유연하고 정확하게 조절할 필요가 있다.

기존 접근 방식은 수동으로 주석이 달린 훈련 데이터나 사전 3D 모델을 사용하여 GANs의 조절 가능성을 얻는데, 이는 종종 유연성, 정확성 및 일반성이 부족하다. 이 연구에서는 사용자 상호작용 방식으로 이미지의 모든 지점을 "끌어" 원하는 대상 지점에 정확히 이동시키는 GANs의 조절 방법을 연구한다. (위 그림 참조).

DragGAN은 두 가지 주요 구성 요소로 이루어져 있다.
1) 특징 기반의 동작 지도 학습 방식을 통해 핸들 지점을 대상 위치로 이동시킨다.
2) 구별적인 GAN 특징을 활용한 새로운 지점 추적 접근 방식을 통해 핸들 지점의 위치를 계속 추적한다.

DragGAN을 통해 사용자는 이미지를 변형하면서 픽셀이 어디로 가는지를 정확하게 제어할 수 있으며, 이로써 동물, 자동차, 인물, 풍경 등과 같은 다양한 범주의 자세, 형태, 표정 및 레이아웃을 조작할 수 있다. 이러한 조작은 GAN의 학습된 생성 이미지 manifold에서 수행되기 때문에, 가려진 콘텐츠를 환각하여 형태를 변형시키는 등의 어려운 상황에서도 현실적인 결과를 만들어낸다.

질적 및 정량적 비교를 통해 DragGAN이 이미지 조작과 지점 추적 작업에서 기존 방법에 비해 우수한 성능을 보여준다.
또한 GAN inversion을 통해 실제 이미지의 조작을 샘플로 출력한다.

DragGAN 실행 예시:

 

Github 주소

GitHub - XingangPan/DragGAN: Code for DragGAN (SIGGRAPH 2023)