이번 포스팅에서는 ChatGPT 지브리 스타일로 생성형 AI가 특정 사진의 스타일을 바꾸는 방법에 대해 이해하기 쉽게 정리해보았습니다.
앞선 포스팅 『ChatGPT 지브리 원리 (1): 생성형 AI는 어떻게 그림을 그릴까?』에서는 생성형 AI의 기본 개념과 발전 배경, 그리고 AI가 어떻게 스스로 이미지를 창조하는지에 대해 상세히 알아보았습니다. 그 과정에서 GAN(생성적 적대 신경망)과 확산 모델(Diffusion Models)이라는 두 가지 대표적인 기법을 언급했는데, 다음과 같은 특징이 있었습니다:
- GAN: 생성자(Generator)와 감별자(Discriminator)라는 두 인공지능이 경쟁하며 학습하는 구조로, 가짜 이미지를 얼마나 정교하게 만들 수 있는지가 관건입니다.
- 확산 모델: 초기 무작위 노이즈 상태에서부터 점진적으로 잡음을 제거(또는 추가·제거 과정을 반복)해가며 최종 이미지를 얻는 방식으로, 최근 DALL·E나 Stable Diffusion 등에서 널리 쓰이고 있습니다.
이러한 생성형 AI 덕분에 과거에는 상상하기 어려웠던 “텍스트만으로 이미지를 생성”하거나, “원본 사진을 전혀 다른 화풍으로 변환”하는 작업이 가능해졌습니다. 이번 글에서는 ChatGPT 지브리 스타일 등으로 변환이 가능하게 하는, 사진을 더 구체적으로 지브리나 디즈니와 같은 특정 예술 스타일을 사진에 적용하는 스타일 변환(Style Transfer) 기법을 자세히 살펴보겠습니다.
생성형 AI 사진 스타일 변환이란 무엇일까?
(1) 콘텐츠와 스타일의 분리 이해하기
스타일 변환(Style Transfer)이란, 원본 사진이 담고 있는 내용(콘텐츠)은 그대로 두면서, 다른 스타일을 시각적 특징으로 옮겨오는 기술을 말합니다.
- 콘텐츠(Content): 어떤 대상이 담겨 있고, 그 구성이 어떠하며, 예를 들어 인물이 서 있는 모습이나 얼굴 윤곽, 배경 풍경 등
- 스타일(Style): 색감·명암·붓터치·라인 아트 등, 그림이나 사진을 표현하는 방식, 즉 독특한 ‘화풍’
예를 들어 우리가 찍은 인물 사진에서 인물의 형태, 얼굴 비율, 표정은 그대로 유지하되, 그림체만 지브리 영화 특유의 파스텔톤 느낌이나 디즈니 애니메이션의 밝고 동그란 캐릭터 디자인으로 바꾸는 것이 가능합니다. 이렇게 콘텐츠와 스타일을 분리하여, 실제 사람을 만화 주인공처럼 바꿔주는 것이 스타일 변환의 핵심 아이디어입니다.
아래는 이러한 예시 중에 하나인 Toonify 프로젝트의 결과물 중 하나 입니다.
참고자료
(2) 뉴럴 스타일 트랜스퍼(Neural Style Transfer)의 등장
2015년에 공개된 뉴럴 스타일 트랜스퍼(Neural Style Transfer)는 깊이 학습(딥러닝)을 통해 원본 이미지와 스타일 이미지를 분석·결합하는 최초의 연구로 큰 관심을 받았습니다.
- 원본 이미지의 ‘내용’을 추출하는 신경망 레이어와
- 스타일 이미지의 ‘질감·색채·질감 패턴’을 추출하는 신경망 레이어를 분리하여,
이 둘을 다시 합성하는 기법입니다.
대표적인 예시로 반 고흐의 「별이 빛나는 밤」 스타일을 도심 풍경 사진에 적용하면, 고흐의 붓터치·색감·곡선 표현법 등을 그대로 가져오되 건물 형태는 원본 그대로 남겨두어, 마치 고흐가 도시 풍경을 그린 듯한 새로운 그림을 얻을 수 있습니다.
같은 방식으로, 지브리 스튜디오나 디즈니 영화의 애니메이션 캡처 이미지를 스타일 데이터로 삼아 학습하면, 우리 주변 풍경 사진이나 인물 사진을 그대로 가져다가 애니메이션풍으로 재탄생시킬 수 있습니다.
참고자료
ChatGPT 지브리나 디즈니 스타일로 사진을 변환하는 실제 원리
(1) GAN 기반 사진 스타일 변환
앞선 포스팅에서도 정리한 바 있지만 GAN(Generative Adversarial Network)은 생성자(Generator)와 감별자(Discriminator) 두 네트워크가 경쟁하며 발전하는 구조입니다. 다음과 같은 방식으로 동작합니다.
- 생성자(G)는 처음에는 무작위로 그림을 만듭니다.
- 감별자(D)는 입력된 그림이 “실제 애니메이션 장면인지, 아니면 생성자가 만든 가짜인지”를 판별합니다.
- 감별자가 “가짜라고 판정”하면, 생성자는 그 점을 보완해 더 진짜처럼 만들도록 학습하고, 감별자는 더 엄격한 기준으로 판별하도록 또 학습합니다.
- 이런 적대적 훈련을 반복하면서, 생성자는 점점 실제와 구분이 어려울 정도로 정교해진 이미지를 생성하게 됩니다.
예를 들어 『AnimeGAN』이라는 모델은 실제 풍경 사진과 일본 애니메이션 장면(예: 지브리 영화, 신카이 마코토 영화 등)을 함께 학습시킵니다. 생성자에게 풍경 사진이 들어오면 감별자는 “만화풍으로 보이는지” 판단해 피드백을 줍니다. 훈련이 충분히 진행되면, 몇 초 만에 현실 사진을 만화풍으로 전환할 수 있게 됩니다.
실제 예: AnimeGANv2
- 현실 사진 → 일본 애니 스타일로 바꾸는 업그레이드된 모델
- 스타일 트랜스퍼와 GAN을 결합해 “텍스처 손실 최소화”, “경계·윤곽선 매끄럽게” 등의 부분을 더 개선
- 학습 데이터로 지브리 애니메이션 프레임들을 사용하기도 하여, “지브리풍” 색감과 라인 표현이 더 섬세해짐
참고자료
(2) 확산(Diffusion) 모델을 이용한 스타일 변환
최근 각광받는 확산 모델(Diffusion Model)은, 한 단계씩 노이즈를 추가·제거하면서 이미지를 생성하는 방식입니다. 이미지를 새로 그리는 과정에서 특정 스타일을 반영하여 최종 결과물을 만들 수 있습니다.
- 원본 사진에 노이즈를 살짝 입힘
- “디즈니 스타일로 바꿔줘” 같은 텍스트 프롬프트를 기반으로, 노이즈를 점진적으로 제거하며 픽셀을 재구성
- 인물이 가진 형태나 배경 배치는 유지하면서, 색감·명암·특유의 디즈니 만화 기법(예: 더 큰 눈, 단순화된 그림자 처리)을 적용
이를 직접 사용할 수 있는 대표 사례로 Stable Diffusion이나 DALL·E의 “이미지-투-이미지(img2img)” 기능이 있습니다. 원본 사진을 입력하면, 본격적인 재창조(다른 화풍으로 다시 그림)를 해서 결과를 제공합니다. 예를 들어 원본이 사람 얼굴 사진이라면, 최종 출력은 디즈니 공주 같은 캐릭터가 될 수 있고, 배경 풍경 사진이라면 지브리 영화 속 한 장면처럼 바뀔 수 있습니다.
참고자료
평범한 사진이 지브리나 디즈니 애니메이션의 한 장면처럼 변신한다는 건, 생각만 해도 흥미롭습니다. 이전 글 『ChatGPT 지브리 원리 (1): 생성형 AI는 어떻게 그림을 그릴까?』에서 살펴본 것처럼, 생성형 AI 기술은 과거보다 훨씬 발전하여 실제 예술가의 화풍을 흉내내고 재창조할 수 있을 정도가 되었습니다. 그리고 이번 글에서 다룬 스타일 변환(Style Transfer)은 이러한 AI 기술이 콘텐츠와 스타일을 분리해 자유롭게 조합하는 능력을 잘 보여주는 대표적 사례라 할 수 있습니다.
앞으로는 우리가 단순히 사진 몇 장만 찍어도, 버튼 한 번에 “내가 주인공인 디즈니 애니메이션”이나 “우리 동네 풍경에 지브리 감성 입히기” 같은 독특한 이미지를 손쉽게 만들어낼 수 있을 것입니다. 더 나아가, 동영상이나 AR 콘텐츠에도 이러한 스타일 변환 기술이 적용되어 실시간으로 나를 애니메이션 세계에 데려다줄 날이 머지않았습니다.
예술과 기술의 경계는 점점 흐려지고 있습니다. 그만큼 창의성을 발휘할 수 있는 영역이 커지고, 누구나 손쉽게 예술적 작업에 도전할 수 있는 시대가 열린 것이라 생각 됩니다.
앞선 포스팅에서 정리한 인공지능 관련 글은 아래와 같습니다.
설명 가능한 인공지능, XAI란 등장배경 및 방향성 3분 정리!
인공지능과 사물인터넷의 결합 AIoT 정의와 요소기술과 사례, 전망