노이즈를 지우면 영상이 된다: 확산 모델은 어떻게 이미지를 만드나

텍스트 한 줄을 입력하면 몇 초 만에 본 적 없는 그림이 튀어나옵니다. 미드저니에 문장을 던지거나 Sora에 장면을 묘사하면, AI는 마치 머릿속 장면을 그대로 옮긴 듯한 결과물을 내놓는데, 그 뒤에는 확산 모델(Diffusion Model)이라는 기술이 있습니다. 그런데 정작 그 안에서 무슨 일이 벌어지는지는 거의 알려져 있지 않습니다.

그 마법의 정체가 바로 확산 모델입니다. 이름은 낯설지만 원리는 의외로 직관적입니다. 이 글에서는 그 모델이 노이즈를 더하고 다시 지우는 두 과정으로 어떻게 이미지를 만들어내는지, 그리고 잠재 확산과 Diffusion Transformer를 거쳐 영상 생성까지 어떻게 확장되는지를 단계별로 풀어봅니다. 수식 없이도 핵심 메커니즘을 이해하는 것이 목표입니다.

확산 모델이란? 노이즈에서 그림을 ‘복원’하는 생성 AI

확산 모델은 데이터를 일부러 망가뜨렸다가, 그 망가뜨리는 과정을 거꾸로 되돌리도록 학습하는 생성 AI의 한 종류입니다. 핵심은 두 방향의 과정으로 나뉩니다. 멀쩡한 이미지에 노이즈를 점점 더해 순수한 잡음으로 만드는 정방향 과정(forward process), 그리고 그 잡음에서 출발해 노이즈를 한 겹씩 걷어내며 이미지를 되살리는 역방향 과정(reverse process)입니다.

비유하자면 조각가가 대리석 덩어리에서 형상을 깎아내는 것과 닮았습니다. 다만 여기서 ‘대리석’은 무작위 노이즈이고, ‘조각상’은 프롬프트가 가리키는 그림입니다. MIT 테크놀로지 리뷰는 이 과정을 “오래된 TV 화면의 정전기 같은 무작위 픽셀 덩어리에서 한 단계씩 이미지로 바꿔가는” 것이라고 설명합니다.

오늘날 우리가 쓰는 대표적인 이미지·영상 생성 도구 대부분이 이 계열입니다. 미드저니, 스테이블 디퓨전 같은 이미지 도구는 물론 Sora, Veo 같은 영상 도구까지 모두 이 계열을 뼈대로 삼습니다. 즉 “AI가 그림을 그린다”고 할 때, 그 밑바탕에는 거의 예외 없이 이 노이즈 제거 메커니즘이 깔려 있습니다. 도구 이름은 제각각이어도 엔진은 사실상 하나인 셈입니다.

정방향 과정: 멀쩡한 그림을 잡음으로 부수기

먼저 정방향 과정을 봅시다. 원본 이미지에 가우시안 노이즈(Gaussian noise, 정규분포를 따르는 무작위 잡음)를 조금씩 더합니다. 한 번에 다 더하는 것이 아니라 여러 단계에 걸쳐 점진적으로 추가하며, 마지막 단계에 이르면 원본의 흔적이 거의 사라진 순수한 잡음만 남습니다.

각 단계에서 얼마만큼의 노이즈를 더할지는 노이즈 스케줄(noise schedule)이라는 규칙이 정합니다. 보통 베타(β)라는 값의 수열로 표현되며, 단계가 진행될수록 그림이 얼마나 빠르게 망가지는지를 조절합니다. 여기서 중요한 점은, 이 과정 자체에는 학습할 것이 없다는 사실입니다. 단순히 정해진 규칙대로 잡음을 더하는 기계적 절차일 뿐입니다.

그렇다면 왜 멀쩡한 그림을 일부러 망가뜨릴까요. 포인트는 이렇게 만든 ‘노이즈가 낀 이미지’들이 모델의 학습 교재가 된다는 데 있습니다. 모델은 깨끗한 그림과 거기에 노이즈가 더해진 버전을 짝지어 보면서 어떤 잡음이 더해졌는지를 알아맞히는 연습을 하고, 정방향 과정은 그 연습 문제와 정답지를 무한정 찍어내는 공장인 셈입니다.

역방향 과정: 모델은 ‘노이즈 자체’를 예측한다

이제 진짜 핵심인 역방향 과정입니다. 생성이란 순수한 노이즈에서 출발해 잡음을 한 단계씩 걷어내며 그림을 되살리는 일입니다. 여기서 직관에 어긋나는 부분이 하나 있습니다. 모델은 ‘깨끗한 그림’을 곧바로 예측하는 것이 아니라, 현재 이미지에 더해진 노이즈가 무엇인지를 예측하도록 학습됩니다.

왜 그럴까요. 더해진 노이즈를 정확히 알아내면, 그것을 빼는 것만으로 한 단계 더 깨끗한 이미지를 얻을 수 있기 때문입니다. 이 예측-제거를 수백 번 반복하면 무작위 잡음이 점점 또렷한 그림으로 바뀝니다. 모델 입장에서는 “이 흐릿한 그림에 어떤 잡음이 섞였을까”라는 단순한 질문에 매번 답하는 것이고, 그 답들을 쌓아 올린 결과가 한 장의 완성된 이미지입니다.

이때 모델에게는 “지금이 몇 번째 단계인지”도 함께 알려줍니다. 이 시점 정보(timestep)는 사인·코사인 함수를 이용한 임베딩(embedding, 숫자를 신경망이 다루기 좋은 형태의 벡터로 바꾸는 것)으로 입력됩니다. 잡음을 제거하는 신경망의 전통적인 구조는 U-Net인데, 이름 그대로 정보를 압축하는 다운샘플링 층과 다시 복원하는 업샘플링 층이 ‘U’자 모양으로 이어지고 그 사이를 지름길(skip connection)이 연결하는 형태입니다.

왜 빨라졌나: 잠재 확산(Latent Diffusion)

초기 디퓨전 모델에는 치명적인 약점이 있었습니다. 수백만 개의 픽셀 값을 직접 다루며 수백 단계를 반복하다 보니 계산량이 어마어마했다는 점입니다. 이 문제를 푼 발상이 바로 잠재 확산(Latent Diffusion)입니다.

핵심 아이디어는 단순합니다. 고해상도 픽셀을 그대로 주무르는 대신, VAE(변분 오토인코더, 이미지를 작은 코드로 압축했다가 복원하는 신경망)의 인코더로 이미지를 훨씬 작은 ‘잠재 공간’으로 압축한 뒤 그 안에서 노이즈를 더하고 빼는 것입니다. OpusClip의 설명에 따르면 이 잠재 공간은 원본보다 최대 64배가량 작을 수 있습니다. 확산이 끝나면 디코더가 그 결과를 다시 원래 크기의 이미지로 펼칩니다.

효과는 결정적이었습니다. 수백만 픽셀을 직접 청소하는 대신 압축된 코드만 다루면 되니, 연산 부담이 크게 줄어 일반 GPU에서도 고해상도 생성이 가능해진 것입니다. 오늘날 가장 널리 쓰이는 오픈소스 이미지 모델인 스테이블 디퓨전이 바로 이 잠재 확산 구조를 대중화했습니다.

텍스트 한 줄이 그림을 유도하는 법

여기까지는 ‘노이즈에서 아무 그림이나 만드는’ 과정이었습니다. 그렇다면 “노을 지는 해변의 강아지”라는 프롬프트는 어떻게 그림을 그쪽으로 끌고 갈까요. 비밀은 텍스트 조건화(text conditioning)에 있습니다.

프롬프트는 먼저 CLIP 같은 모델을 통해 의미를 담은 임베딩으로 바뀝니다. 그리고 이 임베딩이 매 노이즈 제거 단계에 개입해, 모델이 프롬프트에 더 잘 맞는 이미지 쪽으로 향하도록 방향을 밀어줍니다. MIT 테크놀로지 리뷰의 표현을 빌리면, 언어 모델이 “정리 작업의 매 단계를 안내하며 프롬프트와 잘 맞는다고 판단되는 이미지 쪽으로 모델을 밀어붙이는” 식입니다. 프롬프트를 해석하는 언어 모델 자체는 추론 모델처럼 별도의 발전 궤적을 걷고 있습니다.

다만 한계도 분명합니다. 이 모델은 픽셀의 분포를 학습할 뿐 글자를 ‘기호’로 이해하지는 못합니다. 그래서 텍스트로 생성을 지시하면서도, 정작 결과 이미지 안의 간판이나 문서 글자는 뭉개지거나 의미 없는 문자가 되는 경우가 많습니다. 최근 모델들이 개선하고 있지만 여전히 대표적인 약점으로 꼽힙니다.

GAN과 무엇이 다른가

디퓨전 모델 이전에 이미지 생성의 왕좌를 지킨 것은 GAN(생성적 적대 신경망)이었습니다. GAN은 그럴듯한 가짜를 만드는 생성자와 진짜·가짜를 가려내는 판별자가 서로 경쟁하며 실력을 키우는 구조입니다. 문제는 이 경쟁이 종종 불안정했다는 데 있습니다.

GAN은 학습이 발산하기 쉽고, 모드 붕괴(mode collapse, 생성 결과가 몇 가지 패턴으로 쏠려 다양성을 잃는 현상)에 자주 빠졌습니다. 반면 이 방식은 “노이즈를 더했다 빼낸다”는 단순하고 안정적인 목표로 학습되며, 실제 이미지의 분포를 더 정확히 재현한다고 평가받습니다. 다양성과 안정성 면에서 한 수 위라는 것이 업계의 공통된 평가입니다.

물론 공짜는 아닙니다. GAN이 한 번의 통과로 이미지를 뽑아내는 데 비해, 이 모델은 여러 단계의 샘플링을 거쳐야 해서 느립니다. 한 연구에서는 초기 방식(DDPM)으로 5만 장을 만드는 데 약 20시간이 걸린 반면 GAN은 1분도 채 걸리지 않았습니다. 이 속도 문제를 풀기 위해 DDIM 같은 가속 기법과 모델 증류(distillation)가 등장해, 수백 단계를 수십 단계 이하로 줄였습니다.

U-Net에서 Diffusion Transformer(DiT)로

최근 디퓨전 모델에서 가장 큰 구조적 변화는 노이즈 제거 백본이 U-Net에서 트랜스포머로 옮겨간 것입니다. 이렇게 만든 구조를 Diffusion Transformer(DiT)라고 부릅니다.

트랜스포머의 강점은 어텐션(attention) 메커니즘을 통해 멀리 떨어진 요소들 사이의 관계, 즉 공간과 시간의 장거리 의존성을 잘 포착한다는 데 있습니다. 게다가 컴퓨트를 늘릴수록 성능이 예측 가능하게 좋아지는 확장성도 갖췄습니다. 이는 대규모 언어 모델이나 전문가 혼합(MoE) 모델을 떠받치는 바로 그 트랜스포머와 같은 계열입니다.

그 결과 2026년 현재 주요 영상 생성 모델 상당수가 DiT 기반으로 수렴했습니다. 복잡한 장면에서 일관성을 유지해야 하는 영상 생성에서 트랜스포머의 장거리 포착 능력이 특히 빛을 발했기 때문입니다. 한마디로, 확산이라는 ‘엔진’은 그대로 두고 그 안의 ‘부품’을 더 강력한 것으로 갈아 끼운 셈입니다.

영상 생성: ‘시간’이라는 새 차원

이미지에서 영상으로 넘어가면 완전히 새로운 차원이 추가됩니다. 바로 시간입니다. 영상의 각 프레임은 한 장씩 보면 그럴듯해도, 초 단위로 이어 붙였을 때 인물이 갑자기 변형되거나 물체가 나타났다 사라지면 금세 어색해집니다. 그래서 영상 생성 모델은 프레임을 따로따로 만드는 대신 여러 프레임을 동시에 처리해 시간적 일관성을 확보합니다.

대표적인 방식이 영상을 잘게 써는 것입니다. Sora 연구자 Tim Brooks는 그 접근을 이렇게 설명했습니다. “영상 프레임을 쌓아 올린 더미에서 작은 정육면체를 잘라내듯, 공간과 시간 양쪽으로 영상을 잘게 나눕니다.” 이렇게 만든 시공간 조각(spacetime patches)을 트랜스포머가 처리하면서 프레임 간의 자연스러운 움직임을 학습합니다. 구글 딥마인드의 Veo 3는 한 발 더 나아가 오디오와 영상을 하나의 데이터로 압축해, 소리와 화면이 어긋나지 않게 동기화 생성하는 데 성공했습니다.

다만 대가도 따릅니다. 어텐션은 다루는 길이가 길어질수록 계산량이 제곱으로 늘어나는 성질이 있어, 긴 영상을 만들수록 연산 비용이 가파르게 치솟습니다. 왜 이게 중요하냐면, 현재 영상 생성이 대체로 짧은 클립 위주인 데에는 이런 구조적 비용이 깔려 있기 때문입니다.

자주 묻는 질문 (FAQ)

Q1. 확산 모델과 GAN의 가장 큰 차이는 무엇인가요?

GAN은 생성자와 판별자가 경쟁하는 적대 학습이라 학습이 불안정하고 ‘모드 붕괴’로 다양성이 떨어지기 쉽습니다. 이 모델은 노이즈를 더했다 빼는 단순한 목표로 안정적으로 학습되고 실제 이미지 분포를 더 정확히 재현합니다. 대신 여러 단계를 거치는 샘플링이라 GAN보다 느린 편입니다.

Q2. 잠재 확산(Latent Diffusion)이란 무엇인가요?

픽셀을 그대로 다루는 대신, VAE 인코더로 이미지를 훨씬 작은 잠재 공간(원본 대비 수십 배 작을 수 있음)으로 압축한 뒤 그 공간에서 노이즈 추가·제거를 수행하는 방식입니다. 계산량이 크게 줄어 일반 GPU에서도 고해상도 생성이 가능해졌고, 스테이블 디퓨전이 이 구조를 대중화했습니다.

Q3. 미드저니·Sora도 확산 모델인가요?

네. 미드저니·스테이블 디퓨전 같은 이미지 도구와 Sora·Veo 같은 영상 도구 대부분이 이 계열입니다. 특히 최신 영상 모델은 U-Net 대신 트랜스포머를 쓰는 Diffusion Transformer(DiT) 구조를 채택해 프레임 간 일관성을 높였습니다.

Q4. 확산 모델은 왜 이미지 속 글자를 잘 못 만드나요?

이 모델은 픽셀 분포를 학습할 뿐 글자를 ‘기호’로 이해하지 못합니다. 그래서 텍스트 프롬프트로 생성하면서도 결과 이미지 안의 간판·문서 글자가 뭉개지거나 의미 없는 문자가 되는 경우가 많습니다. 최근 모델은 개선되고 있지만 여전히 약점으로 꼽힙니다.

Q5. 노이즈를 제거하는 데 몇 단계가 필요한가요?

초기 DDPM 계열은 역방향 과정이 최대 약 1,000단계에 이를 만큼 느렸습니다. 이후 DDIM 같은 가속 기법과 증류(distillation)가 등장해 수십 단계, 일부는 수 단계로 줄였습니다. 단계가 적을수록 빠르지만 품질·다양성과의 트레이드오프가 있습니다.

Q6. Diffusion Transformer(DiT)는 기존 U-Net과 뭐가 다른가요?

DiT는 노이즈 제거 백본을 U-Net에서 트랜스포머로 바꾼 구조입니다. 트랜스포머의 어텐션이 공간·시간의 장거리 의존성을 잘 포착하고 컴퓨트를 늘릴수록 성능이 예측 가능하게 좋아져, 영상처럼 일관성이 중요한 작업에서 주류가 됐습니다.

참고 자료

• MIT Technology Review (2025-09-12) — 정방향 노이즈 추가와 역방향 복원 과정, 잠재 공간, 언어 모델의 단계별 안내.
• MIT Technology Review — Tim Brooks 인용 (2025-09-12) — Sora의 시공간 큐브(spacetime patches) 분해, Veo 3 오디오·영상 통합.
• Murat Isikdogan, How Diffusion Models Work — 모델이 ‘노이즈 자체’를 예측하는 학습 방식과 timestep 임베딩.
• Murat Isikdogan, How Diffusion Models Work — 다운샘플링·업샘플링과 skip connection으로 이뤄진 U-Net 구조.
• SuperAnnotate, Introduction to Diffusion Models — 역방향 최대 약 1,000단계, DDPM 5만 장 생성 약 20시간 vs GAN 1분 미만(Song et al., 2020).
• SuperAnnotate, Introduction to Diffusion Models — DDIM의 적은 단계 가속과 같은 시드 재현성.
• SuperAnnotate, Introduction to Diffusion Models — GAN의 모드 붕괴·불안정 대비 확산 모델의 안정적 분포 재현.
• OpusClip, Understanding Diffusion Models — 잠재 공간(원본 대비 최대 64배 압축)과 Diffusion Transformer의 장거리 의존성.
• Scale AI, Diffusion Models: A Practical Guide — CLIP 임베딩 기반 텍스트 조건화, 이미지 속 글자 생성의 약점.
• Scale AI, Diffusion Models: A Practical Guide — 미드저니·스테이블 디퓨전 등 주요 모델의 등장과 CLIP 필터링 학습 데이터.

jugger

Jugger | JuggerInsight 운영자 · 백엔드 엔지니어

2021년 6월부터 솔루션 서비스 소프트웨어 도메인에서 백엔드 엔지니어로 재직 중입니다. 시스템 설계·API 구현·운영 환경의 실무 시각을 AI·IT·클라우드 인프라 관련 글에 그대로 반영합니다.

블록체인·매크로 경제 분야는 직접적 직업 경험은 없으나, SEC 공시·백서·기관 리포트·정부 통계 등 1차 자료 인용을 기반으로 분석합니다. 추정과 사실을 본문에서 명확히 구분하고, 검증되지 않은 정보는 게재하지 않는 것을 원칙으로 합니다. 모든 글의 1차 출처 링크는 본문 하단 References에 전수 공개합니다.

콘텐츠 초안 단계에서 AI 모델을 보조 도구로 활용하나, 모든 글은 운영자가 검토·수정·검증한 뒤 발행합니다. 오류 발견 시 본문에 정정 표시를 남깁니다.

문의: jjunggulee@gmail.com