디퓨전 트랜스포머 (Diffusion Transformer, DiT)

디퓨전 트랜스포머(Diffusion Transformer, DiT)는 디퓨전 모델의 노이즈 제거 네트워크에 트랜스포머를 사용하는 모델 구조입니다. 원 논문은 이미지의 잠재 표현을 패치로 나누어 처리하는 방식을 제시했습니다. 디퓨전은 데이터를 생성하는 과정, 트랜스포머는 그 과정에 쓰이는 신경망 구조를 가리키므로 두 용어는 서로 다른 역할을 설명합니다.

잠재 패치를 처리하는 트랜스포머

DiT 원 논문은 잠재 디퓨전 모델에서 흔히 쓰던 U-Net을 트랜스포머로 바꾸는 방법을 연구했습니다. 여기서 잠재 표현은 원본 이미지를 다른 표현 공간으로 옮긴 데이터이며, 모델은 그 표현을 여러 패치로 나누어 입력받습니다. 이미지 픽셀을 글자로 바꿔 언어 모델에 넣는다는 뜻은 아닙니다. 입력 토큰이라는 공통 표현이 쓰여도 그 토큰이 담고 있는 정보는 모델의 입력 방식에 따라 다릅니다.

디퓨전 모델의 생성 과정에서는 노이즈가 섞인 상태를 단계적으로 바꾸며 결과를 만듭니다. DiT는 그 단계에서 사용할 예측을 담당하는 신경망을 트랜스포머로 구성합니다. 원 논문이 바꾼 대상은 생성 과정의 중심 네트워크이며, 디퓨전 과정 전체를 일반적인 문장 생성으로 대체한 것이 아닙니다. 어텐션을 사용한다는 공통점만으로 이미지 생성과 언어 모델의 출력 절차가 같다고 읽으면 작동 단계를 혼동하게 됩니다.

모델 이름에 DiT가 들어 있다는 정보는 내부 구조를 이해하는 단서입니다. 실제로 어떤 입력을 받는지, 어떤 조건으로 이미지를 만드는지는 개별 모델의 학습 방식과 구현을 더 확인해야 합니다. 원 논문의 결과는 클래스 조건부 이미지 생성 실험이므로 텍스트 프롬프트 편집이나 영상 생성 기능까지 자동으로 포함하지 않습니다. 같은 구조를 바탕으로 한 후속 모델도 제공 기능은 따로 구분합니다.

모델 크기와 계산량의 구분

DiT 논문의 확장성 분석은 순전파 계산량을 Gflops로 측정하며 모델의 깊이·너비와 입력 토큰 수를 바꾸었습니다. 논문이 보고한 실험에서는 계산량이 큰 DiT에서 FID가 낮아지는 경향이 나타났습니다. FID는 생성 이미지와 기준 이미지의 특징 분포 차이를 비교하는 평가 지표입니다. 이런 관측을 설명할 때는 논문의 데이터와 조건 안에서 나온 경향이라는 범위를 함께 둡니다.

파라미터 수와 계산량은 같은 단위가 아닙니다. 입력을 더 작은 패치로 나누면 토큰 수가 달라지고, 모델의 깊이와 너비를 늘리는 경우에도 계산량이 변합니다. 모델 이름이나 파라미터 수만 비교하면 입력 크기와 패치 조건의 차이를 놓칠 수 있습니다. 학습에 필요한 자원, 한 번의 예측에 드는 계산, 이미지를 완성할 때 반복하는 단계 수를 나누면 비용을 비교하는 기준이 분명해집니다.

논문의 한 지표가 좋다고 모든 이미지 요청에서 사람의 선호가 높아지는 것은 아닙니다. 이미지 품질을 비교할 때는 평가 데이터, 생성 해상도, 조건 입력과 평가 방법이 같은지 확인합니다. 논문의 수치와 다른 서비스의 홍보 수치를 바로 연결하면 학습 데이터나 샘플링 설정의 차이가 섞입니다. DiT라는 구조 이름 자체에는 특정 응답 시간이나 사용 요금이 들어 있지 않습니다.

공식 구현과 사용 조건

DiT 공식 저장소는 논문의 PyTorch 구현과 학습·샘플링 코드를 제공합니다. 저장소는 원래 모델을 JAX와 TPU에서 학습했고 공개 가중치를 옮겼다고 설명합니다. 같은 가중치를 사용하는 경우에도 부동소수점 정밀도와 실행 구현 때문에 평가 결과에 작은 차이가 생길 수 있다고 밝힙니다. 원 논문의 값과 저장소에서 재평가한 값을 같은 실행의 결과로 합치지 않습니다.

코드를 열람할 수 있다는 사실과 어떤 목적으로든 사용할 수 있다는 사실도 구분됩니다. 2026년 10월 11일 확인한 공식 저장소는 코드와 모델 가중치에 CC-BY-NC 라이선스를 표시합니다. 후속 모델이나 다른 배포본을 사용할 때는 해당 배포본의 라이선스와 기반 모델 조건을 따로 읽습니다. 구조의 이름만 보고 모든 DiT 계열 모델에 하나의 이용 조건을 적용할 수는 없습니다.

실행 환경을 준비할 때는 구현이 요구하는 라이브러리와 장치 조건을 확인합니다. GPU가 있다는 사실만으로 특정 해상도와 설정에서 모델이 실행되는지까지 알 수는 없습니다. 학습과 추론은 필요한 메모리와 수행 작업이 다르므로, 공개 저장소의 실행 예시와 실제로 사용하려는 작업을 맞춰 봅니다. 원 논문 재현 여부와 특정 서비스의 이미지 품질은 별도 검증 대상입니다.