OminiControl2: 확산 트랜스포머의 효율적인 조건 제어의 혁신

OminiControl2는 텍스트-이미지 확산 트랜스포머 모델의 효율성을 획기적으로 개선한 프레임워크로, 동적 압축 전략과 조건부 특징 재사용 메커니즘을 통해 계산 비용을 90% 이상 줄이고 속도를 5.9배 향상시켰습니다. 이를 통해 복잡한 다중 모달 제어를 이용한 고품질 이미지 합성이 가능해졌습니다.

텍스트-이미지 확산 트랜스포머 모델(DiT)의 세밀한 제어는 실제 배포에 있어 여전히 큰 과제입니다. OminiControl 등 최근 연구들은 다양한 제어 신호를 생성할 수 있도록 했지만, 긴 조건 입력을 처리할 때 상당한 계산 비효율성에 직면했습니다.

Tan Zhenxiong 등 연구진이 발표한 OminiControl2는 이러한 문제를 해결하기 위한 획기적인 프레임워크입니다. OminiControl2는 이미지 조건부 이미지 생성을 위한 효율적인 방법을 제시합니다.

OminiControl2의 핵심 혁신은 두 가지입니다.

1. 동적 압축 전략: 생성 과정에서 의미적으로 가장 관련성이 높은 토큰만 유지하여 조건 입력을 간소화합니다. 이는 불필요한 계산을 줄이는 효과적인 방법입니다.
2. 조건부 특징 재사용 메커니즘: 조건 토큰 특징을 한 번만 계산하고 잡음 제거 단계에서 재사용합니다. 중복 계산을 피함으로써 속도를 크게 향상시킵니다.

이러한 아키텍처 개선을 통해 OminiControl2는 기존 프레임워크의 매개변수 효율성과 다중 모달 다양성을 유지하면서 계산 비용을 극적으로 줄입니다. 실험 결과, OminiControl2는 이전 버전보다 조건 처리 오버헤드를 90% 이상 줄이고, 다중 조건 생성 시나리오에서 전반적으로 5.9배의 속도 향상을 달성했습니다.

이러한 효율성 향상은 DiT 모델을 이용한 고품질 이미지 합성을 위한 복잡하고 다중 모달적인 제어의 실제 구현을 가능하게 합니다. OminiControl2는 텍스트-이미지 생성 분야에 새로운 가능성을 열었으며, 앞으로 더욱 발전된 기술의 발전에 기여할 것으로 예상됩니다.

연구진: Tan Zhenxiong, Xue Qiaochu, Yang Xingyi, Liu Songhua, Wang Xinchao