확산 모델을 모바일에 넣는 엔지니어링

확산 모델은 데이터 센터 GPU를 위해 만들어졌습니다. 실제 확산 엔진이 어떻게 축소되어 휴대전화에서 네이티브로 실행되며, 어떤 절충점이 따르는지 설명합니다.

확산 모델은 실제로 무엇을 하는가

확산 모델은 순수한 노이즈에서 시작해 여러 단계에 걸쳐 노이즈를 제거하면서 이미지를 만듭니다. 각 단계에서 네트워크가 한 번 실행되며 조금 더 깨끗한 이미지 버전을 예측합니다. 충분히 많은 단계를 거치면 일관된 이미지가 남습니다. 한 결과물을 만들 때 전체 모델을 수십 번 실행하기 때문에 확산 모델은 연산 자원을 많이 먹는다는 것입니다. 분류기처럼 한 번만 돌리는 것과는 다릅니다.

크기 문제

이 모델들은 팬과 전용 전원 케이블이 달린 그래픽 카드를 염두에 두고 설계되었습니다. 전체 정밀도의 확산 모델은 수 기가바이트에 이를 수 있고, 노이즈 제거 단계마다 그 가중치를 메모리에서 다시 읽습니다. 휴대전화에서는 저장 공간과 메모리 대역폭이 희소한 자원이므로, 데스크톱 파이프라인을 그대로 복사하는 것은 애초에 불가능했습니다.

어떻게 축소되는가

핵심 도구는 양자화입니다. 모델 가중치를 16비트나 32비트 대신 8비트, 심지어 4비트로 저장해 크기를 줄이면서 대부분의 성능을 유지합니다. 여기에 모바일 CPU와 GPU를 위해 설계된 네이티브 추론 엔진, 합리적인 기본 해상도, 조정된 단계 수를 더하면 데이터 센터의 작업 부하가 주머니 속 칩이 씹어낼 수 있는 수준으로 줄어듭니다.

솔직한 절충점

더 작고 양자화된 모델과 더 적은 단계 수는 선명도 조금과 대형 모델이 가능했던 기발한 프롬프트 대응 능력의 일부를 포기하게 합니다. 생성에는 서버 팜의 거의 즉시 나오는 결과 대신 몇 초에서 1분쯤 걸립니다. 마법이 아니라 합리적인 인내심이 필요한 수준입니다. 그 대가로 전체 파이프라인이 아이디어가 떠오른 그 자리에서 실행되며, 업로드도 대기열도 없습니다.

어디에서 네이티브로 실행되는가

OIG는 바로 이 방식을 기반으로 합니다. 정장 차림을 입은 클라우드 API 대신 휴대전화에서 네이티브로 실행되는 실제 확산 엔진입니다. 프롬프트를 넣으면 이미지가 나오고, 모든 계산은 기기 안에서 이루어집니다. 데스크톱이 실행할 것과 같은 노이즈 제거 루프를 모바일 하드웨어에 맞게 조정한 것입니다. 이미지 생성에서는 도구를 소유하는 것과 잠깐 빌려 보는 것의 차이가 됩니다.