Kỹ thuật đưa mô hình khuếch tán vào điện thoại

Mô hình khuếch tán vốn dành cho GPU trung tâm dữ liệu. Cách thu nhỏ để chạy native trên điện thoại và những đánh đổi đi kèm.

Mô hình khuếch tán thực sự làm gì

Mô hình khuếch tán tạo ảnh bằng cách bắt đầu từ nhiễu thuần và loại bỏ nhiễu theo từng bước. Mỗi bước chạy mạng một lần: dự đoán một phiên bản ảnh sạch hơn một chút, và sau đủ bước, hình ảnh mạch lại sẽ hiện ra. Vòng lặp này là lý do khuếch tán cần nhiều tài nguyên tính toán — nó chạy toàn bộ mô hình hàng chục lần cho một kết quả, thay vì chỉ một lần như bộ phân loại.

Vấn đề kích thước

Các mô hình này được thiết kế cho card đồ họa có quạt và cáp nguồn riêng. Một mô hình khuếch tán độ chính xác đầy đủ có thể nặng vài gigabyte, và mỗi bước khử nhiễu lại phải đọc các trọng số đó qua bộ nhớ. Trên điện thoại, cả dung lượng lưu trữ lẫn băng thông bộ nhớ đều là nguồn lực bị hạn chế — nên chuyển nguyên xi quy trình của máy tính sang điện thoại là điều không thể.

Cách thu nhỏ mô hình

Công cụ chính là lượng tử hóa: lưu trọng số mô hình ở 8 hoặc thậm chí 4 bit thay vì 16 hay 32 bit, giúp kích thước co lại còn một phần nhỏ mà vẫn giữ phần lớn năng lực. Kết hợp với engine suy luận native được viết cho CPU và GPU di động, độ phân giải mặc định hợp lý và số bước đã tinh chỉnh, khối lượng công việc của trung tâm dữ liệu có thể được nén lại thành thứ mà một con chip trong túi xử lý được.

Những đánh đổi thực tế

Mô hình lượng tử hóa nhỏ hơn và số bước ít hơn nghĩa là khuếch tán trên điện thoại phải hy sinh một chút độ sắc nét cùng khả năng tuân thủ prompt phức tạp mà các mô hình lớn nhất vẫn làm được. Quá trình tạo ảnh mất vài giây đến khoảng một phút, thay vì tức thì như máy chủ tập trung — cần một chút kiên nhẫn, không phải phép màu. Đổi lại, toàn bộ quy trình chạy ngay tại nơi ý tưởng xuất hiện, không tải lên, không xếp hàng.

Nơi nó chạy native

OIG được xây dựng xoay quanh đúng điều đó: một engine khuếch tán thực sự chạy native trên điện thoại, chứ không phải một API đám mây trong áo khoác dài. Nhập prompt, nhận ảnh, mọi thứ được tính toán ngay trên thiết bị — cùng vòng lặp khử nhiễu mà máy tính chạy, được điều chỉnh cho phần cứng di động. Với việc tạo ảnh, đây là khác biệt giữa sở hữu công cụ và thuê một khoảnh khắc của nó.