Pixel 8 của bạn có thể chạy các mô hình ngôn ngữ thực sự

Phần cứng đẳng cấp Pixel 8 có đủ dung lượng bộ nhớ cho các mô hình lớn hơn. Đây là trải nghiệm chạy mô hình ngôn ngữ cục bộ trên Pixel.

Vì sao Pixel xử lý mô hình tốt

Các dòng Pixel cao cấp gần đây đi kèm RAM dồi dào và chipset hiện đại – đúng hai yếu tố mà suy luận cục bộ cần đến. Quy tắc đơn giản: càng nhiều bộ nhớ trống, mô hình càng lớn chạy càng thoải mái; còn dung lượng lưu trữ quyết định bạn có thể tải và giữ bao nhiêu mô hình cùng lúc. Một chiếc Pixel cao cấp đáp ứng tốt cả hai – hãy coi đó là phần dung lượng dự phòng bạn đã trả tiền để có.

Bắt đầu với mô hình vừa phải, rồi nâng dần

Mô hình 3-4B tham số là lựa chọn cân bằng trên máy cao cấp: phản hồi đến nhanh và câu trả lời khá tốt. Trình duyệt mô hình tích hợp của Local AI liệt kê các mô hình mở từ 0.5B đến 12B tham số, tải xuống chỉ bằng một chạm, nên bạn có thể bắt đầu nhanh và nâng cấp dần cho đến khi tốc độ hoặc chất lượng bảo bạn dừng lại. Tải mô hình thứ hai rồi so sánh cạnh nhau cũng là một nửa niềm vui.

Ngoài văn bản

Cùng cách tải một lần đó áp dụng cho nhiều hơn là trò chuyện. Các mô hình thị giác đọc ảnh của bạn và trả lời câu hỏi về ảnh; trợ lý giọng nói xử lý các câu hỏi nói thành lời – tất cả đều được tính toán ngay trên Pixel thay vì gửi đến máy chủ. Sau lần tải ban đầu, không cần kết nối cho bất cứ điều gì; chế độ máy bay không làm thay đổi gì, giúp Pixel trở thành trợ lý khép kín thay vì một thiết bị điều khiển từ xa.

Giới hạn thực tế

Điện thoại không phải là trung tâm dữ liệu, và những mô hình lớn nhất sẽ khiến bạn phải chờ lâu trên mọi thiết bị. Nhưng với các tác vụ soạn thảo hằng ngày, đặt câu hỏi, tóm tắt và suy nghĩ thành lời, một chiếc Pixel chạy mô hình vừa phải mang lại cảm giác gần với việc có một trợ lý im lặng sống ngay trong túi – và không bao giờ báo cáo về nhà. Mức đánh đổi này rất dễ chấp nhận.