Lập chỉ mục trước, trả lời sau, không tải lên

Embedding, tìm kiếm vector và mô hình cục bộ nhỏ: cách ứng dụng trả lời câu hỏi từ PDF mà không cần bất kỳ lệnh gọi mạng nào.

Quy trình gồm bốn giai đoạn

Sinh tăng cường truy xuất (RAG) chia việc hỏi đáp thành hai phần. Trước tiên, ngoại tuyến khi nhập tài liệu: PDF được phân tích, tách thành các đoạn có phần chồng lấn, rồi mỗi đoạn được chuyển thành một vector và lưu vào chỉ mục cục bộ. Sau đó, với mỗi câu hỏi: truy vấn của bạn cũng được chuyển thành vector, chỉ mục trả về những đoạn gần nhất và mô hình ngôn ngữ chỉ dựa vào đó để trả lời. Mô hình không bao giờ nhìn thấy toàn bộ tài liệu — nó chỉ thấy bằng chứng.

Embedding thực chất là gì

Mô hình embedding ánh xạ một đoạn văn bản thành một điểm trong không gian vài trăm chiều, được huấn luyện để các ý nghĩa tương tự nằm gần nhau. Câu “Hợp đồng này có tự động gia hạn không?” nằm gần điều khoản “thỏa thuận này tự động gia hạn theo các kỳ hạn liên tiếp”, dù gần như không có từ nào trùng nhau — đó chính là toàn bộ điểm mấu chốt. Tìm kiếm từ khóa so khớp chuỗi; tìm kiếm vector so khớp ý định, và đó là lý do RAG hoạt động tốt với câu hỏi thực tế.

Chỉ mục nằm ngay trên điện thoại

Khi các đoạn đã thành vector, việc truy xuất chính là hình học: tính khoảng cách từ vector câu hỏi đến mọi vector được lưu, rồi chọn vài đoạn gần nhất. Với bộ tài liệu cỡ điện thoại, thao tác này rất rẻ — bước tốn kém là embedding, chỉ thực hiện một lần khi nhập tệp. Kết quả là một chỉ mục tìm kiếm riêng tư, nằm hoàn toàn trong bộ nhớ của ứng dụng, được xây dựng mà không cần máy chủ và vẫn truy vấn được ở chế độ máy bay.

Sinh câu trả lời, luôn có ràng buộc

Giai đoạn cuối chuyển các đoạn đã truy xuất cho mô hình ngôn ngữ kèm chỉ dẫn trả lời dựa trên đó. Đây là lý do câu trả lời của RAG ít bị “ảo giác” hơn: mô hình đang đọc bằng chứng chứ không ghi nhớ thế giới, và phần ngữ cảnh đưa vào chỉ giới hạn ở vài đoạn liên quan thay vì cả một cuốn sách. Offline AI Expert tiến thêm một bước: trích dẫn các đoạn mà mỗi câu trả lời dựa vào, nên việc kiểm chứng chỉ cần một cú chạm thay vì đọc lại.

Vì sao toàn bộ hệ thống vừa trên điện thoại

Không thành phần nào cần đến trung tâm dữ liệu: mô hình embedding nhỏ, chỉ mục vector chỉ là phép tính trên các con số đã lưu, còn mô hình xử lý chỉ phải hiểu vài đoạn văn mỗi lần — một nhiệm vụ hoàn toàn nằm trong khả năng của một LLM nhỏ gọn. Đây chính là điểm kỹ thuật thầm lặng: AI tài liệu ngoại tuyến hoạt động không phải vì đám mây được thu nhỏ, mà vì kiến trúc chưa bao giờ nặng như vẻ ngoài.