Bộ não học như thế nào từ cách bạn chơi?

HandyAI Games huấn luyện mạng nơ-ron nhỏ trên điện thoại bằng cách bắt chước lối chơi, tự đối kháng và phản hồi ngón tay cái — không cần kết nối đám mây.

Ba người thầy, một bộ não

Bộ não trong HandyAI Games không phải đối thủ theo kịch bản — đó là một chính sách thật sự được dạy dỗ trong khi bạn chơi. Nó học theo ba cách: bắt chước, tức là sao chép cách bạn xử lý tình huống; tự đối kháng, tức là tự luyện tập một mình; và phản hồi trực tiếp, tức là bạn đánh giá lựa chọn của nó. Mỗi phiên chơi đều trở thành một buổi huấn luyện cho nó, dù bạn có nhận ra bài học hay không.

Học bắt chước thói quen của bạn trước

Ban đầu, bộ não chủ yếu chỉ quan sát. Nó theo dõi cách bạn tiếp cận bàn chơi — khi nào bạn chơi an toàn, khi nào bạn theo một nước đi rủi ro, bạn phục hồi thế nào sau một sai lầm — và xây dựng phong cách ban đầu từ phong cách của bạn. Nhờ vậy, bộ não non trẻ rất dễ chịu khi đối đầu, bởi nước đi của nó mang dấu vết quen thuộc: theo một nghĩa thực sự, đó chính là nước đi của bạn phản chiếu lại.

Tự đối kháng làm bài tập

Chỉ học bắt chước sẽ giới hạn bộ não ở trình độ của chính bạn, nên nó còn tự luyện tập một mình. Các vòng tự đối kháng cho phép chính sách thử những nước đi bạn chưa từng chỉ dạy và giữ lại những cách chơi hiệu quả. Đây là lúc bộ não bắt đầu hình thành những đặc điểm riêng mà bạn không dạy — khoảnh khắc nó đi một nước khiến bạn bất ngờ, quá trình huấn luyện đã vượt qua giai đoạn sao chép để bước vào khám phá.

Ngón tay cái lên, ngón tay cái xuống

Người thầy thứ ba chính là bạn, đóng vai người phê bình thay vì người biểu diễn. Khi bộ não đi một nước, bạn có thể đánh giá nó, và tín hiệu ngón tay cái lên hoặc xuống sẽ điều hướng chính sách trực tiếp. Đây là cách nhanh nhất để sửa một thói quen xấu mà không phải huấn luyện lại từ đầu — chỉ vài lượt đánh giá đúng chỗ cũng đủ để điều chỉnh hành vi mà hàng trăm ván chơi thụ động khó làm được.

Nhỏ gọn để quan sát

Các bộ não được cố ý thiết kế rất nhỏ — những chính sách tuyến tính và MLP nhỏ có thể diễn giải, thuộc họ HG-Net-S, vừa sức huấn luyện trên điện thoại thay vì trong trung tâm dữ liệu. Lợi ích là sự minh bạch: vì chính sách luôn gọn gàng, nhật ký quyết định của nó có thể cho bạn biết nó đã chọn nước đi nào và vì sao. Bạn đang huấn luyện một người chơi mà bạn thực sự có thể soi xét.