브레인은 당신의 플레이 방식에서 어떻게 배우나요?

HandyAI Games는 플레이 모방, 셀 플레이, 엄지척 피드백을 이용해 휴대폰에서 작은 신경망을 훈련합니다. 클라우드는 필요 없습니다.

세 가지 교사, 하나의 브레인

HandyAI Games의 브레인은 대본을 따라 움직이는 상대가 아니라, 플레이하면서 배우는 실제 정책입니다. 세 가지 방식으로 학습합니다. 상황을 처리하는 당신의 방식을 따라 하는 모방, 스스로 연습하는 셀 플레이, 그리고 당신이 선택을 평가하는 직접 피드백입니다. 당신이 플레이하는 모든 세션은 그 브레인의 훈련 세션이 됩니다. 수업이 있었는지 눈치채지 못하더라도 마찬가지입니다.

먼저 모방으로 당신의 습관을 배웁니다

처음에는 브레인이 주로 지켜봅니다. 보드에 접근하는 방식, 안전하게 두는 때, 위험한 라인을 추격하는 때, 실수에서 회복하는 방식을 관찰하고 초기 스타일을 당신에게서 만듭니다. 그래서 어린 브레인과 대결하는 것은 즐거워집니다. 그 수들이 익숙하게 느껴지기 때문입니다. 어느 의미로는 당신 자신의 수가 되돌아온 것입니다.

셀 플레이가 숙제를 합니다

모방만으로는 브레인의 실력이 당신 수준에 머무를 테니, 스스로도 연습합니다. 셀 플레이 라운드를 통해 정책은 당신이 보여주지 않은 라인을 시도하고 효과가 있는 것만 남깁니다. 브레인이 당신에게 가르치지 않은 버릇을 길들이기 시작하는 지점이 바로 여기입니다. 의아하게 만드는 수를 두는 순간, 훈련은 모방을 넘어 탐색으로 넘어섭니다.

엄지척, 엄지내림

세 번째 교사는 시연자가 아니라 비평가로|timezone 당신이 됩니다. 브레인이 수를 두면 평가할 수 있고, 그 엄지척이나 엄지내림 신호가 정책에 직접 반영됩니다. 나쁜 습관을 처음부터 다시 훈련하지 않고 고치는 가장 빠른 방법입니다. 몇 번의 적절한 평가는 수백 번의 수동 플레이가 못 고치는 행동을 바로잡아 줍니다.

읽을 수 있을 만큼 작습니다

브레인은 의도적으로 작게 설계되었습니다. HG-Net-S 계열의 해석 가능한 선형 정책과 소형 MLP 정책으로, 데이터센터가 아니라 휴대폰에서 훈련할 수 있는 크기입니다. 대가는 투명성입니다. 정책이 작게 유지되므로 의사결정 저널에서 어떤 수를 골랐는지, 왜 골랐는지를 확인할 수 있습니다. 실제로 들여다볼 수 있는 플레이어를 키우는 셈입니다.