Utveckling och utvärdering av en AI-agent baserad på förstärkningsinlärning för problemlösning i spelet Sokoban

Sammanfattning

Detta arbete har genomförts som ett examensarbete vid Chalmers tekniska högskolaoch behandlar utveckling och utvärdering av en AI-agent baserad på förstärkningsinlärning för problemlösning i spelet Sokoban. Syftet med projektet var att undersökahuruvida olika RL-algoritmer (Reinforcement Learning) såsom PPO, REINFORCE, SARSA och Tabular Q-learning kan lösa problemet, samt att jämföra dessamed varandra och utvärdera hur de presterar.Projektet har implementerats i Python och Unity. SARSA, Tabular Q-learningoch REINFORCE tränades i en Python-implementation av Sokoban och kördes påChalmers superdator Minerva, varefter de tränade modellerna utvärderades i Unitymiljön. PPO tränades och utvärderades direkt i Unity med hjälp av ML-Agentsramverket.Resultatet från projektet visar att tabellbaserad algorithmer som SARSA och Tabular Q-learning inte är tillräckliga för att lösa Sokoban då algoritmerna memorerarlösningarna för tränade kartor och saknar förmågan att generalisera till nya, oseddakartor. REINFORCE, som bygger på ett neuralt nätverk, visade däremot en vissförmåga att lösa problemet givet tillräcklig träning och presterade bättre än SARSAoch Q-learning på nya, osedda testkartor. Däremot överträffade den inte en slumpmässig agent på dessa kartor, vilket indikerar att modellen inte uppnådde tillräckliggeneralisering.