När artificiell intelligens blir försiktig : Hantering av maximeringsbias och riskmedvetenhet i förstärkningsinlärning

Sammanfattning

När artificiell intelligens och förstärkningsinlärning integreras i system uppstår det säkerhetsutmaningar. Förstärkningsinlärning är en metod där en agent lär sig att fatta beslut genom att utföra handlingar i en miljö för att maximera en långsiktig belöning. En vanlig algoritm för detta är Q-learning, där värdet av handlingsalternativ uppskattas för att forma en strategi som sedan kan utvärderas. Förstärkningsinlärningsagenter prioriterar oftast att maximera sin belöning framför säkerhet, vilket leder till ett riskfyllt beteende. I stokastiska miljöer påverkas även agenter av maximeringsbias, där agenter systematiskt överskattar värdet av handlingar på grund av slumpmässiga utfall. Syftet med denna studie är att undersöka hur riskmedvetenhet och maximeringsbias kan hanteras hos förstärkningsinlärningsagenter i en stokastisk miljö. För att hantera riskmedvetenhet utvärderas hur heuristisk och potentialbaserad belöningsformning påverkar agentens resulterande spelstrategi och konvergenshastighet. För att hantera maximeringsbias undersöks i vilken utsträckning standardimplementationen av Double Q-learning kan minska maximeringsbias jämfört med standardimplementationen av Q-learning. I studien tillämpades en experimentell ansats, där kortspelet blackjack användes som stokastisk miljö. Agenter tränades med Q-learning och Double Q-learning, både med och utan heuristisk och potentialbaserad belöningsformning. Experimentet delades in i en träningsfas för att mäta konvergenshastighet, samt en testfas för att utvärdera riskmedvetenheten och maximeringsbias. Riskmedvetenhet mättes genom följande mätvariabler: frekvens av kortsumma över 21, vinstprocent, förlustprocent, genomsnittlig avkastning och policypoäng för att sedan analyseras med statistiska t-tester. Resultaten visade att belöningsformning ökade konvergenshastigheten och effektivt styrde agenten mot ett mer riskmedvetet beteende, genom att sänka frekvensen av att överstiga kortsumman 21 från 18% till nästintill 0%. Denna ökade riskmedvetenhet kräver dock en avvägning, eftersom den medförde en försämrad övergripande prestation. Vidare visade Double Q-learning en reducerad maximeringsbias i form av en lägre frekvens för kortsumman över 21 jämfört med standard Q-learning. Slutsatsen påvisade att Double Q-learning kan minska det riskfyllda beteendet som maximeringsbias orsakar, men effekten på ursprungliga strategin begränsas i miljöer med få handlingsalternativ exempelvis blackjack.