TRADING MED REINFORCEMENT LEARNING OCH SUPERVISED LEARNING

Sammanfattning

Algoritmisk handel med maskininlärning har fått ökad uppmärksamhet inom finansområdet, där olika metoder används för att bland annat analysera marknadsdata och fatta handelsbeslut. I denna studie används Supervised Learning (SL) för att generera prisprognoser med hjälp av XGBoost, medan Reinforcement Learning (RL) används i form av en Deep Deterministic Policy Gradient (DDPG)-agent för att utföra handelsbeslut. Finansiella marknader kännetecknas av dynamiska och osäkra miljöer. Därför syftar denna studie till att utveckla och utvärdera en tradingmodell där en DDPG-agent kompletteras med prisprognoser från XGBoost, samt att undersöka hur dessa prediktioner påverkar agentens prestation i jämförelse med en traditionell SMA-korsstrategi och en DDPG-agent utan XGBoost. I studien utvecklades en tradingmodell där fem separata XGBoost-modeller genererade prisprognoser för framtida tidshorisonter från t+1 till t+5. Dessa prediktioner integrerades därefter som tillståndsvariabler i en DDPG-agent tillsammans med tekniska indikatorer och volymdata. Modellen jämfördes både mot en DDPG-agent utan XGBoost-prediktioner samt mot en SMA-korsstrategi som baslinje. Träning, validering och testning genomfördes med kronologiskt uppdelad historisk marknadsdata för tre finansiella tillgångar från både aktie- och kryptomarknaden. Resultaten visade att effekten av XGBoost-prediktionerna varierade mellan olika tillgångar och marknadsförhållanden. För DOGEUSD tillgång uppvisade DDPG-agenten med XGBoost starkare prestation än både DDPG-agenten utan XGBoost och SMA-korsstrategin. För AAPL tillgång presterade SMA-korsstrategin bäst, medan DDPG-agenten med XGBoost samtidigt uppvisade en relativt liknande prestation och tydligt överträffade DDPG-agenten utan XGBoost. För JNJ tillgång observerades motsatt beteende där DDPG-agenten utan XGBoost presterade bäst, medan DDPG-agenten med XGBoost uppvisade den svagaste prestationen. Resultaten indikerade samtidigt att XGBoost-modellernas förmåga att generalisera till nya marknadsförhållanden påverkade DDPG-agentens beteende och prestation. Studien indikerar därmed att prisprognoser kan bidra med användbar information till RL-baserade tradingmodeller, men att nyttan är starkt beroende av kvaliteten på prediktionerna och marknadens egenskaper. Resultaten indikerar även att DDPG-agenterna påverkades av kvaliteten på tillståndsvariablerna, rewardfunktionens utformning och hyperparameterinställningarna. Framtida arbete kan fokusera på förbättrad generaliseringsförmåga hos modellerna, alternativa modellarkitekturer samt vidare analys av hur exploration, hyperparameterinställningar och reward-funktionen påverkar stabiliteten hos DDPG-baserade handelsmodeller. Vidare kan mer realistiska handelsförhållanden inkluderas för att bättre utvärdera modellernas praktiska användbarhet.