AI Agent for User Data Analysis in Quality Assurance for Mobile Applications

Sammanfattning

Att skriva SQL-satser för att hämta användardata är ofta en ansträngande uppgift som kräver god kännedom om hur datainsamlingen fungerar, och hur användare interagerar med applikationen. För utvecklare som endast skriver SQL ibland innebär det mycket kontextväxling och tid som går åt till att åter bekanta sig med dataanalyseringsarbetet. För att lösa detta problemet utvecklades en intern AI-agent som omvandlar naturligt språk till projektspecifika SQL-satser för BigQuery databser. Därmed reduceras eller elimineras behovet av att manuellt skriva SQL-satser. Denna automation låter istället utvecklare fokusera på att analysera och dra slutsatser från resultatet gällande användarbeteenden. Genom att analysera applikationens källkod och intervjua utvecklare med diverse erfarenhetsnivåer, kunde flera hinder för effektiva datadrivna beslut identifieras. Den komplexa databasstrukturen och avsaknad av detaljerad dokumentation över datainsamlingen var båda två tydliga hinder som stoppade utvecklare från att effektivt skriva SQL-satser, vilket kan mitigeras genom AI-assistans. Resultatet blev en prototyp av en AI-agent, utvecklad med AutoGen-ramverket, som är tillgänglig både via text- och grafiska gränssnitt. Denna prototyp kan anpassas och konfigureras för nyttjade i olika teams och projekt, och därmed gynna för en enklare och snabbare dataanlys. Prototypen har projekt- och domänspecifik kunskap för data som samlas in genom inbyggd dokumentation i agentens \textit{tool}, vilket används för att agenten ska se strukturen över databasen. Tester visade att sex av åtta tidigare skrivna SQL-satser kunde återskapas med naturligt språk under fem försök, med en genomsnittlig exekveringstid på drygt trettio sekunder från start till hämtat dataresultat. Resultaten visar att AI-assisterad SQL-generering potentiellt kan effektivisera kvalitetsarbetet inom utveckling av mobilapplikationer.