AI-Driven Performance and Configuration Analysis to Predict User Experience in Tactel’s Configurable IFE system

Sammanfattning

Konfigurerbara system, såsom Tactels Android-baserade In-Flight Entertainment lösning, erbjuder stor flexibilitet men utgör samtidigt en utmaning för användartestning på grund av det oändliga antalet möjliga konfigurationer. För att säkerställa en bra användarupplevelse undersöker detta arbete möjligheten att använda Artificiell Intelligens, mer specifikt maskininlärning, för att förutspå användares upplevelse utifrån applikationens prestanda och konfiguration. Det undersöks även vilken prestanda parameter och vilken del i konfigurationen som påverkar användarupplevelsen mest. Två interaktinoer, scrollning och navigering, analyserades och användarbetyg samlades in på en betygsskala från 1 till 5. Två typer av modeller tränades med användarbetyg som utparameter: en med prestandadata som inparametrar och med konfigurationsdata som inparametrar. Modeller som Linjär Regression, Neurala Nätverk och Random Forest testades. Resultaten visar att den bästa modellen för att förutspå scrollningsupplevelsen var modellen som tränades med prestandadata som inparametrar. Den modellen var en Random Forest model som hade ett medelfel på 0,2634, på en skala 1 till 5. Användarbetyget visade sig vara starkt påverkat av förekomsten av krascher. För navigering var konfigurationsbaserade modellen något bättre, med bästa modellen som också var Random Forest med ett medelfel på 0,8674, på en skala 1 till 5, där "Myflight"-widgeten visade sig vara den mest inflytelserika faktorn. Det finns dock begränsningar: användarupplevelsen kan skilja sig markant i en faktisk flygmiljö, vilket stöds av både litteratur och intervjuer, vilket kan göra modellernas prediktioner mindre trovärdiga. Framtida arbete bör fokusera på att samla in mer data till modellerna, utöka antalet inparametrar, samt utveckla ett användargränssnitt för att göra systemet mer tillgängligt för utvecklare.