Autonomt maskininlärningssystem för edge-miljöer : Detektion och korrigering av inferensdegradering med Kolmogorov-Smirnov-tester och ensemblebaseradomträning

Sammanfattning

Arbetet undersöker hur inferensdegradering i isolerade edge-miljöer kan detekteras och hanteras autonomt utan beroende av extern molninfrastruktur och minimalt ingripande av människor. Bakgrunden till arbetet är de utmaningar som uppstår när maskininlärningsmodeller distribueras till resursbegränsade edge-enheter där förändringar i indata över tid kan leda till försämrad modellprestanda, så kallad inferensdegradering. Syftet är att designa och utvärdera ett system som kan identifiera feature drift, initiera omträning och distribuera uppdaterade modellvikter till edge-enheter i en TinyMLops-liknande miljö. Arbetet genomfördes enligt en Design Science Research-inspirerad metodik där en artefakt utvecklades iterativt och utvärderades genom experiment. Systemet består av tre huvudsakliga komponenter: en Java-baserad gateway för drift-detektering och orkestrering, ett Python-baserat ramverk för omträning och ensamble-klassificering samt emulerade ARM-baserade edge-enheter. Drift-detektering implementerades med hjälp av Kolmogorov-Smirnov-test för att statistiskt jämföra aktuell indata med referensdistributioner. För automatisk omträning utvecklades en ensamblebaserad metod benämnd Democratic Model Commission, där flera neurala nätverk används för majoritetsröstning och klassificerar ny data. Experiment genomfördes på MNIST-datasetet där olika typer av simulerad data drift introducerades, inklusive brus, suddighet och förändrad ljusstyrka. Resultaten visar att systemet framgångsrikt kunde identifiera flera typer av feature drift, särskilt vid brus och suddighetsfiltrering. Ensamblemetoden möjliggjorde begränsad återställning av modellprestanda utan tillgång till manuellt etiketterad data, även om effektiviteten minskade vid mer extrema förändringar i indata. Arbetet undersökte även möjligheten att använda GraalVM och GraalPy som en gemensam runtime-miljö för Java och Python. Resultaten visade dock att stödet för de nödvändiga Python-paketen var instabila eller icke existerande, vilket ledde till att systemet i stället implementerades som separata Java- och Python-processer med filbaserad kommunikation. Slutsatsen är att autonom drift-detektering och begränsad modellåterhämtning är genomförbar i resursbegränsade ede-miljöer. Den resulterande lösningen av arbetet påverkas av begränsningar kopplade till concept drift, pseudo-labeling och generaliserbarhet till mer komplexa dataset. Arbetet bidrar med en praktisk prototyp och belyser flera tekniska avvägningar inom TinyMLOps och edge-baserad maskininlärning.