Runtime-påverkan på pre- och post-processing i JVM-baserad objektdetektering

Sammanfattning

I samband med att artificiell intelligens och maskininlärning får en allt mer central roll i datavetenskapen, integreras inferens med maskininlärning i ett växande antal system. Latensen för inferens med maskininlärning i praktiska scenarier utgörs inte enbart av den faktiska modellexekveringen utan påverkas även av faktorer som för- behandling och efterbehandling av data. När en inferenspipeline introduceras i en Javabaserad applikation exekveras vanligen dessa steg i samma runtime-miljö som övrig affärslogik: Java Virtual Machine (JVM). Denna studie analyserar de effekter på latens i för- och efterbehandlingsstegen som uppkommer genom JVM-specifika runtime-mekanismer såsom just-in-time-optimeringar (JIT) och garbage collection (GC). Studien genomförs som en experimentell systemanalys med latensmätningar som empiriskt underlag.Visuell analys av JIT-uppvärmning visar att för- och efterbehandlingsalgoritmerna optimeras tidigt i programexekveringen, men att optimeringen sammanfaller med initiering av modellexekveringen. Spearman-test och Point-Biserial-test påvisar ett statistiskt signifikant samband mellan GC-händelser och latenser i den 95:e percentilen och den deskriptiva analysen påvisar att GC-aktivitet är överrepresenterad med en faktor om 17-20x mot vad dess frekvens indikerar. Dessa fynd kan vara relevanta vid design av latenskänsliga system