Utvärdering av tillförlitligheten hos LLM-genererade insikter i automatiserad moln rapportering : En fallstudie om teknisk noggrannhet och användbarhet för intressenter

Sammanfattning

Molnbaserade driftmiljöer genererar stora mängder teknisk data som behöver kommuniceras till icke-tekniska beslutsfattare på ett begripligt och tillförlitligt sätt. Storaspråkmodeller erbjuder möjligheten att automatisera denna rapportering, men det är oklart hur val av tekniskt upplägg påverkar kvaliteten och tillförlitligheten i degenererade sammanfattningarna.Detta examensarbete undersöker hur fem olika LLM-upplägg påverkar tillförlitlig-heten i AI-genererade molnrapporter, det vill säga automatiskt genererade sammanfattningar av drift-, incident- och resursdata från en molnbaserad miljö. För att möjliggöra jämförelsen utvecklades en begränsad prototyp för automatiserad molnrapportering i Azure, vilken användes som testbädd i utvärderingen. Två baslinjeupplägg utan källdata användes som jämförelsepunkter, medan huvudanalysen fokuserade på tre källförankrade upplägg: Standard RAG, Spårbar RAG och ett valideratupplägg med självgranskning. Uppläggen utvärderades med avseende på teknisk korrekthet, trohet mot underlaget, spårbarhet, konsistens och begriplighet. Arbetet operationaliserar tillförlitlighet som fem mätbara kvalitetsdimensioner och adresserardärmed en identifierad kunskapslucka gällande praktiska utvärderingsmetoder förfaktabaserad AI-rapportering riktad till icke-tekniska mottagare.Resultaten visar att explicita källhänvisningar hade störst betydelse för upplevd tillförlitlighet hos icke-tekniska mottagare, trots att de inte förbättrade den objektivainnehållskvaliteten ytterligare jämfört med källförankring utan hänvisningar. Källhänvisningarna fungerade som en transparenssignal snarare än ett tekniskt verifieringsverktyg. Självgranskning som kontrollsteg bidrog marginellt till konsistens menförbättrade inte kvaliteten i absoluta termer. Även de bästa uppläggen återgav inteall säkerhetskritisk information i underlaget. AI-genererade rapporter bör därför betraktas som beslutsstöd snarare än som fullständiga beskrivningar av hela driftläget.