Prestandamätning av ett kliniskt beslutsstödjande multiagentsystem för svensk sjukvård

Sammanfattning

Studien undersöker AI-systemet CLARA, ett multiagentbaserat system som stödjer läkare i det kliniska beslutsfattandet. Utvecklarna på OptiMed AI menar att CLARA har möjlighet att effektivisera vårdprocessen genom att hantera patientdata, besvara frågor, sammanfatta journaler och presentera relevant information. Artificiell intelligens blir allt vanligare i samhället och inom sjukvården finns stor potential för tekniken, samtidigt som krav på säkerhet och tillförlitlighet är centrala. Denna studie fokuserar på två mätetal, total fördröjning och noggrannhet, som utvärderar CLARAs prestanda och sätts i relation till tidigare forskning. Mätningarna gick ut på att låta en konfigurerad specialistagent hantera ett dataset bestående av medicinska frågor. Datasetet innehöll öppna frågor som baserades på ett nationellt kunskapsprov från Umeå universitet. Frågorna delades upp i svårighetsgrader baserat på deltagarnas resultat, i syfte att synliggöra eventuella skillnader i svarstid och svarskvalitet. Noggrannheten analyserades genom att jämföra agentens svar med referenssvaret med hjälp av en inbäddningsmodell, text-embedding-3-large, en omrankningsmodell, BGE Reranker v2 M3 samt en språkmodellsdomare baserad på GPT-4.1. Resultaten från tidsmätningarna visade att systemets totala fördröjning var relativt stabil mellan olika svårighetsgrader, med svarstider på omkring tre sekunder. Språkmodellsdomaren gav höga noggrannhetspoäng till samtliga svar, vilket tyder på att CLARA genererade svar av hög kvalitet. Poängen från inbäddningsmodellen och omrankningsmodellen var något mer svårtolkade på grund av variationen. Sammantaget har total fördröjning och noggrannhet identifierats som relevanta mätetal. Vidare har mätetalen visats ge indikationer om systemets prestanda.