Europeisk AI : Jämförelse och integration av AI-modeller i Devizes sökfunktioner

Sammanfattning

Användningen av AI-lösningar där språkmodeller kopplas till interna datakällor, till exempel genom så kallade RAG-lösningar (Retrieval-Augmented Generation), har blivit allt vanligare i många olika typer av verksamheter för att effektivisera processer och göra information mer lättillgänglig. Detta gäller även verksamheter som påverkas av det kommande NIS2-direktivet, vilket ställer ökade krav på kontroll över informationssäkerheten, särskilt med avseende på var data lagras och hur den används. Syftet med detta arbete är att undersöka om det finns europeiska alternativ till GPT-3.5-Turbo, som idag används i en befintlig RAG-lösning, genom att jämföra modellernas prestanda. Jämförelsen gjordes mellan GPT-3.5-Turbo och två europeiskt baserade språkmodeller: Ministral 8B samt AI-Sweden-Models/Llama-3-8B-instruct. Utvärderingen genomfördes genom att ställa samma frågor mot gemensamma källdokument och analysera svarens kvalitet med hjälp av mått som precision, recall, F1-poäng samt förvirringsmatris. Resultaten från arbetet visar att det finns jämförbara europeiska alternativ, där Ministral 8B är den språkmodell som presterade bäst i de genomförda testerna. Att ändra vilken inbäddningsmodell som testerna gjordes med påverkade resultaten, men ingen slutsats kunde dras om att den ena skulle vara bättre än den andra, då språkmodellernas resultat påverkades i olika riktningar.