Design och utvärdering av hämtningstekniker i RAG : Jämförelse mellan hybridsökning, HyDE och HyPE över olika domäner

Sammanfattning

AI-baserade informationssystem som bygger på hämtningsförstärkt generation (RAG) har blivit en lösning för att tillgängliggöra information i organisationer, då de kompletterar stora språkmodeller med extern, icke-parametrisk kunskap. Ur ett informationssystemsperspektiv är hämtningssteget avgörande eftersom det styr vilken information som identifieras och tillgängliggörs för användaren. Relevansen hos den hämtade informationen kan därmed förstås som en dimension av informationskvalitet, vilket i sin tur utgör en framgångsdimension för informationssystemet. För att stärka denna relevans har flera designstrategier utvecklats, däribland HyDE, HyPE och hybridsökning. Tidigare forskning behandlar dessa främst som isolerade tekniska optimeringar. Studien antar ett designvetenskapligt perspektiv och utvärderar de tre designstrategierna mot en baslinje i form av tät hämtning. Artefakten realiseras som en gemensam hämtningsarkitektur där samtliga designstrategier implementeras enskilt under samma experimentella förutsättningar. Utvärderingen genomförs över fem domänspecifika dataset från BEIR-ramverket med nDCG@10 och Recall@100 som mått på artefaktens måluppfyllelse. Resultaten visar att studiens baslinje baserad på en modern inbäddningsmodell, uppnår starka värden i samtliga domäner och i flera fall överträffar designstrategierna. HyDE och hybridsökning uppnår signifikanta förbättringar endast på SciFact (Vetenskaplig faktagranskning). HyPE uppvisade signifikant lägre relevans i samtliga undersökta domäner. Fynden indikerar att RAG baserade informationssystem är domänberoende, och att nyttan av ytterligare designstrategier kan minska när baslinjen redan uppvisar en stark hämtningsprestanda.