Prompting the Predator : Exploring the capabilities of augmented large language models in penetration testing

Sammanfattning

Denna studie undersöker kapaciteten och tillförlitligheten hos AI-drivna agenter inomcybersäkerhet. Det specifika fokuset ligger på autonoma penetrationstester. I takt medatt artificiell intelligens och stora språkmodeller utvecklas, ökar även dess potential attautomatisera komplexa säkerhetsuppgifter. Effektiviteten hos dessa agenter kontramänsklig effektivitet är fortfarande ett område som behöver studeras. Genom attanvända en kontrollerad miljö baserad på Docker, utvärderar denna studie en AI-modells förmåga att utföra penetrationstester baserat på tydliga mätvärden somsårbarhetsdetekteringsfrekvens (VDR) och tid till exploatering (TTE). För att göra entydlig jämförelse kalibreras detektionströsklar för att bibehålla en identisk sannolikhetför falsklarm för både AI-modellen och de mänskliga deltagarna. Resultaten ger insikt ide nuvarande styrkorna och svagheterna hos AI-driven exploatering. Den identifieradeoron var tendensen hos AI-modeller att hallucinera och identifiera sårbarheter som intevar verkliga sårbarheter. En identifierad svaghet var kontextinlärning där för mycketkontext ledde till att AI-modellen inte kunde utlösa sina faktiska uppgifter och fastnadei loopar. En styrka var att resultaten visade att en stegvis ökning av RAG-kontextenförbättrade AI-agentens prestanda och detektionsförmåga, AI-agentens falska positivaresultat minskade med varje efterföljande test men låg kvar på 45 % efter att alla loggarhade injicerats. AI-agenten kunde också visa fler fynd jämfört med vårt humanabaslinjetest, vilket indikerar att AI-modellen fick en bättre detektionsförmåga efter entydlig kontextinjektion.