Prestandaanalys av ett lättviktigt webbskrapningsverktyg i Java : En jämförelse med Selenium, Jsoup och HtmlUnit för statisk dataextraktion

Sammanfattning

Webbskrapning är en teknik för att automatiskt extrahera information från webbsidor och används idag inom flera olika områden. De etablerade biblioteken som används för att utföra webbskrapning är ofta överdimensionerade för enkla behov. Det finns idag begränsad empirisk forskning om hur lättviktiga och specialanpassade verktyg för webbskrapning presterar jämfört med etablerade bibliotek. Syftet med denna studie var att undersöka om webbskrapning kan göras mer effektiv genom att ersätta etablerade bibliotek med ett specialutvecklat och lättviktigt verktyg i Java, byggt helt utan externa beroenden. Som ett delmål jämfördes även de etablerade biblioteken sinsemellan. Hypotesen var att det egenutvecklade, lättviktiga verktyget skulle prestera bättre på samtliga mätpunkter. Arbetet avgränsades till att endast hantera statiskt webbinnehåll. För att besvara forskningsfrågorna utvecklades fem olika verktyg. Två var egenutvecklade, lättviktiga verktyg, där det ena bygger på reguljära uttryck och det andra på en enkel, egenutvecklad DOM-parser. Tre verktyg var baserade på de etablerade Java-biblioteken Selenium, Jsoup och HtmlUnit. En experimentell, kvantitativ metod användes för att mäta prestanda i form av exekveringstid, processoranvändning och minnesanvändning. Samtliga verktyg genomförde samma tester på tre olika offentliga webbsidor. Resultaten visade att det egenutvecklade verktyget baserat på reguljära uttryck hade bäst prestanda på alla punkter, även om skillnaden mot Jsoup inte var stor. Jsoup presterade bäst bland de etablerade biblioteken och var både snabbare och använde mindre CPU än verktyget baserat på den egenutvecklade DOM-parsern. Selenium och HtmlUnit hade betydligt sämre prestanda, framför allt Selenium, som använde mest resurser och hade avsevärt längre exekveringstid än resterade verktyg. Slutsatsen var att ett lättviktigt, specialutvecklat verktyg kan vara mer effektivt än etablerade bibliotek vid statisk webbskrapning, men att valet av skrapningsmetod har större betydelse för prestandan än om verktyget är lättviktigt eller ej.