From Raw Data to Insights : An Evaluation of Cloud-Native Purpose-Built Platforms andComposed Service Stacks for Data Engineering

Sammanfattning

Studien har genomförts för att besvara frågan: Hur jämför sig tjänster somAWS och Microsoft Azure med Databricks när det gäller prestanda, utvecklarupplevelse och operativa kostnader för data engineering-lösningar? För att besvara denna fråga implementerades en strömmande datapipeline och en batchdatapipeline på varje plattform för att möjliggöra utvärdering och benchmarking av plattformarna utifrån prestanda, utvecklarupplevelse och operativa kostnader. Resultaten visar att Databricks generellt överträffar lösningar baserade på sammansatta tjänstestackar från AWS och Azure när det gäller prestanda och utvecklarupplevelse, samtidigt som de extra kostnaderna för att använda Databricks inte alltid är motiverade. Vidare belyser resultaten också komplexiteten i att utvärdera lösningar för data engineering, eftersom det inte finns något enskilt mått som kan användas för att avgöra vilken lösning som är bäst för ett specifikt användningsfall. I stället är en samling av olika aspekter mer lämplig för denna typ av utvärdering.