Multimodala Språkmodeller förStrukturerad Ritningsanalys : Säker och strukturerad dataextrahering från konstruktionsritningar med multimodala språkmodeller

Sammanfattning

Att göra strukturerad extrahering av data från dokument är ett återkommande problem inom dokumentanalys. Existerande molnlösning ar kan inte garantera datasäkerhet och är därför inte ett alternativ. Det här arbetet undersöker hur lokalt körda, multimodala språkmodeller kan användas för att göra automatiserad, strukturerad extrahering av data från dokument. Konstruktionsritningar i PDF-format är arbetets testdomän. En extraheringspipeline har utvecklats som kombinerar deterministisk textextrahering med en lokalt körd multimodal språkmodell via Ollama, följt av ett verifieringssteg för att flagga hallucinationer. Modellens utdata genereras utifrån ett JSON-schema. Pipelinen utvärderas kvantitativt mot ett manuellt skapat facit. Resultaten visar att lokalt körda språkmodeller kan extrahera strukturerad data från ritningar, men kvaliteten försämras vid ökad indatakomplexitet. F1-värdet för mått sjönk från 80% på den enklaste till 32% på den mest komplexa, främst på grund av en kraftig ökning av hallucinationer. Fält som kan läsas direkt från text uppnår hög noggrannhet medan fält som kräver djupare resonemang faller markant. Ramverket är domänoberoende men JSON-schemat behöver utformas på nytt för varje ny dokumenttyp.