RAG vs. fine-tuning: Hvad skal du vælge til interne AI-løsninger på virksomhedens viden?

Når virksomheder vil bruge AI på intern viden, opstår det samme spørgsmål igen og igen: Skal modellen hente svar fra dokumenter og systemer i realtid, eller skal viden bygges ind i selve modellen?

Det lyder som et teknisk valg. I virkeligheden er det et forretningsvalg. Det handler om tempo, risiko, vedligeholdelse, compliance og om, hvor hurtigt organisationen kan få værdi ud af løsningen.

For de fleste interne AI-løsninger er forskellen mellem RAG og fine-tuning afgørende. Ikke fordi den ene metode altid er bedre end den anden, men fordi de løser to forskellige problemer. Når det står klart, bliver beslutningen langt nemmere.

To arkitekturer, to formål

RAG står for Retrieval-Augmented Generation. Idéen er enkel: En sprogmodel svarer ikke kun ud fra sin generelle træning, men får først hentet relevante dokumenter fra virksomhedens egne datakilder. Det kan være politikker, kontrakter, produktark, procedurer, intranet, CRM-noter eller teknisk dokumentation.

Fine-tuning er noget andet. Her ændrer man modellen ved at træne den videre på egne data, så den lærer bestemte mønstre, begreber, skrivestil eller opgavetyper. Viden bliver ikke bare slået op, den bliver en del af modellens adfærd.

Det fører til en vigtig skelnen: RAG er stærk, når modellen skal slå noget op. Fine-tuning er stærk, når modellen skal opføre sig på en bestemt måde.

Den forskel bliver ofte overset i de første AI-projekter.

Når intern viden ændrer sig, ændrer valget sig også

Virksomheders viden er sjældent statisk. Priser ændres. Politikker opdateres. Nye kontraktskabeloner kommer til. Gamle procedurer udgår. Og i mange brancher er netop den seneste version det eneste, der gælder.

Her passer RAG naturligt ind. Hvis en HR-politik ændres i dag, kan den nye version indekseres og bruges med det samme. Man behøver ikke træne modellen igen. Det gør løsningen hurtig at holde opdateret, også når indholdet vokser eller ændrer sig løbende.

Fine-tuning er mere tungt i drift. Hvis central viden ændrer sig ofte, bliver det dyrt og langsomt at genkøre træning, teste modellen og håndtere versioner. En model kan være teknisk flot, men stadig være forældet i praksis.

Det er netop derfor, RAG ofte bliver det første seriøse valg til intern videnssøgning, support, policy-assistenter og AI-chat på dokumentbaser.

Hvor RAG typisk står stærkest

RAG er sjældent den mest glamourøse løsning. Til gengæld er den ofte den mest fornuftige.

Den store styrke ligger i sporbarhed. Når et svar bygger på konkrete dokumenter, kan brugeren se kilden, kontrollere grundlaget og vurdere, om svaret faktisk passer til situationen. Det gør en mærkbar forskel i HR, jura, compliance, IT-support og andre områder, hvor tillid er vigtigere end smart formulering.

RAG er også mere fleksibel økonomisk. Man kan komme i gang uden et stort træningssetup, og nye dokumenter kan løbende tilføjes uden at ændre selve modellen. Det giver en mere smidig vej fra pilot til drift.

Det betyder ikke, at RAG er problemfri. Kvaliteten afhænger af, hvor godt dokumenterne er organiseret, chunket, indekseret og rangeret. En dårlig søgepipeline giver dårlige svar, selv med en stærk model.

Når RAG fungerer godt, ser fordelene ofte sådan ud:

• Hurtig opstart
• Løbende opdatering af viden
• Kildehenvisninger i svar
• Lavere træningsomkostninger
• Bedre auditspor
• Særligt egnet til: politikker, håndbøger, kontrakter, vidensbaser og supportindhold
• Mindre egnet til: situationer hvor svaret primært handler om stil, tone eller faste outputformater

Hvornår fine-tuning giver mere mening

Fine-tuning bliver ofte præsenteret som den mere avancerede løsning. Det er kun delvist rigtigt. Den er mere krævende at bygge og vedligeholde, men ikke nødvendigvis bedre til intern viden.

Til gengæld kan fine-tuning være meget stærk, når virksomheden ønsker en model, der konsekvent skriver, klassificerer eller reagerer på en bestemt måde. Det gælder blandt andet ved fast sprogbrug, ensartede outputskabeloner, struktureret ekstraktion eller specialiserede opgaver med høj gentagelse.

Hvis modellen skal skrive i en bestemt tone, udfylde standardiserede formater, følge en særlig domænelogik eller løse meget snævre opgaver med høj fart, kan fine-tuning give et løft.

Og ja, den kan også være hurtigere i selve svartiden.

Det ændrer bare ikke ved den vigtigste pointe: Fine-tuning er sjældent den bedste metode til at holde store mængder skiftende virksomhedsviden ajour.

Den korte sammenligning

Når valget skal forklares til ledelse, produktansvarlige eller fagspecialister, er det ofte nok at skære det ned til ét spørgsmål: Skal AI’en huske, eller skal den kunne slå op?

I mange organisationer bliver den bedste beslutning derfor ikke et enten-eller, men en prioritering: først RAG, derefter målrettet fine-tuning, hvis der stadig er et tydeligt behov.

De vigtigste beslutningskriterier

Det rigtige valg afhænger mindre af hype og mere af driftsvirkelighed. Hvem skal bruge løsningen? Hvor ofte ændrer indholdet sig? Hvor meget kontrol er nødvendig? Og hvor hurtigt skal den i luften?

Små og mellemstore organisationer vælger ofte RAG, fordi gevinsten kommer hurtigere. Store organisationer med modne ML-teams kan lettere bære fine-tuning, men det er stadig ikke ensbetydende med, at de bør bruge det til alt. Mange store virksomheder får faktisk mest stabil værdi ved at reservere fine-tuning til snævre formål.

Når en løsning skal bruges på tværs af afdelinger, bliver governance hurtigt centralt. Her står RAG stærkt, fordi dokumenter kan versioneres, slettes, opdateres og kontrolleres uden at skulle “grave” viden ud af en trænet model.

Et praktisk filter kan være dette:

• Hvis viden ændrer sig ofte: vælg som udgangspunkt RAG
• Hvis svartid er altafgørende: undersøg om fine-tuning giver reel fordel
• Hvis svar skal kunne dokumenteres: RAG er normalt det sikreste valg
• Hvis målet er fast tone og ensartet formulering: fine-tuning kan være relevant
• Hvis budgettet er begrænset: RAG giver ofte hurtigere forretningsværdi
• Hvis domænet er ekstremt smalt og stabilt: fine-tuning kan være forsvarligt

Præcision er mere end “rigtige svar”

Mange taler om præcision, som om det kun handler om, hvorvidt modellen svarer korrekt. I praksis er der mindst tre spørgsmål, der betyder noget for brugerne:

Er svaret faktuelt rigtigt?

Er det baseret på den nyeste version af virksomhedens viden?

Kan nogen kontrollere, hvor det kommer fra?

På de tre punkter har RAG et tydeligt fortrin i de fleste interne vidensscenarier. Modellen kan hente relevante kilder, basere svaret på dem og i nogle løsninger vise dem direkte. Det reducerer risikoen for hallucinationer og gør svarene lettere at godkende i professionelle arbejdsgange.

Fine-tuning kan stadig levere meget stærke resultater i lukkede, stabile domæner. Men når en bruger spørger til en ny regel, en opdateret pris eller en ændret procedure, bliver en trænet model hurtigt sårbar, hvis den ikke er opdateret.

Compliance og databeskyttelse ændrer ofte prioriteringen

For interne AI-løsninger er det ikke nok, at systemet virker. Det skal også kunne styres.

Når data ligger i dokumentlagre, databaser og indekser, er det lettere at håndtere adgangskontrol, sletning, logning og revisionsspor. Det er en vigtig grund til, at RAG ofte vurderes som mere praktisk i miljøer med GDPR-krav, intern kontrol og dokumentationsbehov.

Ved fine-tuning bliver data en del af modellen. Det kan være svært at pege præcist på, hvad modellen “husker”, og endnu sværere at fjerne enkelte datapunkter igen. Den udfordring er ikke teoretisk. Den rammer direkte ind i spørgsmål om ansvar, governance og risikostyring.

Det betyder ikke, at fine-tuning er uegnet i regulerede miljøer.

Det betyder, at kravene til proces, dokumentation og modelstyring bliver væsentligt højere.

Den løsning mange ender med

I praksis ser man ofte en moden kombination: RAG til virksomhedens fakta og fine-tuning til adfærd.

Det kan være en model, der via fine-tuning er trænet til at skrive korte, formelle svar i en bestemt struktur, mens den via RAG henter indhold fra kontrakter, vejledninger eller produktdokumentation. På den måde får man både opdateret viden og konsekvent brugeroplevelse.

Det er en stærk arkitektur, fordi de to teknikker bruges til det, de er bedst til. Ikke som konkurrenter, men som forskellige lag i samme løsning.

Her opstår en nyttig tommelfingerregel: Brug ikke fine-tuning som erstatning for et rodet dokumentlandskab. Hvis virksomheden har ustruktureret, spredt og ujævn viden, løser modeltræning sjældent grundproblemet.

Typiske fejl i de første projekter

De fleste fejl handler ikke om modellen. De handler om forventninger og datagrundlag.

Hvis dokumenterne er dubletter, gamle versioner blandes med nye, eller adgangsregler ikke er afklaret, vil AI-løsningen arve de samme problemer. Og hvis projektet starter med ønsket om “en intelligent chatbot”, før nogen har defineret de vigtigste brugsscenarier, bliver resultatet ofte diffust.

Det er også en klassisk fejl at måle succes på, hvor imponerende svarene lyder. For interne løsninger er det langt vigtigere, at svarene er brugbare, sporbare og korrekte.

Fejl, der er værd at fange tidligt:

• For mange datakilder på én gang
• Uafklarede ejerforhold til dokumenter
• Manglende versionsstyring
• For bredt scope: alt skal løses i første release
• Forkert succesmål: fokus på demo-effekt frem for arbejdsværdi
• For tidlig fine-tuning: modellen trænes, før vidensbasen faktisk fungerer

Start med det spørgsmål, brugerne faktisk stiller

Et godt første projekt tager udgangspunkt i en konkret arbejdsopgave. Ikke i teknologien alene.

Hvis medarbejdere bruger for lang tid på at finde gældende procedurer, er en RAG-løsning over virksomhedens dokumenter ofte et stærkt sted at begynde. Hvis et team derimod gentager den samme specialistopgave tusind gange i samme format, kan fine-tuning være relevant fra dag ét.

Den mest robuste vej er som regel at teste på et afgrænset område med tydelige succeskriterier: kortere svartid, færre fejl, bedre dokumentation eller mindre søgetid i interne systemer. Når den del virker, bliver det meget lettere at afgøre, om næste skridt er bedre retrieval, bedre prompts, bedre datakvalitet eller reel fine-tuning.

Det er sjældent modellen alene, der afgør resultatet. Det er samspillet mellem viden, arkitektur og den konkrete arbejdssituation, AI’en skal fungere i.