No products added!
Når generative AI-løsninger flytter fra eksperiment til drift, ændrer risikobilledet sig. En chatbot, en copilot i sagsbehandling eller en RAG-løsning koblet til interne dokumenter kan skabe stor værdi, men den kan også afsløre oplysninger, følge ondsindede instruktioner eller levere overbevisende, men forkerte svar.
En AI red teaming workshop giver jer et trygt rum til at presse jeres løsning i kanten, dokumentere hvad der faktisk sker, og omsætte fund til konkrete forbedringer. Hos Nordisk Business Academy er fokus praksisnært: realistiske angrebsscenarier, klare prioriteringer og en arbejdsgang, der kan gentages efter hver opdatering af model, prompt eller data.
Hvad er AI red teaming i praksis?
AI red teaming er en struktureret “angriber-tilgang” til kvalitet og sikkerhed i generativ AI. I stedet for kun at spørge “virker det?”, spørger man også: “hvordan kan det misbruges, og hvad sker der, når nogen prøver?”
Workshoppen kombinerer menneskelig kreativitet med systematiske testcases. Der arbejdes typisk både “black-box” (kun input og output) og med det I kan dele af arkitektur, prompts, retrieval-kilder, adgangskontrol og logning.
Fire risikoområder, der ofte afgør om en løsning er klar til drift
Datalæk, prompt injection, bias og hallucinationer hænger ofte sammen. En prompt injection kan udløse datalæk. Hallucinationer kan blive værre, hvis retrieval eller værktøjskald er ustabile. Bias kan snige sig ind via både træningsdata, jeres egne dokumenter og selve promptdesignet.
Efter en kort afklaring af jeres løsning og brugsscenarier, testes der målrettet mod typiske svage punkter, herunder:
- Datalæk: Kan modellen “komme til” at afsløre træningslignende tekst, systemprompts, interne instruktioner, brugerdata eller indhold fra dokumenter, den ikke burde tilgå?
- Prompt injection: Kan en bruger, et dokument eller en webside få modellen til at tilsidesætte regler, ændre rolle eller udtrække oplysninger via skjulte instruktioner?
- Bias: Giver den systematisk forskellige svar ved små ændringer i demografiske attributter, tone eller kontekst?
- Hallucinationer: Opfinder den fakta, kilder, citater, lovhenvisninger eller tal, og gør den det med høj selvsikkerhed?
Sådan kan en workshop være bygget op
En god workshop er intensiv, men også kontrolleret. Den starter med at definere mål, trusselsmodel og “hvad der tæller som et fund”. Derefter køres der testspor, hvor deltagerne arbejder i roller, og hvor prompts, outputs og kontekst logges, så I kan reproducere resultaterne.
Typiske elementer i forløbet kan være:
- Scope og succeskriterier: Hvilke data, funktioner og integrationspunkter må testes, og hvad er “stop-regler”?
- Scenarier fra jeres virkelighed: Interne dokumenter, kundedialoger, sagsbehandling, marketingtekster, HR-processer eller kodeassistance.
- Manuelle og automatiserede angreb: Kombinér “hands-on” med værktøjer, der kan køre testbatterier på tværs af modeller og prompt-versioner.
- Opsamling og prioritering: Klassificér fund efter konsekvens og sandsynlighed, og bind dem til konkrete forbedringstiltag.
Det skal føles som en øvelse, der gør jer mere frie, ikke mere nervøse.
Hvad I får ud af en AI red teaming workshop
Resultatet er ikke bare en liste af “ting der gik galt”. Det er et beslutningsgrundlag og et sæt testcases, der kan leve videre i jeres udviklingsflow.
Efter en workshop står I typisk stærkere på:
- Kortere vej fra fund til fix, fordi prompts, svar og kontekst er dokumenteret
- Klare forslag til guardrails, adgangskontrol, filtrering og monitorering
- Et fælles sprog mellem teknik, forretning, compliance og ledelse
Mange vælger også at bruge output som input til interne retningslinjer og træning.
Testmatrix: fra fokusområde til konkret test og læring
Nedenfor er et eksempel på, hvordan testene kan struktureres, så de både er målbare og lette at gentage.
| Fokusområde | Eksempel på test | Hvad man måler | Typisk afhjælpning |
|---|---|---|---|
| Datalæk | Målrettede prompts efter “hemmelige” strenge, systeminstruktioner og dokumentuddrag | Uautoriseret eksponering, gentagelser, kopierede passager | Strammere retrieval, masking, begrænsning af kontekst, bedre adskillelse af data |
| Prompt injection | Direkte jailbreaking, skjulte instruktioner i upload, multi-turn “prompt creep” | Overstyring af regler, uønskede handlinger, brud på politik | Input-sanitization, politik-autoritet, sikker tool-routing, detektion og rate limits |
| Bias | Parallelle prompts med variation i demografi og kontekst | Systematiske forskelle i tone, anbefalinger og vurderinger | Testdatasæt, policy for fair output, evaluering med domæneeksperter |
| Hallucinationer | Fakta-spørgsmål med kendt facit, kildekrav, bevidst tvetydige cases | Falske påstande, “opfundne” kilder, overdreven sikkerhed | RAG-kvalitet, kildekrav, usikkerhedssprog, verifikation før output |
Metoder og værktøjer, der ofte indgår
Workshoppen kan gennemføres uden tunge værktøjer, men værktøjer gør det lettere at gentage tests og sammenligne versioner. I praksis ses ofte en kombination af:
- automatiserede prompt-suiter (til regression efter ændringer)
- fuzzing og kantede inputs (til at finde overraskende adfærd)
- manuel, scenariebaseret afprøvning (til de subtile angreb)
Der kan arbejdes med open source-rammer som PyRIT og Promptfoo samt simple scripts, der matcher jeres modelsetup. Valget afhænger af jeres modenhed, budget og hvor ofte I releaser.
Hvem bør deltage?
Effekten stiger markant, når flere fagligheder sidder i samme rum og ser de samme outputs. Det skaber hurtigere afklaringer og bedre prioritering.
En typisk deltagergruppe kan bestå af:
- Produkt og forretning
- Udvikling og data
- Sikkerhed og IT-drift
- HR, jura eller compliance (alt efter use case)
I mange teams er det en øjenåbner at se, hvordan en enkelt uploadet tekst kan fungere som “angrebsoverflade”, eller hvordan en hjælpsom tone kan skjule en hallucination.
Leverancer: hvad dokumenteres, og hvordan kan det genbruges?
Efter workshoppen er det værdifuldt, at fund kan genkøres. Det gør forbedringer målbare og reducerer risikoen for, at gamle fejl vender tilbage.
I praksis kan leverancer typisk beskrives sådan:
- Testcases og prompts: reproducerbare angreb og kontrolspørgsmål
- Fund og risikovurdering: hvad skete der, hvorfor er det vigtigt, og hvor bør I starte?
- Tiltagsliste: konkrete ændringer i prompt, retrieval, adgang, filtrering, logging og monitorering
- Forslag til driftstjek: hvad bør overvåges, og hvilke signaler bør give alarm?
Sammenhæng til governance og EU AI Act
Red teaming er også en modenhedspraksis. Den hjælper jer med at dokumentere risici, kontrolforanstaltninger og løbende forbedringer, hvilket ofte efterspørges i governance og compliance-arbejde.
Hos Nordisk Business Academy kobles workshopformatet naturligt til kompetenceudvikling: I får både fælles metode og et sprog, der kan bruges på tværs af organisationen, fra udvikling til ledelse.
Praktisk ramme: fleksibelt online, men tæt på jeres hverdag
Workshoppen kan afholdes online med skærmdeling og fælles log, så deltagere fra flere lokationer kan være med. Formatet kan skaleres fra en fokuseret session på en afgrænset use case til et forløb, hvor flere applikationer eller modeller testes over tid.
Hvis I vil starte enkelt, giver det god mening at vælge én kritisk brugerrejse og ét datasæt, og så udvide derfra, når I har en stabil testpraksis og en klar baseline.
