Is uw AI-agent veilig en volgens de regels?De maatregelen die u neemt, met de wetsbron bij elke stap.

Een gewone taak

De gemeente laat een AI-agent de mailbox van Burgerzaken sorteren en beantwoorden. Daarvoor mag hij in het zaaksysteem lezen en zelf mail versturen.

Een mail met een verborgen opdracht

Er komt een mail binnen die eruitziet als een gewone vraag. Onderaan staat in witte letters een opdracht die de medewerker niet ziet, maar de agent wel leest.

Het model volgt de opdracht

Een taalmodel ziet niet betrouwbaar van wie een instructie komt, dus de tekst uit de mail telt als opdracht. Dit heet prompt injection, en volgens het Britse NCSC is het goed mogelijk dat het nooit helemaal op te lossen is.

Bron: NCSC, 8 december 2025

De agent gebruikt zijn eigen rechten

De agent zoekt de gegevens op in het zaaksysteem en mailt ze naar buiten. Er is niet ingebroken: zijn rechten waren ruim genoeg en niemand hoefde iets goed te keuren.

art. 33 AVGEen datalek: melden bij de AP zonder onredelijke vertraging en zo mogelijk binnen 72 uur, tenzij het waarschijnlijk geen risico oplevert.

Wat hem had tegengehouden

De agent had drie dingen tegelijk: inwonersgegevens, mail van buiten en een eigen weg naar buiten. Haal één van de drie weg, of laat een mens elke handeling naar buiten vooraf goedkeuren.

• art. 25 lid 2 AVG

  Geef de agent alleen de gegevens die zijn taak nodig heeft. Een sorteeragent hoeft geen adressenlijst op te vragen.

  Standaard alleen toegang tot wat voor het doel nodig is.

• art. 32 AVG

  Laat de agent een concept maken en een mens versturen. Leg dat vast in de software, niet alleen in de opdracht aan het model.

  Een beveiligingsniveau dat bij het risico past.

• art. 32 lid 1 onder d AVG

  Leg vast wat de agent leest en doet, en test geregeld of een verborgen opdracht slaagt.

  De maatregelen op gezette tijdstippen testen.

• art. 21 Cbw

  Behandel de agent als elke andere koppeling met uw systemen: met toegangsbeleid en een plan voor incidenten.

  Gemeenten zijn essentiële entiteiten; de wet noemt agents niet, maar naar onze lezing horen ze erbij.

• art. 15 lid 5 AI Act

  Is de agent een hoog-risicosysteem, dan moet de aanbieder hem bestand maken tegen zulke aanvallen. Een mailagent is dat in de regel niet.

  Bijlage III vanaf 2 december 2027; draait het systeem al bij een overheid, dan na een aanzienlijke wijziging en uiterlijk 2 augustus 2030 (art. 111 lid 2).

Bron: Simon Willison, de gevaarlijke driehoek