Vanaf 2 december 2027 moet een AI-systeem met een hoog risico uit bijlage III zo zijn ontworpen en ontwikkeld dat het een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging biedt, en op die punten consistent presteert gedurende zijn hele levensduur (artikel 15 lid 1 AI Act). Die eis rust op de aanbieder. Een gemeente die het systeem inkoopt, bouwt de nauwkeurigheid niet zelf, maar heeft wel eigen plichten die erop leunen: zij gebruikt het systeem volgens de gebruiksaanwijzing, zorgt voor relevante en representatieve invoer voor zover zij die in de hand heeft, monitort de werking en grijpt in als het misgaat (artikel 26). En omdat het systeem over inwoners beslist, vraagt de AVG haar al vandaag om juiste gegevens en een passende beveiliging.
Stel: de afdeling Werk en Inkomen overweegt een AI-systeem dat bijstandsaanvragen beoordeelt en per aanvraag aangeeft of extra controle nodig is. De leverancier meldt in zijn offerte "een nauwkeurigheid van 94 procent". De inkoper wil weten of dat goed is, de CISO vraagt wat er gebeurt als iemand het model probeert te misleiden, en de privacy officer vraagt hoe de gemeente onjuiste uitkomsten herstelt. Artikel 15 geeft op alle drie de vragen een kader, maar geen getal.
In het kort
Artikel 15 bevat vijf leden. Lid 1 vraagt een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging en consistente prestaties gedurende de levensduur. Lid 2 laat de Commissie de ontwikkeling van benchmarks en meetmethoden aanmoedigen. Lid 3 eist dat de niveaus en maatstaven voor nauwkeurigheid in de gebruiksaanwijzing staan; artikel 13 lid 3 onder b ii werkt dat uit voor nauwkeurigheid, robuustheid en cyberbeveiliging. Lid 4 vraagt bestendigheid tegen fouten en onregelmatigheden, eventueel met een terugvaloptie, en vraagt bij systemen die na ingebruikname blijven leren dat feedback loops worden weggenomen of zo veel mogelijk beperkt. Lid 5 vraagt bestendigheid tegen aanvallen, met maatregelen tegen datavervuiling, modelvervuiling, vijandige voorbeelden, aanvallen om vertrouwelijke gegevens te bemachtigen en tekortkomingen van het model. Een certificaat onder Verordening (EU) 2019/881 of naleving van de Cyberweerbaarheidsverordening (EU) 2024/2847 kan een vermoeden van conformiteit geven, maar alleen voor de cyberbeveiliging (artikel 42 lid 2 en 3). Voor bijlage III gelden deze eisen vanaf 2 december 2027; voor systemen die al vóór die datum in de handel waren gebracht of in gebruik waren gesteld, geldt de overgangsregel van artikel 111 lid 2.
Dit stuk gaat over artikel 15 als geheel en over wat aanbieder en gemeente ermee doen. De technieken om modellen uitlegbaar te maken, en de vraag of de uitkomst reproduceerbaar is, staan in uitlegbare AI en de black box. Hoe u bias in de data zelf meet en terugdringt, staat in datakwaliteit en bias-mitigatie. De zorgplicht en de meldplicht van de Cyberbeveiligingswet staan in AI-agents en de Cyberbeveiligingswet.
Wat artikel 15 vraagt, lid voor lid
| Lid | Wat de verordening vraagt | Wat de gemeente ermee doet |
|---|---|---|
| 1 | Passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging, en consistente prestaties gedurende de levensduur | Vraagt welk niveau de aanbieder passend vindt voor haar doel, en waarom |
| 2 | De Commissie moedigt benchmarks en meetmethoden aan, samen met onder meer metrologie- en benchmarkingautoriteiten | Vraagt welke meetmethode de aanbieder heeft gebruikt |
| 3 | Niveaus en maatstaven voor nauwkeurigheid staan in de gebruiksaanwijzing | Leest de cijfers, toetst ze aan de eigen populatie en monitort erop |
| 4 | Bestand tegen fouten en onregelmatigheden; redundantie of terugvaloptie mogelijk; feedback loops bij doorlerende systemen wegnemen of beperken | Richt een terugvalproces in en spreekt af hoe het systeem leert van gemeentelijke gegevens |
| 5 | Bestand tegen aanvallen; AI-specifieke maatregelen tegen onder meer datavervuiling en vijandige voorbeelden | Vraagt naar tests en maatregelen, en regelt haar eigen beveiliging rond het systeem |
De eisen van artikel 15 staan in hoofdstuk III, afdeling 2. De aanbieder zorgt ervoor dat het systeem eraan voldoet (artikel 16 onder a). Bouwt de gemeente het systeem zelf, of laat zij het bouwen en stelt zij het onder eigen naam in gebruik, dan is zij zelf aanbieder (artikel 3 punt 3). Datzelfde kan gebeuren als zij een hoog-risicosysteem substantieel wijzigt (artikel 25 lid 1). Dan rust artikel 15 op haar.
Lid 1: een passend niveau, de hele levensduur
De verordening noemt geen percentage. "Passend" hangt af van het beoogde doel, en overweging 74 voegt daaraan toe: in overeenstemming met de algemeen erkende stand van de techniek. Een systeem dat bijstandsaanvragen markeert voor extra controle, raakt mensen in hun bestaanszekerheid. Een fout kost een inwoner tijd, geld of vertrouwen. Dat rechtvaardigt een strengere lat dan bij een systeem dat interne post sorteert.
Het tweede deel van lid 1 is minstens zo belangrijk: de prestaties moeten consistent zijn gedurende de levensduur. Een model dat bij de oplevering goed scoort, kan slechter worden als de werkelijkheid verandert, bijvoorbeeld na een wetswijziging, een nieuwe doelgroep of een andere manier van aanvragen. Dat heet drift. Artikel 15 vraagt de aanbieder het systeem daartegen te ontwerpen; de monitoring van de aanbieder (artikel 72) en van de gemeente (artikel 26 lid 5) moet het zichtbaar maken.
Lid 3 en artikel 13: de cijfers staan in de gebruiksaanwijzing
Lid 3 zegt dat de niveaus van nauwkeurigheid en de relevante maatstaven in de gebruiksaanwijzing worden vermeld. Artikel 13 lid 3 onder b ii maakt dat breder: de gebruiksinstructies bevatten de mate van nauwkeurigheid, waaronder de beoordelingsmaatstaven, robuustheid en cyberbeveiliging waarop het systeem is getest en gevalideerd en die kan worden verwacht, en de bekende en te voorziene omstandigheden die daarop van invloed kunnen zijn. Overweging 74 vraagt aanbieders die informatie duidelijk en begrijpelijk te geven, zonder misleidende opmerkingen of ruimte voor misverstanden. Hoe u de gebruiksinstructies als geheel leest, staat in wat artikel 13 vraagt van gebruiksinstructies.
Terug naar de 94 procent. Stel dat 5 procent van de aanvragen bij nadere controle onterecht blijkt. Een systeem dat elke aanvraag als "in orde" aanmerkt, is dan 95 procent nauwkeurig en vindt geen enkel probleem. Eén getal zegt dus weinig. Naar onze lezing heeft een gemeente pas iets aan de cijfers uit lid 3 als ze minstens laten zien:
- hoeveel aanvragen het systeem ten onrechte markeert (vals positief): dat zijn inwoners die onnodig extra controle krijgen;
- hoeveel onterechte aanvragen het mist (vals negatief);
- of die foutpercentages verschillen tussen groepen, bijvoorbeeld naar leeftijd, huishoudsamenstelling of wijk, en op welke testgegevens dat is gemeten;
- bij welke drempel het systeem een aanvraag markeert, en wat er gebeurt als de gemeente die drempel verschuift;
- onder welke omstandigheden de cijfers niet meer gelden, zoals een andere doelgroep dan in de testgegevens.
Dat is onze praktische vertaling, geen opsomming uit de verordening. Ze sluit wel aan op het Europees Comité voor gegevensbescherming (EDPB), dat bij het juistheidsbeginsel als ontwerpelement noemt dat een verwerking meetbaar juist is, met als voorbeeld het terugdringen van vals positieven en vals negatieven bij AI en geautomatiseerde besluiten (richtsnoeren 4/2019, punt 79).
Een kleine taalkwestie voor wie de teksten naast elkaar legt: artikel 15 lid 3 spreekt van "gebruiksaanwijzingen", artikel 13 van "gebruiksinstructies". De Engelse tekst gebruikt in beide gevallen "instructions for use". Het gaat om hetzelfde document.
Lid 2: benchmarks, meetmethoden en normen
Lid 2 legt geen plicht op aanbieders, maar een opdracht bij de Commissie: zij moedigt, waar passend, de ontwikkeling van benchmarks en meetmethoden aan, samen met belanghebbenden en organisaties zoals metrologie- en benchmarkingautoriteiten. Overweging 74 verwijst daarbij naar het Unierecht inzake wettelijke metrologie en naar samenwerking met internationale partners.
Voor de praktijk betekent dat: er is op dit moment geen wettelijk voorgeschreven meetmethode voor de nauwkeurigheid of robuustheid van een hoog-risicosysteem. De aanbieder kiest zelf hoe hij meet en moet die keuze verantwoorden. Geharmoniseerde normen kunnen later een vermoeden van conformiteit geven, maar alleen als hun referenties in het Publicatieblad zijn bekendgemaakt en alleen voor zover ze de eisen dekken (artikel 40 lid 1). Bij het schrijven van dit stuk kennen wij onder de AI Act alleen EN 18286:2026 over kwaliteitsbeheer als geharmoniseerde norm (Uitvoeringsbesluit (EU) 2026/2274). Een geharmoniseerde norm voor nauwkeurigheid, robuustheid of cyberbeveiliging kennen wij nog niet. Een leverancier die "conform de AI-normen" belooft, moet dus kunnen zeggen welke norm, welke versie en welke status.
Lid 4: fouten, onregelmatigheden en feedback loops
Lid 4 vraagt dat het systeem zo goed mogelijk bestand is tegen fouten en onregelmatigheden in het systeem of zijn omgeving, met name door interactie met mensen of andere systemen. Daarvoor worden technische en organisatorische maatregelen genomen. De robuustheid kan worden bereikt met technische oplossingen voor redundantie, zoals back-up- of storingsbeveiligingsplannen. Overweging 75 geeft als voorbeeld een mechanisme waarmee het systeem zijn werking veilig onderbreekt bij bepaalde afwijkingen, of als het buiten vooraf bepaalde grenzen werkt.
Voor de gemeente vertaalt zich dat in twee vragen. Wat doet het systeem bij een onvolledige of onverwachte aanvraag: geeft het dan toch een advies, of meldt het dat het geen betrouwbaar advies kan geven? En wat doet de afdeling als het systeem uitvalt of wordt stilgezet: kan zij aanvragen dan op de oude manier behandelen, binnen de wettelijke termijnen? Dat tweede is geen eis aan het product, maar wel een voorwaarde om artikel 26 lid 5 te kunnen naleven. Daar staat dat de gemeente het gebruik onderbreekt als zij redenen heeft om aan te nemen dat het gebruik volgens de aanwijzing tot een risico in de zin van artikel 79 lid 1 kan leiden. Onderbreken is dan geen keuze. Wie geen terugvalproces heeft, kan die plicht in de praktijk nauwelijks nakomen.
De derde alinea van lid 4 gaat over systemen die blijven leren nadat ze in de handel zijn gebracht of in gebruik zijn gesteld. Die worden zo ontwikkeld dat het risico wordt weggenomen of zo veel mogelijk beperkt dat vertekende outputs als input toekomstige operaties beïnvloeden ("feedback loops"), en dat zulke loops naar behoren worden aangepakt met passende beperkende maatregelen.
In het voorbeeld ligt die loop voor de hand. Het systeem markeert aanvragen voor controle. Alleen gemarkeerde aanvragen worden gecontroleerd, dus alleen daar worden fouten gevonden. Leert het systeem van die vondsten, dan leert het dat de groep die het al markeerde riskant is, en markeert het die groep vaker. Artikel 10 lid 2 onder f vraagt bij de data al een beoordeling op vooringenomenheid, "vooral wanneer data-outputs invloed hebben op inputs voor toekomstige operaties" (artikel 10). Hoe u die loop bij de labelkeuze doorbreekt, staat in datakwaliteit en bias-mitigatie.
Leert het systeem door, dan raakt dat ook de vraag of het nog hetzelfde systeem is. Een systeem dat substantieel is gewijzigd, ondergaat een nieuwe conformiteitsbeoordeling. Bij doorlerende systemen zijn veranderingen die de aanbieder bij de eerste beoordeling vooraf heeft bepaald en in de technische documentatie heeft opgenomen, geen substantiële wijziging (artikel 43 lid 4). Vraag de leverancier dus of het systeem doorleert, op welke gegevens, en welke veranderingen hij vooraf heeft vastgelegd.
Lid 5: aanvallen op het model
Lid 5 vraagt dat het systeem bestand is tegen pogingen van ongeautoriseerde derden om het gebruik, de outputs of de prestaties te wijzigen door kwetsbaarheden uit te buiten. De technische oplossingen sluiten aan op de omstandigheden en risico's. Voor AI-specifieke kwetsbaarheden omvatten ze, waar passend, maatregelen om aanvallen te voorkomen, te traceren, erop te reageren, ze op te lossen en te beheersen. Overweging 76 voegt toe dat aanbieders daarbij rekening houden met de onderliggende ICT-infrastructuur.
| Aanval (term in de verordening) | Wat er gebeurt | Hoe het eruitziet bij de gemeente (verzonnen voorbeeld) |
|---|---|---|
| Datavervuiling (data poisoning) | Iemand manipuleert de trainingsgegevens | Gemanipuleerde dossiers komen in een trainingsset terecht, zodat een bepaald patroon nooit meer wordt gemarkeerd |
| Modelvervuiling (model poisoning) | Een vooraf getrainde component die bij de training is gebruikt, is gemanipuleerd | De leverancier bouwt voort op een extern model waarin een verborgen gedrag zit |
| Vijandige voorbeelden of modelontwijking (adversarial examples) | Invoer is zo gemaakt dat het model zich vergist | Een aanvraag wordt zo ingevuld dat het systeem haar ten onrechte als laag risico ziet |
| Aanvallen om vertrouwelijke gegevens te bemachtigen (confidentiality attacks) | Iemand haalt via het model informatie uit de trainingsgegevens | Door slimme vragen aan het systeem lekt informatie over inwoners wier dossiers in de training zaten |
| Tekortkomingen van het model (model flaws) | Zwaktes in het model zelf worden uitgebuit | Een bekende blinde vlek wordt systematisch gebruikt |
Bij de vierde categorie raakt de AI Act direct aan de AVG. Het EDPB stelt in advies 28/2024 over AI-modellen (vastgesteld op 17 december 2024) dat een AI-model dat met persoonsgegevens is getraind, niet in alle gevallen anoniem is: dat moet per geval worden beoordeeld (punt 34). Als bewijs van bestendigheid noemt het EDPB onder meer gestructureerde tests tegen membership inference en attribute inference, exfiltratie, het letterlijk teruggeven van trainingsgegevens (regurgitation), modelinversie en reconstructieaanvallen, met de kanttekening dat een geslaagde test alleen iets zegt over de geteste aanvallen (punt 55). Een aanbieder die de vierde categorie van lid 5 serieus neemt, test dus ook op wat de AVG raakt.
Gebruikt het systeem een taalmodel dat teksten van inwoners leest, dan horen ook verborgen opdrachten in die teksten bij de aanvallen waar lid 5 op ziet. Hoe die werken, staat in beveiligingsrisico's van AI-agents.
Artikel 42: wanneer een certificaat de cyberbeveiliging dekt
Artikel 42 geeft twee routes waarlangs een systeem wordt geacht aan de cyberbeveiligingseisen van artikel 15 te voldoen.
Lid 2: een certificaat onder de Cyberbeveiligingsverordening. Is een hoog-risicosysteem gecertificeerd, of is er een conformiteitsverklaring afgegeven, volgens een cyberbeveiligingsregeling op grond van Verordening (EU) 2019/881 waarvan de referenties in het Publicatieblad zijn bekendgemaakt, dan wordt het geacht aan de cyberbeveiligingseisen van artikel 15 te voldoen, voor zover het certificaat die eisen dekt (artikel 42 lid 2). Dat "voor zover" is de kern: een certificaat dat de beveiliging van een server of een softwarepakket dekt, zegt nog niets over datavervuiling of vijandige voorbeelden. Vraag dus niet alleen of er een certificaat is, maar ook welke eisen het dekt.
Lid 3: de Cyberweerbaarheidsverordening. Sinds de Digital Omnibus (Verordening (EU) 2026/1744) staat in artikel 42 lid 3 dat een hoog-risicosysteem dat onder Verordening (EU) 2024/2847, de Cyber Resilience Act (CRA), valt en aan de voorwaarden van artikel 12 lid 1 CRA voldoet, wordt geacht aan de cyberbeveiligingseisen van artikel 15 te voldoen. Artikel 12 lid 1 CRA noemt drie voorwaarden: het product voldoet aan de essentiële cyberbeveiligingseisen voor het product zelf, de processen van de fabrikant voldoen aan de essentiële eisen voor de respons op kwetsbaarheden, en de EU-conformiteitsverklaring onder de CRA toont aan dat het beschermingsniveau van artikel 15 wordt bereikt. De conformiteitsbeoordeling verloopt dan in de regel via de procedure van de AI Act (artikel 12 lid 2 CRA). De CRA is grotendeels van toepassing vanaf 11 december 2027 (artikel 71 lid 2 CRA). Tussen 2 en 11 december 2027 gelden de eisen van artikel 15 voor bijlage III dus al, terwijl de CRA-route nog niet beschikbaar is.
Twee grenzen. Ten eerste dekken beide routes alleen de cyberbeveiliging. Nauwkeurigheid en robuustheid blijven daarbuiten; artikel 12 lid 1 CRA zegt dat ook met zoveel woorden. Ten tweede geldt de CRA voor producten met digitale elementen. Volgens overweging 12 CRA valt een clouddienst alleen onder de CRA als die gegevensverwerking op afstand is voor zo'n product; op software als dienst (SaaS) is de NIS2-richtlijn van toepassing. Een gemeente die het systeem alleen als clouddienst afneemt, kan naar onze lezing dus doorgaans niet op de CRA-route rekenen. De eisen van artikel 15 gelden dan onverkort, en de aanbieder moet de cyberbeveiliging op een andere manier aantonen.
Hoe artikel 15 samenhangt met artikel 9, 10 en 26
Artikel 9: risicobeheer. De aanbieder richt een systeem voor risicobeheer in dat de hele levensduur doorloopt (artikel 9). Hij test het systeem om de passendste maatregelen vast te stellen en om te zorgen dat het consistent presteert voor het beoogde doel (lid 6), in de loop van de ontwikkeling en in ieder geval vóór het in de handel brengen, aan de hand van vooraf vastgestelde beoordelingsmaatstaven en probabilistische drempels die passen bij het beoogde doel (lid 8). Bij de keuze van maatregelen houdt hij rekening met de te verwachten kennis en ervaring van de gebruiksverantwoordelijke en de context van gebruik (lid 5). Naar onze lezing is "passend" in artikel 15 dus geen los getal, maar de uitkomst van dat risicobeheer: welk restrisico aanvaardbaar is, bepaalt welke nauwkeurigheid nodig is. Dat sluit aan bij artikel 8 lid 1: de eisen gelden met inachtneming van het beoogde doel en de algemeen erkende stand van de techniek, en bij de naleving wordt rekening gehouden met het systeem voor risicobeheer van artikel 9.
Artikel 10: data. Datasets voor training, validatie en tests zijn relevant, voldoende representatief en zo veel mogelijk foutenvrij en volledig met het oog op het beoogde doel (artikel 10 lid 3), en houden rekening met de specifieke geografische, contextuele, functionele of gedragsomgeving waarin het systeem wordt gebruikt (lid 4). Wie een model traint op gegevens van grote steden en het inzet in een plattelandsgemeente, kan andere foutpercentages krijgen dan de gebruiksaanwijzing belooft. Is het systeem getraind en getest op gegevens die overeenkomen met de omgeving waarin het wordt gebruikt, dan wordt het geacht aan lid 4 te voldoen (artikel 42 lid 1).
Artikel 26: de gemeente als gebruiksverantwoordelijke. De gemeente neemt passende technische en organisatorische maatregelen om het systeem volgens de gebruiksaanwijzing te gebruiken (artikel 26 lid 1). Voor zover zij controle heeft over de inputdata, zorgt zij dat die relevant en voldoende representatief zijn voor het beoogde doel (lid 4). Zij monitort de werking op basis van de gebruiksaanwijzing en informeert zo nodig de aanbieder (lid 5). Daar komt artikel 15 lid 3 samen met artikel 26: de nauwkeurigheidscijfers uit de gebruiksaanwijzing zijn de maatstaf waartegen de gemeente monitort. Wijken de werkelijke foutpercentages duidelijk af, dan is dat informatie voor de aanbieder en mogelijk een reden om het gebruik te onderbreken. Stelt de gemeente een ernstig incident vast, dan informeert zij onmiddellijk eerst de aanbieder en daarna de importeur of distributeur en de markttoezichtautoriteiten (lid 5; hoe die meldketen werkt, staat in ons stuk over artikel 73). De logs die zij daarvoor nodig heeft, staan in logboeken bij hoog-risico-AI.
Ook het menselijk toezicht hangt eraan vast. Het systeem moet de mensen die toezicht houden in staat stellen de capaciteiten en beperkingen ervan goed te begrijpen en zich bewust te blijven van de neiging om automatisch of te veel op de output te vertrouwen (artikel 14 lid 4 onder a en b). Een consulent die niet weet hoe vaak het systeem zich vergist, kan dat niet.
De AVG: juistheid, privacy door ontwerp en beveiliging
De AI Act laat de AVG onverlet (artikel 2 lid 7). Drie AVG-bepalingen lopen parallel aan artikel 15, en die gelden nu al, ook voor een systeem dat pas in 2027 onder de AI Act valt.
Juistheid (artikel 5 lid 1 onder d AVG). Persoonsgegevens moeten juist zijn en zo nodig worden geactualiseerd, en alle redelijke maatregelen moeten worden genomen om onjuiste gegevens onverwijld te wissen of te rectificeren (artikel 5 AVG). Het EDPB wijst erop dat onjuiste gegevens kunnen leiden tot besluiten op een verkeerde basis, ook via geautomatiseerde besluitvorming of AI (richtsnoeren 4/2019, punt 78). Naar onze lezing betekent dat voor de gemeente: een markering "extra controle" die in een dossier belandt, is een gegeven over die inwoner. Blijkt de markering onterecht, dan moet het dossier dat laten zien.
Gegevensbescherming door ontwerp (artikel 25 AVG). De gemeente neemt, zowel bij het bepalen van de middelen als bij de verwerking zelf, passende technische en organisatorische maatregelen om de beginselen van de AVG, waaronder juistheid, doeltreffend uit te voeren. De keuze voor een systeem met een bepaald foutprofiel is zo'n bepaling van middelen. Dat maakt de eisen die zij in de aanbesteding stelt, ook een AVG-vraag.
Beveiliging (artikel 32 AVG). De gemeente en haar verwerker treffen maatregelen voor een op het risico afgestemd beveiligingsniveau, waar passend met pseudonimisering en versleuteling, het vermogen om vertrouwelijkheid, integriteit, beschikbaarheid en veerkracht te garanderen, tijdig herstel na een incident, en een procedure om de maatregelen op gezette tijden te testen en te evalueren (artikel 32 AVG). Lid 5 van artikel 15 gaat over het model; artikel 32 AVG gaat over de hele verwerking, ook de koppelingen, de opslag en de toegang.
Daarnaast is een gemeente een essentiële entiteit van rechtswege onder de Cyberbeveiligingswet (artikel 8 lid 1 onder h Cbw), die sinds 15 augustus 2026 geldt. Haar zorgplicht omvat onder meer de beveiliging van de toeleveringsketen (artikel 21 lid 3 onder d Cbw). Een AI-systeem van een leverancier hoort bij de netwerk- en informatiesystemen die zij moet beveiligen; zie AI-agents en de Cyberbeveiligingswet.
Wat de gemeente in de aanbesteding en het contract zet
De gemeente kan de eisen van artikel 15 niet zelf waarmaken, maar ze kan ze wel uitvragen. Een praktische lijst:
- Nauwkeurigheid in de eigen context. Vraag de maatstaven van artikel 13 lid 3 onder b ii, en vraag daarbij in elk geval naar vals positieven en vals negatieven, per relevante groep, op welke testgegevens en bij welke drempel. Vraag hoe representatief die testgegevens zijn voor uw inwoners (artikel 10 lid 4).
- Een proef op eigen gegevens. Laat het systeem vóór ingebruikname draaien op historische, al beoordeelde aanvragen en vergelijk de uitkomst met de cijfers uit de gebruiksaanwijzing. Leg vast wie dat uitvoert en welke grondslag de gemeente daarvoor heeft onder de AVG.
- Monitoring na ingebruikname. Spreek af welke prestatiegegevens de leverancier periodiek levert, bij welke afwijking hij u waarschuwt, en welke gegevens u aan hem teruggeeft voor zijn monitoring (artikel 72 lid 2). Leg vast of dat geaggregeerd kan.
- Doorleren en wijzigingen. Leg vast of het systeem doorleert, op welke gegevens, welke veranderingen vooraf zijn bepaald (artikel 43 lid 4) en hoe feedback loops worden beperkt (artikel 15 lid 4). Leg ook vast dat de leverancier u vooraf informeert over een nieuwe modelversie en de cijfers die daarbij horen.
- Terugvaloptie. Vraag hoe het systeem reageert op onvolledige of onverwachte invoer, en of het kan melden dat het geen betrouwbaar advies kan geven.
- Cyberbeveiliging van het model. Vraag welke tests de aanbieder heeft gedaan tegen de aanvallen uit lid 5, en met welk resultaat. Vraagt u om een certificaat, vraag dan welke eisen het dekt (artikel 42 lid 2) en of de CRA-route voor dit product beschikbaar is (artikel 42 lid 3).
- Ketenafspraken. Bouwt de leverancier op een model of component van een derde, vraag dan hoe hij zijn eigen plichten in die keten borgt. De verordening verplicht aanbieder en toeleverancier daarvoor een schriftelijke overeenkomst te sluiten (artikel 25 lid 4).
- AVG-afspraken. Leg in de verwerkersovereenkomst de beveiligingsmaatregelen van artikel 32 AVG vast, en of de leverancier gemeentelijke gegevens voor training mag gebruiken. Mag dat, dan is de leverancier voor dat doel naar onze lezing zelf verwerkingsverantwoordelijke (artikel 4 punt 7 AVG), en hebt u voor die verstrekking een eigen grondslag nodig.
Wat de gemeente in haar eigen proces regelt
- Een eigenaar van de prestaties. Wijs iemand aan die de cijfers uit de gebruiksaanwijzing kent en periodiek vergelijkt met wat het systeem in de praktijk doet.
- Signalen uit de uitvoering. Bezwaren die gegrond worden verklaard, of markeringen die consulenten vaak terzijde leggen, zijn signalen dat de nauwkeurigheid in de praktijk lager is dan beloofd. Leg vast hoe die signalen bij de eigenaar terechtkomen.
- Een terugvalproces. Beschrijf hoe de afdeling aanvragen behandelt als het systeem is stilgezet, en oefen dat.
- Opleiding van de consulenten. Leg uit wat de cijfers betekenen en wanneer het systeem minder betrouwbaar is, als onderdeel van het menselijk toezicht (artikel 26 lid 2).
- Invoer onder controle. Zorg dat de gegevens die de gemeente zelf aanlevert, relevant en voldoende representatief zijn voor het beoogde doel (artikel 26 lid 4); dat ze volledig en actueel zijn, volgt daarnaast uit artikel 5 lid 1 onder d AVG.
- DPIA en grondrechteneffectbeoordeling. Gebruik de informatie uit de gebruiksaanwijzing voor de DPIA (artikel 26 lid 9 AI Act en artikel 35 AVG). Als publiekrechtelijk orgaan doet de gemeente vóór ingebruikname ook een grondrechteneffectbeoordeling (artikel 27); zie de FRIA-template.
Vanaf wanneer?
Artikel 15 staat in hoofdstuk III, afdeling 2. Voor hoog-risicosystemen uit bijlage III geldt dat vanaf 2 december 2027, voor systemen uit bijlage I vanaf 2 augustus 2028 (artikel 113, derde alinea, onder c, zoals gewijzigd door Verordening (EU) 2026/1744). Een systeem dat beoordeelt of inwoners in aanmerking komen voor een essentiële overheidsuitkering, of dat helpt die te beperken, in te trekken of terug te vorderen, valt naar onze lezing onder bijlage III punt 5 onder a. Voert het profilering van natuurlijke personen uit, dan is het altijd hoog risico (artikel 6 lid 3, laatste alinea).
Is het systeem vóór 2 december 2027 in de handel gebracht of in gebruik gesteld, dan gelden de hoog-risicoplichten pas als het vanaf die datum aanzienlijke wijzigingen in zijn ontwerp ondergaat. Aanbieders en gebruiksverantwoordelijken van systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, moeten in ieder geval uiterlijk op 2 augustus 2030 aan de verordening voldoen (artikel 111 lid 2). Voor een aanbesteding die nu loopt, is dat geen reden om artikel 15 buiten het bestek te laten: het systeem dat u nu koopt, moet straks voldoen, en de AVG en de Cyberbeveiligingswet gelden al.
Voorbeeld 2: de bank en de kredietbeoordeling
Een bank die AI gebruikt om de kredietwaardigheid van particulieren te beoordelen of hun kredietscore vast te stellen, gebruikt een hoog-risicosysteem uit bijlage III punt 5 onder b (met uitzondering van AI om financiële fraude op te sporen). Banken ontwikkelen zulke modellen vaak zelf. Dan is de bank aanbieder en rust artikel 15 rechtstreeks op haar: zij bepaalt het passende niveau, zet de maatstaven in de gebruiksaanwijzing voor haar eigen medewerkers, en test tegen aanvallen.
Drie punten zijn voor de bank anders dan voor de gemeente.
Nauwkeurigheid heeft twee kanten. Een model dat te streng is, wijst mensen ten onrechte af; een model dat te soepel is, verstrekt krediet dat niet kan worden terugbetaald. Welke kant zwaarder weegt, hoort in het risicobeheer van artikel 9 thuis, en de verschillen tussen groepen horen bij de beoordeling op vooringenomenheid van artikel 10 lid 2 onder f.
Monitoring loopt via de governance. Voor een gebruiksverantwoordelijke die als financiële instelling onder governance-eisen uit het financiële Unierecht valt, geldt de monitoringplicht van artikel 26 lid 5 als vervuld door die governance-regels na te leven (artikel 26 lid 5, tweede alinea). Naar onze lezing neemt dat de plicht niet weg om bij een risico of een ernstig incident de aanbieder en de toezichthouder te informeren; de veilige lijn is die meldroute apart in te richten.
DORA voor de ICT-kant. Een bank valt onder DORA (Verordening (EU) 2022/2554), van toepassing sinds 17 januari 2025, met een eigen kader voor ICT-risicobeheer (hoofdstuk II, artikel 6 DORA). Dat kader omvat alle informatie- en ICT-middelen, ook software, en dus ook het AI-systeem zelf. Artikel 15 lid 5 maakt de AI-specifieke aanvallen daarbovenop tot een uitdrukkelijke ontwerpeis voor de aanbieder.
Daarnaast doet de bank als gebruiksverantwoordelijke van punt 5 onder b een grondrechteneffectbeoordeling (artikel 27 lid 1). Hoe een kredietbeslissing uitlegbaar blijft, staat in van scoringsalgoritme naar transparante kredietbeslissing.
Wat u nu doet
- Stel vast of het systeem hoog risico is en wie aanbieder is. Bouwt u het systeem zelf, zet u er uw naam op of wijzigt u het substantieel, dan bent u aanbieder en rust artikel 15 op u (artikel 25 lid 1).
- Vraag de cijfers op. Vraag de nauwkeurigheid, robuustheid en cyberbeveiliging zoals artikel 13 lid 3 onder b ii die beschrijft, uitgesplitst en met de omstandigheden waaronder ze niet gelden.
- Toets ze aan uw eigen populatie. Een proef op eigen, al beoordeelde gevallen zegt meer dan een getal uit een offerte.
- Zet de afspraken in het contract. Monitoring, doorleren, nieuwe versies, terugvaloptie, tests tegen aanvallen, certificaten en wat ze dekken.
- Richt uw eigen proces in. Een eigenaar, signalen uit bezwaar en uitvoering, een terugvalproces, opleiding en een DPIA.
Hoe de AVG en de AI Act elkaar verder raken, staat op de pagina over de AVG naast de AI Act. Twijfelt u of uw systeem hoog risico is en welke plichten dan gelden? Met de casus-check beschrijft u de toepassing in een paar vragen en ziet u welke AI Act- en AVG-plichten in beeld komen.
Veelgestelde vragen over artikel 15 AI Act
Bronnen
Nieuwsbrief
Elke dinsdag de AI Act-week vooruit in 5 minuten
Praktische duiding van deadlines, richtsnoeren en toezicht, zodat u weet wat er deze week toe doet. Geen spam en u schrijft zich met één klik weer uit.
Praktisch en kort · Geen spam · Met één klik uitschrijven