Vanaf 2 december 2027 moet de aanbieder van een AI-systeem met een hoog risico uit bijlage III een systeem voor monitoring na het in de handel brengen vaststellen en documenteren, evenredig aan de aard van de AI-technologie en de risico's van het systeem (artikel 72 lid 1 AI Act). Dat systeem verzamelt, documenteert en analyseert de hele levensduur actief en systematisch gegevens over de prestaties, zodat de aanbieder kan nagaan of het systeem blijvend aan de eisen voldoet (lid 2). Het rust op een plan dat deel uitmaakt van de technische documentatie (lid 3). Een gemeente die het systeem alleen gebruikt, heeft geen eigen monitoringsysteem in de zin van artikel 72, maar monitort wel de werking en informeert de aanbieder "overeenkomstig artikel 72" (artikel 26 lid 5). Bouwt zij het systeem zelf, dan rust artikel 72 op haar. Was het systeem vóór 2 december 2027 al in de handel gebracht of in gebruik genomen, dan geldt dat pas bij een aanzienlijke wijziging, en voor systemen die bedoeld zijn voor gebruik door overheidsinstanties uiterlijk op 2 augustus 2030 (artikel 111 lid 2).
Stel: het datateam van een middelgrote gemeente heeft een model gebouwd dat lopende bijstandsuitkeringen rangschikt voor heronderzoek. De afdeling Werk en Inkomen gebruikt de ranglijst om te kiezen welke dossiers een consulent opnieuw bekijkt. Het model draait sinds een paar maanden, de eerste resultaten zijn goed, en de vraag van de projectleider is eenvoudig: wat moeten wij nu nog doen? Het antwoord van artikel 72 is: blijven kijken, en vooraf vastleggen hoe.
In het kort
Artikel 72 bevat vier leden. Lid 1 verplicht de aanbieder een systeem voor monitoring na het in de handel brengen vast te stellen en te documenteren, evenredig aan de technologie en de risico's. Lid 2 zegt wat dat systeem doet: actief en systematisch relevante gegevens over de prestaties verzamelen, documenteren en analyseren, gedurende de hele levensduur, ook gegevens die gebruiksverantwoordelijken aanleveren, zodat de aanbieder kan nagaan of het systeem blijvend voldoet aan hoofdstuk III, afdeling 2; waar relevant met een analyse van de interactie met andere AI-systemen. Lid 3 zegt dat het systeem rust op een plan dat deel uitmaakt van de technische documentatie van bijlage IV. Verordening (EU) 2026/1744 heeft lid 3 gewijzigd: de Commissie stelt uiterlijk op 2 september 2027 richtsnoeren vast, met inbegrip van een model voor het plan, in plaats van uiterlijk op 2 februari 2026 een uitvoeringshandeling. Op 17 november 2026 waren die richtsnoeren er nog niet. Lid 4 laat aanbieders die onder sectorale productwetgeving uit bijlage I, afdeling A, al een monitoringsysteem en -plan hebben, en financiële instellingen voor systemen uit bijlage III punt 5, de elementen van artikel 72 integreren in hun bestaande systemen en plannen, mits dat een gelijkwaardig beschermingsniveau garandeert. De monitoring voedt het risicobeheer (artikel 9 lid 2 onder c), hoort in het kwaliteitsbeheersysteem (artikel 17 lid 1 onder h), leunt op de logs (artikel 12 lid 2 onder b) en is de bron voor de meldingen van ernstige incidenten (artikel 73).
Dit stuk gaat over artikel 72 zelf. Wat er gebeurt als de monitoring een ernstig incident aan het licht brengt, wie dan wat aan wie meldt en binnen welke termijn, staat in ons stuk over artikel 73. Welke prestatiecijfers de aanbieder vooraf belooft, staat in ons stuk over artikel 15. Hoe lang logs bewaard blijven, staat in logboeken bij hoog-risico-AI.
Wat artikel 72 vraagt, lid voor lid
| Lid | Wat de verordening vraagt | Wat dat in de praktijk betekent |
|---|---|---|
| 1 | De aanbieder stelt een systeem voor monitoring na het in de handel brengen vast en documenteert het, evenredig aan de technologie en de risico's | Een vastgelegd proces, geen losse blik op een dashboard |
| 2 | Het systeem verzamelt, documenteert en analyseert actief en systematisch relevante gegevens over de prestaties, de hele levensduur, ook van gebruiksverantwoordelijken | De aanbieder zoekt de gegevens zelf op en richt een route in voor wat gebruikers zien |
| 3 | Het systeem rust op een plan dat deel uitmaakt van de technische documentatie; de Commissie stelt uiterlijk 2 september 2027 richtsnoeren met een model vast | Het plan ligt er vóór het in de handel brengen, ook zonder model van de Commissie |
| 4 | Integratie in bestaande systemen en plannen onder bijlage I, afdeling A, of onder het financiële Unierecht, mits het beschermingsniveau gelijkwaardig is | Geen tweede systeem naast het bestaande, wel aantoonbaar dezelfde dekking |
Artikel 3 punt 25 definieert het systeem als alle activiteiten van aanbieders om ervaringen met hun in de handel gebrachte of in gebruik gestelde AI-systemen te verzamelen en te evalueren, om te kunnen vaststellen of er onmiddellijk corrigerende of preventieve maatregelen nodig zijn. Dat laatste is de kern: monitoring is geen archief, maar een manier om op tijd in te grijpen. Overweging 155 voegt toe dat het systeem ook belangrijk is om de risico's van systemen die na het in de handel brengen blijven leren, efficiënter en tijdiger aan te pakken.
Lid 1: een eigen systeem, evenredig aan het risico
De plicht rust op de aanbieder. Dat is wie een AI-systeem ontwikkelt of laat ontwikkelen en het onder eigen naam in de handel brengt of in gebruik stelt, en een overheidsinstantie kan dat ook zijn (artikel 3 punt 3). De gemeente uit het voorbeeld heeft het model zelf gebouwd en gebruikt het onder eigen naam. Zij is dus aanbieder, en tegelijk gebruiksverantwoordelijke.
"Evenredig" betekent niet "vrijblijvend". Een systeem dat bepaalt welke inwoners een heronderzoek krijgen, raakt mensen in hun bestaanszekerheid; dat vraagt meer dan een systeem dat vergaderverslagen samenvat. De verordening geeft geen lijst van wat het systeem minimaal moet bevatten. Wel staat vast wat het moet kunnen: nagaan of het AI-systeem blijvend voldoet aan de eisen van hoofdstuk III, afdeling 2. Dat zijn onder meer het risicobeheer (artikel 9), de data (artikel 10), de logs (artikel 12), de transparantie (artikel 13), het menselijk toezicht (artikel 14) en de nauwkeurigheid, robuustheid en cyberbeveiliging (artikel 15).
Lid 2: actief, systematisch en de hele levensduur
Lid 2 bevat vier elementen.
Actief en systematisch. De aanbieder wacht niet tot er klachten komen. Hij bepaalt vooraf welke gegevens hij verzamelt, hoe vaak, en wat hij ermee doet. Naar onze lezing betekent dat ten minste: vaste indicatoren, een vaste frequentie en een vastgelegde reactie als een indicator een grens overschrijdt.
Gegevens van gebruiksverantwoordelijken en uit andere bronnen. De relevante gegevens kunnen door gebruiksverantwoordelijken zijn verstrekt of via andere bronnen zijn verzameld. Voor de gemeente als aanbieder zijn dat onder meer de logs van het systeem, de uitkomsten van de heronderzoeken, de bezwaren en beroepen, en wat consulenten opvalt. Voor een leverancier met tientallen klanten komt een groot deel van die informatie juist van de gebruiksverantwoordelijken. Daarom koppelt artikel 26 lid 5 de monitoring van de gebruiksverantwoordelijke uitdrukkelijk aan artikel 72.
De hele levensduur. Een model dat bij de ingebruikname goed presteert, kan later slechter worden: na een wetswijziging, een nieuwe doelgroep of een andere manier van aanvragen. Artikel 15 lid 1 vraagt consistente prestaties gedurende de levensduur; artikel 72 is het middel om te zien of dat lukt. De cijfers uit de gebruiksaanwijzing (artikel 13 lid 3 onder b) zijn de maatstaf: wijkt de praktijk daarvan af, dan is dat een signaal.
Interactie met andere AI-systemen. In voorkomend geval omvat de monitoring een analyse van de interactie met andere AI-systemen. Overweging 155 spreekt van "andere apparaten en software". Haalt het model van de gemeente gegevens uit een ander systeem dat zelf AI gebruikt, bijvoorbeeld een systeem dat documenten van aanvragers leest, dan hoort die koppeling in de monitoring.
Eén uitzondering: de plicht geldt niet voor gevoelige operationele gegevens van gebruiksverantwoordelijken die rechtshandhavingsinstanties zijn.
Lid 3: het plan, en wat de Digital Omnibus veranderde
Het systeem rust op een plan voor monitoring na het in de handel brengen, en dat plan maakt deel uit van de technische documentatie. Bijlage IV punt 9 vraagt in die documentatie een gedetailleerde beschrijving van het systeem voor de evaluatie van de prestaties na het in de handel brengen, met inbegrip van het plan. De technische documentatie wordt opgesteld vóór het in de handel brengen of in gebruik stellen (artikel 11 lid 1). Het plan moet er dus zijn voordat het systeem live gaat.
De oorspronkelijke tekst. In de versie van 2024 moest de Commissie uiterlijk op 2 februari 2026 een uitvoeringshandeling vaststellen met gedetailleerde bepalingen voor een model van het plan en de lijst van elementen die erin moeten staan, volgens de onderzoeksprocedure van artikel 98 lid 2.
De tekst sinds 27 juli 2026. Verordening (EU) 2026/1744, de Digital Omnibus inzake AI, heeft lid 3 vervangen (artikel 1, punt 30). De Commissie stelt nu uiterlijk op 2 september 2027 richtsnoeren vast, met inbegrip van een model voor het plan, en houdt daarbij zoveel mogelijk rekening met het advies van de AI-board. De bevoegdheid voor een uitvoeringshandeling is geschrapt. Overweging 41 van de Omnibus legt uit waarom: het schrappen van het geharmoniseerde model geeft aanbieders meer ruimte om een monitoringsysteem in te richten dat past bij hun organisatie, terwijl de richtsnoeren duidelijkheid moeten geven over de plicht van lid 1. Diezelfde overweging noemt het model een model "op vrijwillige basis".
Wat dat betekent. Drie dingen. Ten eerste is de plicht zelf niet uitgesteld. Lid 1 en 2 zijn ongewijzigd, en het plan moet in de technische documentatie staan zodra het systeem in de handel wordt gebracht of in gebruik wordt gesteld. Ten tweede hoeft de Commissie de richtsnoeren pas uiterlijk op 2 september 2027 vast te stellen, en die datum ligt maar drie maanden vóór 2 december 2027. Wie op het model wacht, heeft weinig tijd. Ten derde zijn richtsnoeren geen bindende uitvoeringshandeling. Een aanbieder die een eigen opzet kiest, moet die opzet wel kunnen verantwoorden.
De stand op 17 november 2026. De Commissie noemt op haar overzichtspagina over richtsnoeren "guidelines providing a voluntary template for the post-market monitoring of high-risk AI systems" bij de richtsnoeren waaraan het AI-bureau nog werkt. Een concept of vastgestelde versie vonden wij niet. Wij werken dit stuk bij zodra de richtsnoeren verschijnen.
Wat er in het plan hoort. Zolang er geen model is, geeft de verordening zelf de bouwstenen. Naar onze lezing beschrijft een bruikbaar plan in elk geval:
- welke eisen het plan bewaakt, per eis van hoofdstuk III, afdeling 2;
- welke gegevens worden verzameld, uit welke bron (logs, uitkomsten, bezwaren, signalen van gebruiksverantwoordelijken), en hoe die bronnen samenkomen;
- welke indicatoren en drempels gelden, gekoppeld aan de cijfers uit de gebruiksaanwijzing, waaronder verschillen tussen groepen;
- hoe vaak wordt geanalyseerd, en wie dat doet;
- wat er gebeurt bij een overschrijding: terug naar het risicobeheer (artikel 9), corrigerende maatregelen (artikel 20), en de toets of er sprake is van een ernstig incident (artikel 73);
- hoe doorleren en nieuwe versies worden gevolgd, inclusief de vooraf bepaalde veranderingen van artikel 43 lid 4;
- hoe persoonsgegevens in de monitoring worden beperkt tot wat nodig is.
Dat is onze praktische vertaling, geen opsomming uit de verordening. Zij volgt wel uit de koppelingen die de verordening zelf legt, en die bespreken we hieronder.
Lid 4: integreren in wat er al is
Lid 4 voorkomt dubbel werk. Valt een hoog-risicosysteem onder harmonisatiewetgeving uit bijlage I, afdeling A, en bestaat op grond daarvan al een systeem en plan voor monitoring na het in de handel brengen, dan mag de aanbieder de elementen van lid 1 tot en met 3 daarin integreren, mits dat een gelijkwaardig beschermingsniveau garandeert. De tweede alinea doet hetzelfde voor systemen uit bijlage III punt 5 die financiële instellingen in de handel brengen of in gebruik stellen, als die onder governance-eisen uit het financiële Unierecht vallen.
Lid 4 zegt dat de integratie gebeurt "met gebruikmaking van het in lid 3 bedoelde model". De Omnibus heeft lid 4 niet gewijzigd. Hoe die verwijzing uitpakt nu het model in richtsnoeren komt en volgens overweging 41 vrijwillig is, zegt de verordening niet. Naar onze lezing is het veilig om het model te gebruiken als controlelijst zodra het er is, en tot die tijd per element van lid 1 tot en met 3 vast te leggen waar het in het bestaande systeem zit.
Hoe artikel 72 samenhangt met de rest van de verordening
Artikel 9: risicobeheer. Het systeem voor risicobeheer is een doorlopend, iteratief proces gedurende de hele levensduur. Een van de stappen is het evalueren van andere risico's op basis van de analyse van de gegevens uit het monitoringsysteem van artikel 72 (artikel 9 lid 2 onder c). De monitoring is dus de voeding van het risicobeheer na de ingebruikname. Zie ook ons stuk over het risicobeheersysteem.
Artikel 17: kwaliteitsbeheer. Het kwaliteitsbeheersysteem omvat het opzetten, toepassen en onderhouden van een systeem voor monitoring na het in de handel brengen overeenkomstig artikel 72 (artikel 17 lid 1 onder h), naast het risicobeheer (onder g) en de procedures voor het melden van ernstige incidenten (onder i). De uitvoering daarvan is evenredig aan de omvang van de organisatie van de aanbieder; sinds de Omnibus noemt artikel 17 lid 2 daarbij uitdrukkelijk kmo's, met inbegrip van start-ups, en kleine midcapondernemingen. Aanbieders voldoen hoe dan ook aan de striktheid en het beschermingsniveau die nodig zijn. Een geharmoniseerde norm voor kwaliteitsbeheer is er sinds oktober 2026: EN 18286:2026 (Uitvoeringsbesluit (EU) 2026/2274). Overweging 3 van dat besluit noemt daarbij processen voor monitoring na het in de handel brengen. Voor welke eisen de norm precies een vermoeden van conformiteit geeft, vermeldt het besluit niet per artikel; dat hangt af van de norm zelf (artikel 40 lid 1).
Artikel 12 en 19: logs. Hoog-risicosystemen registreren gebeurtenissen automatisch. De logs maken onder meer de monitoring van artikel 72 mogelijk, en de monitoring van de werking door de gebruiksverantwoordelijke onder artikel 26 lid 5 (artikel 12 lid 2 onder b en c). De aanbieder bewaart de logs onder zijn controle ten minste zes maanden (artikel 19 lid 1), de gebruiksverantwoordelijke ook (artikel 26 lid 6), tenzij ander recht iets anders bepaalt. Draait het systeem bij klanten, dan beschrijft de gebruiksaanwijzing waar relevant de mechanismen in het systeem waarmee gebruiksverantwoordelijken de logs naar behoren kunnen verzamelen, opslaan en interpreteren (artikel 13 lid 3 onder f).
Artikel 20 en 73: ingrijpen en melden. Blijkt uit de monitoring dat het systeem niet aan de verordening voldoet, dan neemt de aanbieder onmiddellijk corrigerende maatregelen en informeert hij distributeurs en, indien van toepassing, gebruiksverantwoordelijken (artikel 20 lid 1). Vormt het systeem een risico in de zin van artikel 79 lid 1, dan onderzoekt hij de oorzaken, zo nodig met de gebruiksverantwoordelijke die het risico meldde, en informeert hij de markttoezichtautoriteit (lid 2). Leidt het systeem tot een ernstig incident, dan meldt hij dat binnen de termijnen van artikel 73. Het kwaliteitsbeheersysteem bevat de meldprocedures (artikel 17 lid 1 onder i); naar onze lezing hoort de route voor corrigerende maatregelen er ook in.
De gemeente als gebruiksverantwoordelijke: artikel 26 lid 5
De meeste gemeenten kopen hun systemen in. Dan rust artikel 72 op de leverancier, en heeft de gemeente een eigen, kleinere plicht: zij monitort de werking van het systeem op basis van de gebruiksaanwijzing en informeert in voorkomend geval de aanbieder overeenkomstig artikel 72 (artikel 26 lid 5, eerste zin). Daarna volgen twee sporen. Heeft zij redenen om aan te nemen dat het gebruik volgens de gebruiksaanwijzing tot een risico in de zin van artikel 79 lid 1 kan leiden, dan informeert zij zonder onnodige vertraging de aanbieder of distributeur en de markttoezichtautoriteit, en onderbreekt zij het gebruik. Stelt zij een ernstig incident vast, dan informeert zij onmiddellijk eerst de aanbieder en vervolgens de importeur of distributeur en de markttoezichtautoriteiten.
De monitoring van de gemeente en die van de leverancier sluiten dus op elkaar aan. Wat de gemeente ziet (afwijkende uitkomsten per wijk of groep, een stijging van gegronde bezwaren, consulenten die het advies opvallend vaak terzijde leggen), is precies de informatie die de leverancier voor zijn monitoring nodig heeft. Leg in het contract vast:
- welke signalen de gemeente doorgeeft, in welke vorm en hoe vaak;
- welke rapportages de leverancier periodiek aan de gemeente geeft over de prestaties van het systeem, en bij welke afwijking hij de gemeente actief waarschuwt;
- of gegevens geaggregeerd kunnen worden gedeeld, en zo niet, op welke grondslag de gemeente persoonsgegevens verstrekt;
- toegang tot de logs onder controle van de gemeente, en hoe lang beide partijen die bewaren;
- een vast contactpunt in beide richtingen, voor de signalen van artikel 26 lid 5 en voor de corrigerende maatregelen van artikel 20;
- een afschrift of samenvatting van het monitoringplan, voor zover het de gemeente raakt, zodat zij weet waar haar signalen terechtkomen.
De AVG: verantwoording, beveiliging en een DPIA die meebeweegt
De AI Act laat de AVG onverlet, behoudens artikel 4 bis en artikel 59 (artikel 2 lid 7). Vier AVG-bepalingen lopen parallel aan de monitoring van artikel 72, en die gelden nu al.
Verantwoordingsplicht (artikel 5 lid 2 AVG). De verwerkingsverantwoordelijke is verantwoordelijk voor de naleving van de beginselen en moet die kunnen aantonen (artikel 5 AVG). Een van die beginselen is juistheid (lid 1 onder d). Naar onze lezing helpt een vastgelegde monitoring van de uitkomsten de gemeente om aan te tonen dat zij redelijke maatregelen neemt tegen onjuiste gegevens, zoals een onterechte markering in een dossier.
Minimale gegevensverwerking (artikel 5 lid 1 onder c AVG). Monitoring vraagt gegevens, maar niet altijd persoonsgegevens. Werk waar dat kan met geaggregeerde cijfers. Verstrekt de gemeente toch persoonsgegevens aan de leverancier voor diens monitoring, dan is dat een eigen verwerking die een grondslag nodig heeft (artikel 6 AVG).
Beveiliging (artikel 32 lid 1 onder d AVG). De beveiligingsmaatregelen omvatten, waar passend, een procedure om de doeltreffendheid van de technische en organisatorische maatregelen op gezette tijden te testen, te beoordelen en te evalueren (artikel 32 AVG). Dat is een monitoringplicht voor de beveiliging van de hele verwerking, naast de monitoring van het AI-systeem zelf.
Een DPIA die meebeweegt (artikel 35 lid 11 AVG). Indien nodig toetst de verwerkingsverantwoordelijke of de verwerking overeenkomstig de DPIA wordt uitgevoerd, ten minste wanneer het risico van de verwerking verandert (artikel 35 AVG). Laat de monitoring zien dat het systeem anders presteert dan gedacht, dan is dat naar onze lezing zo'n verandering. Koppel de uitkomsten van de monitoring dus aan de herziening van de DPIA. Voor de DPIA gebruikt de gemeente ook de informatie uit de gebruiksaanwijzing (artikel 26 lid 9 AI Act). Als publiekrechtelijk orgaan doet de gemeente als gebruiksverantwoordelijke ook een grondrechteneffectbeoordeling (artikel 27 lid 1), die de DPIA aanvult (artikel 27 lid 4).
De gemeente in het voorbeeld
Terug naar het datateam. Een systeem dat door of namens een overheidsinstantie wordt gebruikt om te beoordelen of mensen in aanmerking komen voor essentiële overheidsuitkeringen, of om die te verlenen, te beperken, in te trekken of terug te vorderen, staat in bijlage III punt 5 onder a. Een model dat uitkeringen rangschikt voor heronderzoek, valt daar naar onze lezing onder. Omdat het naar onze lezing profilering van natuurlijke personen uitvoert, geldt de uitzondering van artikel 6 lid 3 niet.
Als aanbieder schrijft de gemeente een monitoringplan dat er naar onze lezing zo uitziet:
- Indicatoren. Het aandeel heronderzoeken dat tot een wijziging van de uitkering leidt, per positie in de ranglijst; de verdeling van de selectie over wijken, leeftijdsgroepen en huishoudtypen; het aandeel adviezen dat consulenten terzijde leggen; het aantal gegronde bezwaren.
- Maatstaf. De cijfers uit de eigen gebruiksaanwijzing voor de consulenten, inclusief de verschillen tussen groepen waarop het model is getest.
- Frequentie en eigenaar. Een maandelijkse analyse door het datateam, een kwartaalbespreking met de afdeling en de privacy officer.
- Drempels en reactie. Bij een vooraf bepaalde afwijking volgt een analyse; bij een vermoeden van een risico voor grondrechten wordt het gebruik onderbroken en de markttoezichtautoriteit geïnformeerd; bij een ernstig incident volgt de route van artikel 73.
- Wijzigingen. Elke nieuwe modelversie wordt vóór ingebruikname getoetst aan dezelfde indicatoren, en de vooraf bepaalde veranderingen staan in de technische documentatie.
Twee valkuilen. Ten eerste leert een model dat alleen ziet wat er bij gecontroleerde dossiers wordt gevonden, al snel dat de groep die het al vaker selecteerde, riskant is. Monitoring die alleen naar de "trefkans" kijkt, bevestigt dat. Neem daarom een steekproef van niet-geselecteerde dossiers op in de monitoring. Ten tweede zijn de rollen binnen één gemeente snel door elkaar gehaald. Leg vast wie namens de gemeente als aanbieder monitort en wie namens de afdeling als gebruiksverantwoordelijke signalen doorgeeft, ook al werken zij in hetzelfde gebouw.
Vanaf wanneer?
Artikel 72 staat in hoofdstuk IX en is volgens artikel 113 van toepassing sinds 2 augustus 2026. De plicht rust echter op aanbieders van AI-systemen met een hoog risico, en de regels die bepalen welk systeem dat is, staan in hoofdstuk III, afdelingen 1 tot en met 3. Die gelden vanaf 2 december 2027 voor systemen uit bijlage III en vanaf 2 augustus 2028 voor systemen onder bijlage I, afdeling A (artikel 113, derde alinea, onder c, zoals gewijzigd door Verordening (EU) 2026/1744). Voor producten uit bijlage I, afdeling B, geldt artikel 72 niet (artikel 2 lid 2). In de praktijk krijgt artikel 72 dus pas vanaf die datums een voorwerp.
Is het systeem vóór die datum in de handel gebracht of in gebruik gesteld, dan geldt de verordening alleen als het vanaf die datum aanzienlijke wijzigingen in zijn ontwerp ondergaat. Aanbieders en gebruiksverantwoordelijken van systemen die bedoeld zijn om door overheidsinstanties te worden gebruikt, moeten in ieder geval uiterlijk op 2 augustus 2030 voldoen (artikel 111 lid 2). Voor de gemeente uit het voorbeeld, waarvan het model al draait, is dat geen reden om te wachten: de AVG geldt al, en een monitoring die nu begint, levert de gegevens op die het risicobeheer later nodig heeft.
Voorbeeld 2: de bank en de kredietbeoordeling
Een bank die AI gebruikt om de kredietwaardigheid van natuurlijke personen te beoordelen of hun kredietscore vast te stellen, gebruikt een hoog-risicosysteem uit bijlage III punt 5 onder b (met uitzondering van AI om financiële fraude op te sporen). Ontwikkelt de bank het model zelf, dan is zij aanbieder en rust artikel 72 op haar. Drie punten zijn voor de bank anders.
Integreren in de bestaande governance. De bank mag de elementen van artikel 72 integreren in systemen en plannen die zij al heeft onder het financiële Unierecht, mits dat een gelijkwaardig beschermingsniveau garandeert (artikel 72 lid 4, tweede alinea). Veel banken monitoren hun kredietmodellen al op grond van financiële regels. De vraag is dan niet of er een tweede systeem moet komen, maar of het bestaande systeem ook bewaakt wat de AI Act vraagt, zoals verschillen tussen groepen en risico's voor grondrechten, en niet alleen het kredietrisico van de bank.
Kwaliteitsbeheer: monitoring blijft apart zichtbaar. Voor financiële instellingen geldt de plicht tot een kwaliteitsbeheersysteem als vervuld door de governance-regels uit het financiële recht na te leven, met uitzondering van artikel 17 lid 1 onder g, h en i (artikel 17 lid 4). Het risicobeheer, de monitoring na het in de handel brengen en de procedures voor het melden van ernstige incidenten moeten dus ook bij een bank aantoonbaar op hun plek zijn.
Als gebruiksverantwoordelijke. Koopt de bank het model in, dan geldt de monitoringplicht van artikel 26 lid 5 als vervuld door de governance-regels uit het financiële recht na te leven (artikel 26 lid 5, tweede alinea). Naar onze lezing neemt dat de plicht niet weg om bij een risico of een ernstig incident de aanbieder en de toezichthouder te informeren. De logs bewaart zij als onderdeel van de documentatie onder het financiële recht (artikel 26 lid 6, tweede alinea).
Daarnaast doet de bank als gebruiksverantwoordelijke van punt 5 onder b een grondrechteneffectbeoordeling (artikel 27). Wat de monitoring laat zien, is ook voor die beoordeling relevant. Hoe een kredietbeslissing uitlegbaar blijft, staat in van scoringsalgoritme naar transparante kredietbeslissing.
Wat u nu doet
- Stel per systeem vast wie aanbieder is. Bouwt u zelf, zet u er uw naam op, wijzigt u het systeem ingrijpend of verandert u het beoogde doel, dan rust artikel 72 op u (artikel 25 lid 1). Koopt u in, dan geldt artikel 26 lid 5.
- Schrijf het plan nu, niet na september 2027. Gebruik de bouwstenen hierboven en leg het vast in de technische documentatie.
- Koppel de monitoring aan uw risicobeheer, kwaliteitsbeheer en meldroute. Een overschrijding moet ergens toe leiden.
- Regel de gegevensstroom met uw leverancier of klanten. Welke signalen, in welke vorm, hoe vaak, en geaggregeerd waar dat kan.
- Koppel de uitkomsten aan uw DPIA. Verandert het risico, dan toetst u de DPIA opnieuw.
Twijfelt u of uw systeem hoog risico is en welke plichten dan gelden? Met de casus-check beschrijft u de toepassing in een paar vragen en ziet u welke AI Act- en AVG-plichten in beeld komen.
Veelgestelde vragen over artikel 72 AI Act
Bronnen
Nieuwsbrief
Elke dinsdag de AI Act-week vooruit in 5 minuten
Praktische duiding van deadlines, richtsnoeren en toezicht, zodat u weet wat er deze week toe doet. Geen spam en u schrijft zich met één klik weer uit.
Praktisch en kort · Geen spam · Met één klik uitschrijven