Welk bewijs moet een publiekrechtelijke instantie kunnen laten zien onder de AI Act?

overheid en publieke diensten

Toekenning van bijstand door een gemeente: de FRIA en de kennisgeving

Een gemeente wil een AI-systeem in gebruik nemen dat aanvragen voor een uitkering uit de bijstand ordent en aangeeft welke dossiers extra onderzoek verdienen voordat een klantmanager beslist. De toepassing staat al in het algoritmeregister. De vraag is wat er geregeld moet zijn voordat de eerste burger door dit systeem gaat.

Herkomst: Artikel 27, lid 1 verlangt van gebruiksverantwoordelijken die publiekrechtelijke organen zijn of particuliere entiteiten die openbare diensten verlenen, dat zij voor de ingebruikname van een hoog-risico AI-systeem als bedoeld in artikel 6, lid 2 een beoordeling uitvoeren van de gevolgen die het gebruik voor de grondrechten kan opleveren, met uitzondering van systemen die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied. Die beoordeling omvat onder meer de categorieen natuurlijke personen en groepen die naar verwachting gevolgen ondervinden, de specifieke risico's op schade voor die categorieen, de uitvoering van maatregelen voor menselijk toezicht en de maatregelen die moeten worden genomen wanneer die risico's zich voordoen, met inbegrip van de regelingen voor interne governance en klachtenregelingen. Lid 3 bepaalt dat de gebruiksverantwoordelijke, zodra de beoordeling is uitgevoerd, de markttoezichtautoriteit in kennis stelt van de resultaten en als onderdeel van die kennisgeving het in lid 5 bedoelde ingevulde sjabloon indient, en dat in het in artikel 46, lid 1, bedoelde geval vrijstelling van de kennisgevingsplicht kan gelden. Lid 5 bepaalt dat het AI-bureau een sjabloon voor een vragenlijst ontwikkelt, onder meer via een geautomatiseerd instrument, om gebruiksverantwoordelijken te helpen hun verplichtingen uit hoofde van dit artikel op vereenvoudigde wijze na te komen.

Wij lezen artikel 27 zo dat een gemeente hier de meest voor de hand liggende gebruiksverantwoordelijke is en dat de beoordeling af moet zijn voordat de eerste aanvraag door het systeem loopt, niet als verantwoording achteraf. Die plicht hangt wel eerst aan de vraag of dit systeem hoog risico is: beoordeelt het de aanspraak op bijstand mede, of blijft het bij een voorbereidende of eng procedurele taak in de zin van artikel 6, lid 3, dat zijn eigen uitzondering weer sluit zodra het systeem burgers profileert? Die vraag beantwoordt u voordat u aan lid 1 begint. Een vermelding in het algoritmeregister is in onze lezing iets anders dan de beoordeling van lid 1, en zij vervangt de kennisgeving van de resultaten aan de markttoezichtautoriteit niet. Praktisch loont het om de klachtenroute voor de burger en de ruimte van de klantmanager om van het signaal af te wijken in hetzelfde dossier vast te leggen, omdat lid 1 juist naar die twee onderdelen vraagt.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 27, leden 1, 3 en 5

politie en rechtshandhaving

Inschatting van recidive bij de politie: wanneer de beoordeling opnieuw moet

Een politiedienst neemt een AI-systeem in gebruik dat bij een verdachte een inschatting van recidive maakt, als hulpmiddel bij de afweging die het openbaar ministerie en de rechter later maken. Later wordt het model hertraind op nieuwere opsporingsgegevens en breidt de dienst het gebruik uit naar een tweede regio. De vraag is of de beoordeling van het eerste gebruik daarmee toereikend blijft.

Herkomst: Artikel 27, lid 1 verlangt dat gebruiksverantwoordelijken die publiekrechtelijke organen zijn, voor de ingebruikname van een hoog-risico AI-systeem als bedoeld in artikel 6, lid 2 een beoordeling uitvoeren van de gevolgen die het gebruik voor de grondrechten kan opleveren, met uitzondering van systemen die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied. Die beoordeling bestaat uit een beschrijving van de processen waarin het systeem wordt gebruikt, van de periode en de frequentie van gebruik, van de categorieen natuurlijke personen en groepen die naar verwachting gevolgen ondervinden, van de specifieke risico's op schade waarbij rekening wordt gehouden met de door de aanbieder op grond van artikel 13 verstrekte informatie, van de uitvoering van maatregelen voor menselijk toezicht overeenkomstig de gebruiksaanwijzing, en van de maatregelen bij het intreden van die risico's. Lid 2 bepaalt dat de verplichting van toepassing is op het eerste gebruik, dat in soortgelijke gevallen eerder uitgevoerde effectbeoordelingen of bestaande effectbeoordelingen van de aanbieder kunnen worden gebruikt, en dat de gebruiksverantwoordelijke die tijdens het gebruik ziet dat een van de in lid 1 vermelde elementen is gewijzigd of niet langer actueel is, de nodige maatregelen neemt om de informatie te actualiseren. Lid 3 bepaalt dat de resultaten met het ingevulde sjabloon aan de markttoezichtautoriteit worden gemeld en dat in het in artikel 46, lid 1, bedoelde geval vrijstelling van die kennisgevingsplicht kan gelden.

Wij lezen artikel 27 zo dat een politiedienst als publiekrechtelijk orgaan onder lid 1 valt en dat de beoordeling niet aan het eerste gebruik blijft hangen: hertrainen op nieuwere opsporingsgegevens of uitbreiden naar een tweede regio raakt de elementen van lid 1 en vraagt in onze lezing om actualisering van het dossier. Bij dat hertrainen speelt bovendien een vraag die artikel 27 zelf niet beantwoordt, namelijk of die ingreep zo ver gaat dat zij een substantiele wijziging is en u op grond van artikel 25 zelf als aanbieder wordt aangemerkt. Houd daarnaast in de gaten dat de uitzondering van lid 3 in onze lezing over de kennisgeving gaat en niet over de beoordeling zelf. Begin ten slotte pas aan die beoordeling nadat u hebt vastgesteld dat de inzet als zodanig is toegestaan, want artikel 5 sluit bepaalde voorspellende toepassingen in de opsporing uit.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 27, leden 1 tot en met 3

onderwijs

Selectie bij de inschrijving van studenten: een DPIA is nog geen FRIA

Een hogeschool laat een AI-systeem de aanmeldingen voor een beroepsopleiding rangschikken en gebruikt daarbij de toetsresultaten van eerdere studenten om die rangorde te ijken. Voor deze verwerking ligt er al een gegevensbeschermingseffectbeoordeling. De vraag die de school stelt is of daarmee ook de grondrechtenkant van de inschrijving is afgedekt.

Herkomst: Artikel 27, lid 1 bepaalt dat gebruiksverantwoordelijken die publiekrechtelijke organen zijn of particuliere entiteiten die openbare diensten verlenen, en gebruiksverantwoordelijken van hoog-risico AI-systemen als bedoeld in bijlage III, punt 5, b) en c), voor de ingebruikname van een hoog-risico AI-systeem als bedoeld in artikel 6, lid 2 een beoordeling uitvoeren van de gevolgen voor de grondrechten, met uitzondering van systemen die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied. Die beoordeling bestaat uit een beschrijving van de processen waarin het systeem overeenkomstig het beoogde doel wordt gebruikt, van de periode en de frequentie van gebruik, van de categorieen natuurlijke personen en groepen die naar verwachting gevolgen ondervinden, van de specifieke risico's op schade voor die categorieen, van de uitvoering van maatregelen voor menselijk toezicht en van de maatregelen bij het intreden van die risico's, met inbegrip van de regelingen voor interne governance en klachtenregelingen. Lid 2 bepaalt dat de verplichting van toepassing is op het eerste gebruik, dat de gebruiksverantwoordelijke in soortgelijke gevallen eerder uitgevoerde effectbeoordelingen of bestaande effectbeoordelingen van de aanbieder kan gebruiken, en dat de gebruiksverantwoordelijke die tijdens het gebruik ziet dat een van de in lid 1 vermelde elementen is gewijzigd of niet langer actueel is, de nodige maatregelen neemt om de informatie te actualiseren. Lid 4 bepaalt dat wanneer een van de verplichtingen uit dit artikel al is nagekomen door de gegevensbeschermingseffectbeoordeling op grond van artikel 35 van Verordening (EU) 2016/679 of artikel 27 van Richtlijn (EU) 2016/680, de beoordeling van lid 1 een aanvulling vormt op die gegevensbeschermingseffectbeoordeling.

Wij lezen artikel 27 zo dat de onderwijsinstelling die deze selectie zelf inzet hier de gebruiksverantwoordelijke is, maar daarmee staat de plicht nog niet vast. Lid 1 wijst publiekrechtelijke organen aan en particuliere entiteiten die openbare diensten verlenen, en of een bekostigde dan wel een private hogeschool onder een van die twee omschrijvingen valt, is de vraag die u eerst moet beantwoorden. Valt zij eronder, dan is een bestaande gegevensbeschermingseffectbeoordeling in onze lezing het vertrekpunt en niet het sluitstuk: lid 4 laat de grondrechtenbeoordeling ernaast staan, en sinds Verordening (EU) 2026/1744 mag zij relevante delen daarvan overnemen of daarnaar verwijzen, zodat de vraag vooral is welke onderdelen van lid 1 nog ontbreken. Voor u betekent dat vastleggen welke groepen studenten geraakt kunnen worden, hoe de toelatingscommissie of de docent een uitkomst kan corrigeren en waar een afgewezen aanmelder met een klacht terechtkan. Verandert de selectieregel of het toetsonderdeel waarop de rangorde steunt, dan is dat in onze lezing het moment om het dossier bij te werken, en niet het begin van het volgende studiejaar.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 27, leden 1, 2 en 4

financiële dienstverlening

Zorgverzekeraar met AI voor risicobeoordeling: publiek of privaat maakt niet uit

Een zorgverzekeraar gebruikt AI voor risicobeoordeling en prijsstelling bij zorg- en levensverzekeringen. De vraag is of dit onder punt 5(c) van Bijlage III valt, en daarmee of de FRIA-plicht van artikel 27 in beeld komt.

Herkomst: De ontwerprichtsnoeren van de Commissie van 19 mei 2026 stellen dat de zorg- en levensverzekering van punt 5(c) zowel privaat als publiekrechtelijk kan zijn: ook een publiekrechtelijke zorgverzekeraar valt eronder zolang het systeem is bedoeld voor risicobeoordeling of prijsstelling ten aanzien van natuurlijke personen. Private zorgverzekering geldt als essentiele private dienst, ook in een lidstaat met een publiek zorgstelsel. Anders dan punt 5(b) kent punt 5(c) geen uitzondering voor fraudedetectie. Het document is een consultatieversie: niet bindend en nog niet definitief.

Voor de FRIA-vraag telt punt 5(c) dubbel: het maakt het systeem hoog risico en het maakt u als gebruiksverantwoordelijke tot een van de partijen die artikel 27 aanwijst. Een publiekrechtelijke vorm of een publiek zorgstelsel in uw lidstaat verandert daar niets aan. Reken uzelf ook niet rijk met de fraudedetectie-uitzondering van punt 5(b): die geldt hier niet, en een fraudefunctie naast risicobeoordeling haalt het systeem er niet uit.

Ontwerprichtsnoeren classificatie hoog-risico AI, 19 mei 2026, bijlage over Bijlage III, randnummers (319) tot en met (321)

Bijlage I somt wetgeving op, geen producten

De concept-richtsnoeren van 19 mei 2026, gepubliceerd voor consultatie en uitdrukkelijk niet bindend, verduidelijken dat Bijlage I AI Act geen individuele producten opsomt die als hoog-risico moeten worden aangemerkt, maar harmonisatiewetgeving van de Unie die de veiligheidsaspecten van bepaalde producten regelt. Of een AI-systeem binnen de reikwijdte van Bijlage I valt hangt dus af van de vraag of het systeem, of het product waarvan het systeem een veiligheidscomponent is, binnen het materiele toepassingsgebied van een van de opgesomde wetgevingshandelingen valt. De lijst in Bijlage I is volgens de concept-richtsnoeren uitputtend; producten kunnen alleen worden toegevoegd of verwijderd door de reikwijdte van de harmonisatiewetgeving zelf te wijzigen of door nieuwe harmonisatiewetgeving aan Bijlage I toe te voegen. De concept-richtsnoeren stellen tevens dat de AI Act via artikel 6 lid 1 de reikwijdte van de harmonisatiewetgeving niet uitbreidt naar nieuwe of aanvullende producten, en dat de AI Act het risicoprofiel van een product niet bepaalt of wijzigt maar voortbouwt op de sectorale risicoclassificatie. Genoemd worden onder meer machines, speelgoed, liften, apparatuur en beveiligingssystemen voor plaatsen met ontploffingsgevaar, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gasverbrandingstoestellen, medische hulpmiddelen, medische hulpmiddelen voor in-vitrodiagnostiek, en producten in de automobiel- en luchtvaartsector.

Concept-richtsnoeren Annex I, punten (23) tot en met (26)

Sectie A en Sectie B van Bijlage I geven een ander eisenpakket

De concept-richtsnoeren van de Commissie van 19 mei 2026, die niet bindend zijn zolang de definitieve versie niet is vastgesteld, maken een onderscheid dat in de praktijk vaak wordt gemist. AI-systemen die als hoog-risico zijn aangemerkt onder artikel 6 lid 1 voor producten die vallen onder de harmonisatiewetgeving in Sectie A van Bijlage I zijn onderworpen aan de eisen voor hoog-risico systemen van afdeling 2 van hoofdstuk III AI Act. Daarentegen gelden voor AI-systemen die als hoog-risico zijn aangemerkt onder artikel 6 lid 1 voor producten die vallen onder de harmonisatiewetgeving in Sectie B van Bijlage I alleen artikel 6 lid 1, de artikelen 102 tot en met 109 en artikel 112 AI Act. De concept-richtsnoeren verwijzen hiervoor naar artikel 2 lid 2 AI Act. Sectie A bevat de harmonisatiewetgeving die is gebaseerd op het nieuwe wetgevingskader, Sectie B de overige harmonisatiewetgeving van de Unie.

Concept-richtsnoeren Annex I, punt (60), met verwijzing naar artikel 2 lid 2 AI Act

Twee cumulatieve voorwaarden voor hoog-risico onder Bijlage I

De concept-richtsnoeren van de Europese Commissie van 19 mei 2026, die uitdrukkelijk niet bindend en niet definitief zijn, lezen artikel 6 lid 1 als twee cumulatieve voorwaarden. Ten eerste moet het AI-systeem bestemd zijn om te worden gebruikt als veiligheidscomponent van een product, of moet het AI-systeem zelf een product zijn, dat valt onder de harmonisatiewetgeving van de Unie die in Bijlage I is opgesomd. Ten tweede moet dat product, of het AI-systeem zelf wanneer dat het product is, verplicht een conformiteitsbeoordeling door een derde partij ondergaan. De concept-richtsnoeren stellen daarbij uitdrukkelijk dat niet alle AI-systemen die onderdeel zijn van gereguleerde producten hoog-risico zijn, maar alleen een deelverzameling die aan beide criteria voldoet.

Concept-richtsnoeren Annex I, punten (27) en (21)

Het filter van artikel 6 lid 3: vier limitatieve gronden, eng uit te leggen

Volgens de niet-bindende concept-richtsnoeren van 19 mei 2026 over de classificatie van hoog-risico AI kent artikel 6 lid 3 vier gronden waarop een aanbieder een systeem van hoog-risico kan uitzonderen: een enge procedurele taak, het verbeteren van het resultaat van een eerder afgeronde menselijke activiteit, het detecteren van besluitvormingspatronen of afwijkingen daarvan zonder de eerdere menselijke beoordeling te vervangen of te beïnvloeden zonder deugdelijke menselijke toetsing, en het verrichten van een voorbereidende taak. Randnummer (88) van dit concept stelt dat deze gronden limitatief maar alternatief zijn, dat er geen zelfstandige aanvullende risicotoets bestaat, en dat de gronden eng moeten worden uitgelegd omdat artikel 6 lid 3 een uitzondering vormt op regels die mede grondrechten beschermen. Randnummer (87) stelt dat het filter alleen geldt voor systemen onder artikel 6 lid 2 en niet voor systemen onder artikel 6 lid 1. Randnummer (89) stelt dat een systeem altijd hoog-risico blijft wanneer het profilering verricht. Randnummer (90) voegt toe dat het filter niet geldt wanneer het systeem deel uitmaakt van een complex systeem waarvan het gecombineerde beoogde doel of de gezamenlijke output een individueel besluit wezenlijk beïnvloedt, ook bij agentic AI. De randnummers (113) tot en met (116) van dit concept beschrijven dat het om een zelfbeoordeling door de aanbieder gaat, dat artikel 6 lid 4 verplicht tot documentatie van die beoordeling vóór het in de handel brengen en tot registratie in de EU-databank van artikel 71, en dat de beoordeling ten minste het beoogde doel, de reden waarom het systeem onder artikel 6 lid 2 valt, welke grond van artikel 6 lid 3 van toepassing is en waarom, en waarom er geen profilering plaatsvindt moet bevatten. Randnummer (117) van deze concept-richtsnoeren wijst op artikel 80 en artikel 99 wanneer een autoriteit vaststelt dat een systeem ten onrechte als niet hoog-risico is ingedeeld om de regels te omzeilen.

Concept-richtsnoeren classificatie hoog-risico AI (19 mei 2026), hoofdstuk Bijlage III, secties 2.7, 2.7.1, 2.7.3 en 2.7.4, randnummers (84) tot en met (90) en (113) tot en met (117)

prEN 18285: raamwerk voor conformiteitsbeoordeling van AI-systemen

prEN 18285 (Conformity assessment framework) is de JTC 21-deliverable onder M/613 die ziet op de conformiteitsbeoordeling van hoog-risico AI-systemen op grond van artikel 43 en bijlage VII AI-verordening. De deliverable bevond zich naar de stand van juni 2026 in het drafting-stadium. De norm is nog niet als EN gepubliceerd en is niet met referentie in het Publicatieblad bekendgemaakt. Het standaardisatieverzoek M/613 is bij Uitvoeringsbesluit C(2025)3871 van 23 juni 2025 gewijzigd en loopt af op 28 februari 2027.