Wij zijn een overheidsorganisatie die AI gebruikt. Wat moet er geregeld zijn?

overheid en publieke diensten

Toekenning van bijstand door een gemeente: de FRIA en de kennisgeving

Een gemeente wil een AI-systeem in gebruik nemen dat aanvragen voor een uitkering uit de bijstand ordent en aangeeft welke dossiers extra onderzoek verdienen voordat een klantmanager beslist. De toepassing staat al in het algoritmeregister. De vraag is wat er geregeld moet zijn voordat de eerste burger door dit systeem gaat.

Herkomst: Artikel 27, lid 1 verlangt van gebruiksverantwoordelijken die publiekrechtelijke organen zijn of particuliere entiteiten die openbare diensten verlenen, dat zij voor de ingebruikname van een hoog-risico AI-systeem als bedoeld in artikel 6, lid 2 een beoordeling uitvoeren van de gevolgen die het gebruik voor de grondrechten kan opleveren, met uitzondering van systemen die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied. Die beoordeling omvat onder meer de categorieen natuurlijke personen en groepen die naar verwachting gevolgen ondervinden, de specifieke risico's op schade voor die categorieen, de uitvoering van maatregelen voor menselijk toezicht en de maatregelen die moeten worden genomen wanneer die risico's zich voordoen, met inbegrip van de regelingen voor interne governance en klachtenregelingen. Lid 3 bepaalt dat de gebruiksverantwoordelijke, zodra de beoordeling is uitgevoerd, de markttoezichtautoriteit in kennis stelt van de resultaten en als onderdeel van die kennisgeving het in lid 5 bedoelde ingevulde sjabloon indient, en dat in het in artikel 46, lid 1, bedoelde geval vrijstelling van de kennisgevingsplicht kan gelden. Lid 5 bepaalt dat het AI-bureau een sjabloon voor een vragenlijst ontwikkelt, onder meer via een geautomatiseerd instrument, om gebruiksverantwoordelijken te helpen hun verplichtingen uit hoofde van dit artikel op vereenvoudigde wijze na te komen.

Wij lezen artikel 27 zo dat een gemeente hier de meest voor de hand liggende gebruiksverantwoordelijke is en dat de beoordeling af moet zijn voordat de eerste aanvraag door het systeem loopt, niet als verantwoording achteraf. Die plicht hangt wel eerst aan de vraag of dit systeem hoog risico is: beoordeelt het de aanspraak op bijstand mede, of blijft het bij een voorbereidende of eng procedurele taak in de zin van artikel 6, lid 3, dat zijn eigen uitzondering weer sluit zodra het systeem burgers profileert? Die vraag beantwoordt u voordat u aan lid 1 begint. Een vermelding in het algoritmeregister is in onze lezing iets anders dan de beoordeling van lid 1, en zij vervangt de kennisgeving van de resultaten aan de markttoezichtautoriteit niet. Praktisch loont het om de klachtenroute voor de burger en de ruimte van de klantmanager om van het signaal af te wijken in hetzelfde dossier vast te leggen, omdat lid 1 juist naar die twee onderdelen vraagt.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 27, leden 1, 3 en 5

overheid en publieke diensten

Inschatting van recidive bij de politie: wanneer de beoordeling opnieuw moet

Een politiedienst neemt een AI-systeem in gebruik dat bij een verdachte een inschatting van recidive maakt, als hulpmiddel bij de afweging die het openbaar ministerie en de rechter later maken. Later wordt het model hertraind op nieuwere opsporingsgegevens en breidt de dienst het gebruik uit naar een tweede regio. De vraag is of de beoordeling van het eerste gebruik daarmee toereikend blijft.

Herkomst: Artikel 27, lid 1 verlangt dat gebruiksverantwoordelijken die publiekrechtelijke organen zijn, voor de ingebruikname van een hoog-risico AI-systeem als bedoeld in artikel 6, lid 2 een beoordeling uitvoeren van de gevolgen die het gebruik voor de grondrechten kan opleveren, met uitzondering van systemen die bedoeld zijn om te worden gebruikt op het in punt 2 van bijlage III vermelde gebied. Die beoordeling bestaat uit een beschrijving van de processen waarin het systeem wordt gebruikt, van de periode en de frequentie van gebruik, van de categorieen natuurlijke personen en groepen die naar verwachting gevolgen ondervinden, van de specifieke risico's op schade waarbij rekening wordt gehouden met de door de aanbieder op grond van artikel 13 verstrekte informatie, van de uitvoering van maatregelen voor menselijk toezicht overeenkomstig de gebruiksaanwijzing, en van de maatregelen bij het intreden van die risico's. Lid 2 bepaalt dat de verplichting van toepassing is op het eerste gebruik, dat in soortgelijke gevallen eerder uitgevoerde effectbeoordelingen of bestaande effectbeoordelingen van de aanbieder kunnen worden gebruikt, en dat de gebruiksverantwoordelijke die tijdens het gebruik ziet dat een van de in lid 1 vermelde elementen is gewijzigd of niet langer actueel is, de nodige maatregelen neemt om de informatie te actualiseren. Lid 3 bepaalt dat de resultaten met het ingevulde sjabloon aan de markttoezichtautoriteit worden gemeld en dat in het in artikel 46, lid 1, bedoelde geval vrijstelling van die kennisgevingsplicht kan gelden.

Wij lezen artikel 27 zo dat een politiedienst als publiekrechtelijk orgaan onder lid 1 valt en dat de beoordeling niet aan het eerste gebruik blijft hangen: hertrainen op nieuwere opsporingsgegevens of uitbreiden naar een tweede regio raakt de elementen van lid 1 en vraagt in onze lezing om actualisering van het dossier. Bij dat hertrainen speelt bovendien een vraag die artikel 27 zelf niet beantwoordt, namelijk of die ingreep zo ver gaat dat zij een substantiele wijziging is en u op grond van artikel 25 zelf als aanbieder wordt aangemerkt. Houd daarnaast in de gaten dat de uitzondering van lid 3 in onze lezing over de kennisgeving gaat en niet over de beoordeling zelf. Begin ten slotte pas aan die beoordeling nadat u hebt vastgesteld dat de inzet als zodanig is toegestaan, want artikel 5 sluit bepaalde voorspellende toepassingen in de opsporing uit.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 27, leden 1 tot en met 3

overheid en publieke diensten

Uitlegsessie bij de klant op het moment van ingebruikname

Asimov AI is een micro-organisatie met maximaal vijftien medewerkers die AI-diensten levert voor wetgevingswerk aan overheidsinstellingen en bedrijven. Bij elk nieuw contract organiseert het bedrijf een of meer inductiecalls met de teamleiders en ambtenaren die het platform gaan gebruiken, waarin het uitlegt hoe het platform en de onderliggende modellen werken en hoe hallucinaties in dit domein ontstaan en beperkt kunnen worden.

Herkomst: Deze praktijk is door de betrokken organisatie zelf aangeleverd aan het levend repository van de Commissie. Het repository verzamelt en deelt praktijken, maar keurt ze niet goed en stelt ze niet vast als norm.

Deze praktijk legt de geletterdheid waar het risico ontstaat: bij de mensen die het systeem straks gebruiken, op het moment dat zij ermee beginnen. Voor een kleine aanbieder is dat ook het enige haalbare moment, omdat er geen opleidingsafdeling is om het later over te doen. Wie dit overneemt, moet wel vastleggen wie erbij was en wat er is uitgelegd, want anders bestaat de inspanning na een jaar alleen nog in de herinnering van de deelnemers.

Levend repository van AI-geletterdheidspraktijken, ingediende praktijk van de betrokken organisatie

overheid en publieke diensten

Chatbot die feitelijke vragen van een uitkeringsbehandelaar beantwoordt

Een chatbot beantwoordt feitelijke vragen van een behandelaar over de beoordeling van een aanvraag voor zorgtoeslagen of zorgvoorzieningen, bijvoorbeeld over de leeftijd van de aanvrager. De behandelaar kan de aanvraag toe- of afwijzen op basis van die antwoorden.

Herkomst: De ontwerprichtsnoeren van de Commissie van 19 mei 2026 behandelen dit geval bij de vraag of een toepassing onder Bijlage III valt. Het document is een consultatieversie: niet bindend en nog niet definitief.

Een chatbot die uitsluitend bestaande feiten gestructureerd teruggeeft valt onder de uitzondering, maar zodra hij juridische vragen per dossier beantwoordt, stuurt hij het besluit en is hij hoog risico.

Ontwerprichtsnoeren classificatie hoog-risico AI, 19 mei 2026, bijlage over Bijlage III

Geen verplicht cursusformat, geen certificaat, geen examen en geen AI-officer

De Q&A van de Commissie over AI-geletterdheid stelt dat er geen pasklare aanpak bestaat en dat er geen strikte vereisten of verplichte trainingen worden opgelegd. Over certificering vermeldt de Q&A letterlijk dat er geen certificaat nodig is en dat organisaties een interne registratie van trainingen of andere begeleidende initiatieven kunnen bijhouden. Over toetsing vermeldt zij dat artikel 4 van de AI-verordening geen verplichting inhoudt om de AI-kennis van werknemers te meten. Over governance vermeldt zij dat er geen specifieke governancestructuur is voorgeschreven om aan artikel 4 te voldoen, zodat er anders dan bij de functionaris voor gegevensbescherming onder de AVG geen AI-functionaris hoeft te worden aangesteld. Over het niveau vermeldt de Q&A dat AI-geletterdheid na de wijziging door de Digital Omnibus een verplichting blijft voor aanbieders en gebruiksverantwoordelijken van AI-systemen, maar dat er geen specifiek of toereikend niveau wordt voorgeschreven en dat de verordening niet vereist dat enig specifiek niveau van AI-geletterdheid van enig individu wordt gegarandeerd. Daartegenover stelt de Q&A dat het enkel vertrouwen op de gebruiksaanwijzing van het AI-systeem of het aan personeel vragen die te lezen, mogelijk niet doeltreffend is, en dat organisaties bij het bepalen van hun aanpak rekening moeten houden met het algemene begrip van AI binnen de organisatie, met de vraag of zij aanbieder of gebruiksverantwoordelijke zijn, met de risico's van de gebruikte systemen, met kennislacunes bij personeel gelet op technische kennis, ervaring, opleiding en training, en met contextuele factoren zoals sector, doel en getroffen bevolkingsgroepen. De Q&A vermeldt verder dat organisaties verschillende niveaus van training of leeraanpakken kunnen hanteren naargelang kennis, ervaring, opleiding en rol, en dat personeel met een opleiding of ervaring in AI-ontwikkeling normaal gesproken als AI-geletterd wordt beschouwd, waarbij de organisatie nog wel moet nagaan of die personen de specifieke AI-systemen van de organisatie begrijpen, weten hoe zij daarmee moeten omgaan en zich van alle risico's bewust zijn.

Commission Q&A on AI literacy, secties over het vereiste niveau, opleidingsvormen, certificaten, toetsing van kennis en governancestructuren (geraadpleegd op 9 augustus 2026)

Artikel 4 reikt verder dan uw eigen personeel, en de nationale toezichthouder handhaaft

De Q&A van de Commissie over AI-geletterdheid vermeldt dat artikel 4 geldt voor aanbieders en gebruiksverantwoordelijken van AI-systemen en daarnaast voor andere personen die namens hen met de werking en het gebruik van AI-systemen te maken hebben, en dat het daarbij gaat om personen die in brede zin binnen de organisatorische invloedssfeer vallen, met als voorbeelden een opdrachtnemer, een dienstverlener en een client. Over clienten vermeldt de Q&A dat zij afhankelijk van het specifieke risico AI-geletterdheid nodig kunnen hebben, met als redenering dat getroffen personen moeten begrijpen hoe met behulp van AI genomen besluiten hen raken. Over het geografische bereik vermeldt de Q&A dat het juridische kader van de AI-verordening geldt voor zowel publieke als private partijen binnen en buiten de Unie, zolang het AI-systeem op de Uniemarkt wordt gebracht, in de Unie wordt gebruikt, of het gebruik ervan gevolgen heeft voor personen die zich in de Unie bevinden. Over toezicht vermeldt de Q&A dat het toezicht op en de handhaving van artikel 4 niet bij het AI Office ligt maar onder de bevoegdheid van de nationale markttoezichtautoriteiten valt, en dat toezicht en handhaving zijn aangevangen op 2 augustus 2026, terwijl artikel 4 zelf van toepassing is geworden op 2 februari 2025. Over sancties vermeldt de Q&A dat nationale markttoezichtautoriteiten boetes en andere handhavingsmaatregelen kunnen opleggen bij inbreuken op artikel 4, dat dit gebeurt op grond van nationale wetgeving die de lidstaten uiterlijk 2 augustus 2025 moesten vaststellen, dat elke sanctie evenredig moet zijn en moet worden gebaseerd op het individuele geval, rekening houdend met factoren zoals de aard en de ernst van de inbreuk en het opzettelijke of nalatige karakter ervan, en dat een sanctie waarschijnlijker is wanneer er bewijs is van een incident dat is ontstaan door een gebrek aan passende training en begeleiding. Artikel 4 wordt niet genoemd in de opsomming van artikel 99 lid 4 van de AI-verordening, die uitsluitend ziet op de artikelen 16, 22, 23, 24, 26, 31, 33 lid 1, 3 en 4, 34 en 50, zodat de hoogte van een sanctie wegens artikel 4 uit het nationale recht volgt en niet uit de boeteplafonds van de verordening zelf. De Q&A vermeldt verder dat artikel 4 de bepalingen over transparantie in artikel 13 en over menselijk toezicht in artikel 14 versterkt en indirect bijdraagt aan de bescherming van getroffen personen, en dat voor gebruiksverantwoordelijken van hoogrisicosystemen de verplichting uit artikel 26 om te waarborgen dat personeel is opgeleid voor menselijk toezicht een afzonderlijke eis vormt; die eis wordt van toepassing op 2 december 2027 voor zelfstandige systemen uit bijlage III en op 2 augustus 2028 voor systemen uit bijlage I.

Commission Q&A on AI literacy, secties over doelgroepen, geografisch bereik, toezicht en handhaving, en sancties (geraadpleegd op 9 augustus 2026)

Bijlage I somt wetgeving op, geen producten

De concept-richtsnoeren van 19 mei 2026, gepubliceerd voor consultatie en uitdrukkelijk niet bindend, verduidelijken dat Bijlage I AI Act geen individuele producten opsomt die als hoog-risico moeten worden aangemerkt, maar harmonisatiewetgeving van de Unie die de veiligheidsaspecten van bepaalde producten regelt. Of een AI-systeem binnen de reikwijdte van Bijlage I valt hangt dus af van de vraag of het systeem, of het product waarvan het systeem een veiligheidscomponent is, binnen het materiele toepassingsgebied van een van de opgesomde wetgevingshandelingen valt. De lijst in Bijlage I is volgens de concept-richtsnoeren uitputtend; producten kunnen alleen worden toegevoegd of verwijderd door de reikwijdte van de harmonisatiewetgeving zelf te wijzigen of door nieuwe harmonisatiewetgeving aan Bijlage I toe te voegen. De concept-richtsnoeren stellen tevens dat de AI Act via artikel 6 lid 1 de reikwijdte van de harmonisatiewetgeving niet uitbreidt naar nieuwe of aanvullende producten, en dat de AI Act het risicoprofiel van een product niet bepaalt of wijzigt maar voortbouwt op de sectorale risicoclassificatie. Genoemd worden onder meer machines, speelgoed, liften, apparatuur en beveiligingssystemen voor plaatsen met ontploffingsgevaar, radioapparatuur, drukapparatuur, pleziervaartuigen, kabelbaaninstallaties, gasverbrandingstoestellen, medische hulpmiddelen, medische hulpmiddelen voor in-vitrodiagnostiek, en producten in de automobiel- en luchtvaartsector.

Concept-richtsnoeren Annex I, punten (23) tot en met (26)

Sectie A en Sectie B van Bijlage I geven een ander eisenpakket

De concept-richtsnoeren van de Commissie van 19 mei 2026, die niet bindend zijn zolang de definitieve versie niet is vastgesteld, maken een onderscheid dat in de praktijk vaak wordt gemist. AI-systemen die als hoog-risico zijn aangemerkt onder artikel 6 lid 1 voor producten die vallen onder de harmonisatiewetgeving in Sectie A van Bijlage I zijn onderworpen aan de eisen voor hoog-risico systemen van afdeling 2 van hoofdstuk III AI Act. Daarentegen gelden voor AI-systemen die als hoog-risico zijn aangemerkt onder artikel 6 lid 1 voor producten die vallen onder de harmonisatiewetgeving in Sectie B van Bijlage I alleen artikel 6 lid 1, de artikelen 102 tot en met 109 en artikel 112 AI Act. De concept-richtsnoeren verwijzen hiervoor naar artikel 2 lid 2 AI Act. Sectie A bevat de harmonisatiewetgeving die is gebaseerd op het nieuwe wetgevingskader, Sectie B de overige harmonisatiewetgeving van de Unie.

Concept-richtsnoeren Annex I, punt (60), met verwijzing naar artikel 2 lid 2 AI Act

prEN 18285: raamwerk voor conformiteitsbeoordeling van AI-systemen

prEN 18285 (Conformity assessment framework) is de JTC 21-deliverable onder M/613 die ziet op de conformiteitsbeoordeling van hoog-risico AI-systemen op grond van artikel 43 en bijlage VII AI-verordening. De deliverable bevond zich naar de stand van juni 2026 in het drafting-stadium. De norm is nog niet als EN gepubliceerd en is niet met referentie in het Publicatieblad bekendgemaakt. Het standaardisatieverzoek M/613 is bij Uitvoeringsbesluit C(2025)3871 van 23 juni 2025 gewijzigd en loopt af op 28 februari 2027.