Wat betekent "redelijkerwijs te voorzien misbruik" in de AI Act?

biometrie en identificatie

Gezichtsherkenning bij toegangscontrole: de beveiliger achter de camera telt mee

Een organisatie beveiligt de ingang van haar panden met gezichtsherkenning en gebruikt die biometrische toegangscontrole ook om bezoekers te registreren. Geeft het systeem geen match, dan beoordeelt een beveiliger de beelden van de camera en beslist hij zelf of iemand naar binnen mag. De vraag is wiens maatregelen die beveiliger moeten bereiken: die van de leverancier van het model, die van de afdeling die het systeem inzet, of allebei.

Herkomst: Artikel 4, lid 1 bepaalt dat aanbieders en gebruiksverantwoordelijken van AI-systemen maatregelen nemen om de ontwikkeling van AI-geletterdheid van hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken te ondersteunen. Zij houden daarbij rekening met technische kennis, ervaring, onderwijs en opleiding en de context waarin de AI-systemen zullen worden gebruikt, evenals met de personen of groepen personen ten aanzien van wie de AI-systemen zullen worden gebruikt. Dezelfde bepaling stelt dat deze verplichting niet inhoudt dat aanbieders of gebruiksverantwoordelijken een bepaald niveau van AI-geletterdheid voor personen moeten waarborgen.

Wij lezen de zinsnede over de personen ten aanzien van wie het systeem wordt gebruikt als het zwaartepunt bij biometrie: wie voor de camera staat ondergaat de uitkomst en heeft daar zelf weinig tegenwicht tegen. Dat pleit ervoor de beveiliger die na een uitblijvende match zelf beslist inhoudelijker toe te rusten dan de collega die het systeem alleen aan- en uitzet. Het artikel zegt zelf niet welk niveau volstaat en bepaalt uitdrukkelijk dat u geen niveau hoeft te waarborgen, dus waar de ondergrens per rol ligt blijft open. Naar onze inschatting is een dossier per rol, met de gemaakte keuze en de reden daarvoor, beter verdedigbaar dan een organisatiebrede sessie met alleen een aanwezigheidslijst.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 4, lid 1

politie en rechtshandhaving

Politie met AI in de opsporing: de context bepaalt hoe zwaar u opleidt

Een politiedienst gebruikt AI om grote hoeveelheden opsporingsdossiers te doorzoeken en verbanden te laten opvallen die een rechercheur anders zou missen. De uitkomsten wegen mee in de keuze welke verdachte verder wordt onderzocht en belanden uiteindelijk in stukken die het strafrecht in gaan. De vraag is of dezelfde basisinstructie volstaat voor de analist die het model bedient en voor de rechercheur die op de uitkomst afgaat.

Herkomst: Artikel 4, lid 1 verplicht aanbieders en gebruiksverantwoordelijken van AI-systemen maatregelen te nemen om de ontwikkeling van AI-geletterdheid van hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken te ondersteunen. De bepaling schrijft voor dat zij daarbij rekening houden met technische kennis, ervaring, onderwijs en opleiding en met de context waarin de AI-systemen zullen worden gebruikt, evenals met de personen of groepen personen ten aanzien van wie de AI-systemen zullen worden gebruikt. Zij bepaalt tegelijk dat deze verplichting niet inhoudt dat een bepaald niveau van AI-geletterdheid voor personen moet worden gewaarborgd.

Artikel 4 verlangt dat u de context van gebruik meeweegt en ook de mensen op wie het systeem wordt toegepast, en in de rechtshandhaving lopen beide factoren naar onze lezing hoog op. Of een algemene introductie over de mogelijkheden van AI dan volstaat voor wie een uitkomst overneemt in een dossier dat iemands positie als verdachte raakt, betwijfelen wij, maar de bepaling zegt uitdrukkelijk niet welk niveau u moet waarborgen, zodat u die ondergrens zelf moet onderbouwen. Wij zouden per rol vastleggen wat iemand moet kunnen herkennen, bijvoorbeeld dat een gevonden verband nog geen bewijs is, en die keuze periodiek opnieuw wegen.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 4, lid 1

media en content

Redactie met generatieve AI: tellen freelancers mee in uw maatregelen?

Een nieuwsredactie zet generatieve AI in om samenvattingen, koppen en beeld voor te bereiden, waarna een eindredacteur het stuk afmaakt en de redactie besluit te publiceren. Een deel van dat werk ligt bij freelancers, en een extern bureau maakt met dezelfde tools de content voor marketing. De vraag is of uw maatregelen voor AI-geletterdheid ook die freelancers en dat bureau moeten raken, of alleen de mensen op de loonlijst.

Herkomst: Artikel 4, lid 1 richt zich tot aanbieders en gebruiksverantwoordelijken van AI-systemen en verplicht hen maatregelen te nemen om de ontwikkeling van AI-geletterdheid te ondersteunen van hun personeel en van andere personen die namens hen AI-systemen exploiteren en gebruiken. De bepaling verlangt dat zij daarbij rekening houden met technische kennis, ervaring, onderwijs en opleiding en met de context waarin de AI-systemen zullen worden gebruikt, evenals met de personen of groepen personen ten aanzien van wie de AI-systemen zullen worden gebruikt. Zij houdt niet in dat een bepaald niveau van AI-geletterdheid voor personen moet worden gewaarborgd.

De wettekst noemt naast personeel uitdrukkelijk andere personen die namens u AI-systemen exploiteren en gebruiken, en wij lezen dat als een functionele en niet als een contractuele afbakening. Een freelance eindredacteur die uw tool in uw workflow en op uw aanwijzing gebruikt hoort in die lezing binnen uw maatregelen, ook zonder arbeidsovereenkomst. Bij het externe bureau ligt het minder eenvoudig: werkt het in uw omgeving en op uw aanwijzing, dan is verdedigbaar dat het namens u handelt, maar zet het voor eigen rekening zijn eigen tools in, dan is het zelf gebruiksverantwoordelijke en zegt artikel 4 niet dat uw maatregelen dat werk moeten dekken. Praktisch betekent dat naar onze inschatting: leg in de opdrachtafspraken vast wie in welke rol werkt en welke instructie u meegeeft, in plaats van erop te vertrouwen dat de ander het zelf regelt.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 4, lid 1

werkvloer en personeel

Uitlegsessie bij de klant op het moment van ingebruikname

Asimov AI is een micro-organisatie met maximaal vijftien medewerkers die AI-diensten levert voor wetgevingswerk aan overheidsinstellingen en bedrijven. Bij elk nieuw contract organiseert het bedrijf een of meer inductiecalls met de teamleiders en ambtenaren die het platform gaan gebruiken, waarin het uitlegt hoe het platform en de onderliggende modellen werken en hoe hallucinaties in dit domein ontstaan en beperkt kunnen worden.

Herkomst: Deze praktijk is door de betrokken organisatie zelf aangeleverd aan het levend repository van de Commissie. Het repository verzamelt en deelt praktijken, maar keurt ze niet goed en stelt ze niet vast als norm.

Deze praktijk legt de geletterdheid waar het risico ontstaat: bij de mensen die het systeem straks gebruiken, op het moment dat zij ermee beginnen. Voor een kleine aanbieder is dat ook het enige haalbare moment, omdat er geen opleidingsafdeling is om het later over te doen. Wie dit overneemt, moet wel vastleggen wie erbij was en wat er is uitgelegd, want anders bestaat de inspanning na een jaar alleen nog in de herinnering van de deelnemers.

Levend repository van AI-geletterdheidspraktijken, ingediende praktijk van de betrokken organisatie

Geen verplicht cursusformat, geen certificaat, geen examen en geen AI-officer

De Q&A van de Commissie over AI-geletterdheid stelt dat er geen pasklare aanpak bestaat en dat er geen strikte vereisten of verplichte trainingen worden opgelegd. Over certificering vermeldt de Q&A letterlijk dat er geen certificaat nodig is en dat organisaties een interne registratie van trainingen of andere begeleidende initiatieven kunnen bijhouden. Over toetsing vermeldt zij dat artikel 4 van de AI-verordening geen verplichting inhoudt om de AI-kennis van werknemers te meten. Over governance vermeldt zij dat er geen specifieke governancestructuur is voorgeschreven om aan artikel 4 te voldoen, zodat er anders dan bij de functionaris voor gegevensbescherming onder de AVG geen AI-functionaris hoeft te worden aangesteld. Over het niveau vermeldt de Q&A dat AI-geletterdheid na de wijziging door de Digital Omnibus een verplichting blijft voor aanbieders en gebruiksverantwoordelijken van AI-systemen, maar dat er geen specifiek of toereikend niveau wordt voorgeschreven en dat de verordening niet vereist dat enig specifiek niveau van AI-geletterdheid van enig individu wordt gegarandeerd. Daartegenover stelt de Q&A dat het enkel vertrouwen op de gebruiksaanwijzing van het AI-systeem of het aan personeel vragen die te lezen, mogelijk niet doeltreffend is, en dat organisaties bij het bepalen van hun aanpak rekening moeten houden met het algemene begrip van AI binnen de organisatie, met de vraag of zij aanbieder of gebruiksverantwoordelijke zijn, met de risico's van de gebruikte systemen, met kennislacunes bij personeel gelet op technische kennis, ervaring, opleiding en training, en met contextuele factoren zoals sector, doel en getroffen bevolkingsgroepen. De Q&A vermeldt verder dat organisaties verschillende niveaus van training of leeraanpakken kunnen hanteren naargelang kennis, ervaring, opleiding en rol, en dat personeel met een opleiding of ervaring in AI-ontwikkeling normaal gesproken als AI-geletterd wordt beschouwd, waarbij de organisatie nog wel moet nagaan of die personen de specifieke AI-systemen van de organisatie begrijpen, weten hoe zij daarmee moeten omgaan en zich van alle risico's bewust zijn.

Commission Q&A on AI literacy, secties over het vereiste niveau, opleidingsvormen, certificaten, toetsing van kennis en governancestructuren (geraadpleegd op 9 augustus 2026)

Artikel 4 reikt verder dan uw eigen personeel, en de nationale toezichthouder handhaaft

De Q&A van de Commissie over AI-geletterdheid vermeldt dat artikel 4 geldt voor aanbieders en gebruiksverantwoordelijken van AI-systemen en daarnaast voor andere personen die namens hen met de werking en het gebruik van AI-systemen te maken hebben, en dat het daarbij gaat om personen die in brede zin binnen de organisatorische invloedssfeer vallen, met als voorbeelden een opdrachtnemer, een dienstverlener en een client. Over clienten vermeldt de Q&A dat zij afhankelijk van het specifieke risico AI-geletterdheid nodig kunnen hebben, met als redenering dat getroffen personen moeten begrijpen hoe met behulp van AI genomen besluiten hen raken. Over het geografische bereik vermeldt de Q&A dat het juridische kader van de AI-verordening geldt voor zowel publieke als private partijen binnen en buiten de Unie, zolang het AI-systeem op de Uniemarkt wordt gebracht, in de Unie wordt gebruikt, of het gebruik ervan gevolgen heeft voor personen die zich in de Unie bevinden. Over toezicht vermeldt de Q&A dat het toezicht op en de handhaving van artikel 4 niet bij het AI Office ligt maar onder de bevoegdheid van de nationale markttoezichtautoriteiten valt, en dat toezicht en handhaving zijn aangevangen op 2 augustus 2026, terwijl artikel 4 zelf van toepassing is geworden op 2 februari 2025. Over sancties vermeldt de Q&A dat nationale markttoezichtautoriteiten boetes en andere handhavingsmaatregelen kunnen opleggen bij inbreuken op artikel 4, dat dit gebeurt op grond van nationale wetgeving die de lidstaten uiterlijk 2 augustus 2025 moesten vaststellen, dat elke sanctie evenredig moet zijn en moet worden gebaseerd op het individuele geval, rekening houdend met factoren zoals de aard en de ernst van de inbreuk en het opzettelijke of nalatige karakter ervan, en dat een sanctie waarschijnlijker is wanneer er bewijs is van een incident dat is ontstaan door een gebrek aan passende training en begeleiding. Artikel 4 wordt niet genoemd in de opsomming van artikel 99 lid 4 van de AI-verordening, die uitsluitend ziet op de artikelen 16, 22, 23, 24, 26, 31, 33 lid 1, 3 en 4, 34 en 50, zodat de hoogte van een sanctie wegens artikel 4 uit het nationale recht volgt en niet uit de boeteplafonds van de verordening zelf. De Q&A vermeldt verder dat artikel 4 de bepalingen over transparantie in artikel 13 en over menselijk toezicht in artikel 14 versterkt en indirect bijdraagt aan de bescherming van getroffen personen, en dat voor gebruiksverantwoordelijken van hoogrisicosystemen de verplichting uit artikel 26 om te waarborgen dat personeel is opgeleid voor menselijk toezicht een afzonderlijke eis vormt; die eis wordt van toepassing op 2 december 2027 voor zelfstandige systemen uit bijlage III en op 2 augustus 2028 voor systemen uit bijlage I.

Commission Q&A on AI literacy, secties over doelgroepen, geografisch bereik, toezicht en handhaving, en sancties (geraadpleegd op 9 augustus 2026)

AI Act-eisen integreren in bestaande risico- en kwaliteitssystemen

Volgens de concept-richtsnoeren van 19 mei 2026, die uitdrukkelijk als concept voor stakeholderfeedback zijn gepubliceerd en geen bindende werking hebben, voorziet de AI Act in mechanismen om de nalevingslast voor marktdeelnemers te beperken. De concept-richtsnoeren noemen artikel 8 lid 2 AI Act over het samenspel met de sectorale wetgeving, artikel 9 lid 10 AI Act over risicobeheer en artikel 17 lid 3 AI Act over kwaliteitsbeheer, die marktdeelnemers toestaan om, waar nodig en passend, een beoordeling van AI-specifieke risico's toe te voegen aan reeds bestaande risico- en kwaliteitsmanagementsystemen. Artikel 40 AI Act vereist daarnaast dat geharmoniseerde normen onder de AI Act consistent zijn met normen die zijn ontwikkeld onder de harmonisatiewetgeving van Bijlage I. De concept-richtsnoeren stellen dat deze mechanismen marktdeelnemers in staat stellen om binnen een enkel nalevingskader te voldoen aan zowel de AI Act als de harmonisatiewetgeving, waarmee dubbel werk wordt vermeden terwijl een hoog beschermingsniveau voor gezondheid, veiligheid en grondrechten behouden blijft.

Concept-richtsnoeren Annex I, punten (61) en (62)

EN 18286:2026: kwaliteitsmanagementsysteem voor AI Act-doeleinden

EN 18286:2026 (Artificial intelligence: Quality management system for EU AI Act regulatory purposes) is opgesteld door CEN/CLC/JTC 21 onder standaardisatieverzoek M/613 en is op 12 juli 2026 door CEN-CENELEC goedgekeurd. Het is de eerste JTC 21-deliverable die het publicatiestadium bereikt. Volgens een gepubliceerde dekkingsverklaring bij de norm, die nog niet door een tweede onafhankelijke bron is bevestigd, ziet de norm op artikel 17 lid 1 punten a tot en met m en op artikel 11 lid 1 eerste zin, en uitdrukkelijk niet op artikel 17 leden 2 tot en met 4 en artikel 72. De norm is op dit moment NIET met referentie in het Publicatieblad bekendgemaakt. Het vermoeden van conformiteit van artikel 40 treedt pas in na die bekendmaking.

EN ISO/IEC 42001: managementsysteem voor kunstmatige intelligentie

ISO/IEC 42001:2023 is de eerste certificeerbare internationale norm voor een AI-managementsysteem, gepubliceerd op 18 december 2023 en opgebouwd volgens de plan-do-check-act-cyclus. De tekst is ongewijzigd overgenomen als EN ISO/IEC 42001:2026, goedgekeurd door CEN op 13 maart 2026, met nationale invoering door de aangesloten normalisatie-instituten. Deze adoptie is geen deliverable onder standaardisatieverzoek M/613: de norm is niet met referentie in het Publicatieblad bekendgemaakt en geeft dus geen vermoeden van conformiteit onder artikel 40. Voor artikel 17 is EN 18286:2026 de aangewezen deliverable onder M/613; ook die norm is niet met referentie in het Publicatieblad bekendgemaakt.

ISO/IEC 23894: leidraad voor risicomanagement van AI

ISO/IEC 23894:2023 (Information technology: Artificial intelligence: Guidance on risk management) is in februari 2023 gepubliceerd en is de eerste internationale norm die specifiek ingaat op risicomanagement voor AI. De norm is niet-voorschrijvend en is opgebouwd op de structuur van ISO 31000. De tekst is door CEN-CENELEC overgenomen als EN ISO/IEC 23894:2024. De norm is niet met referentie in het Publicatieblad bekendgemaakt en geeft dus geen vermoeden van conformiteit onder artikel 40 AI-verordening. De deliverable die dat wel beoogt te doen voor artikel 9 is prEN 18228.

prEN 18228: AI-risicomanagement voor hoog-risico systemen

prEN 18228 (AI risk management) is de JTC 21-deliverable onder M/613 die is bedoeld om vermoeden van conformiteit te geven met artikel 9 AI-verordening: het risicomanagementsysteem dat aanbieders van hoog-risico AI-systemen gedurende de gehele levenscyclus moeten opzetten, uitvoeren, documenteren en onderhouden. De publieke Enquiry liep tot 30 juli 2026. De norm is nog niet als EN gepubliceerd en is niet met referentie in het Publicatieblad bekendgemaakt. De aanduiding prEN betekent dat het om een ontwerptekst gaat.