Moeten wij ernstige incidenten met ons AI-systeem melden?

werkvloer en personeel

Beoordelingssysteem voor personeel gaat de fout in: melden of niet

Een werkgever gebruikt een AI-systeem dat het functioneren van medewerkers scoort en die score meeweegt bij promotie en ontslag. Na een wijziging aan het model blijkt een groep werknemers maandenlang te laag te zijn beoordeeld, en op die beoordelingen zijn al besluiten genomen. Personeelszaken vraagt zich af of dit een ernstig incident is en wie er dan moet melden.

Herkomst: Artikel 3, punt 49 omschrijft een ernstig incident als een incident of gebrekkig functioneren van een AI-systeem dat direct of indirect leidt tot onder meer een schending van de uit het recht van de Unie voortvloeiende verplichtingen ter bescherming van de grondrechten. Artikel 73, lid 1 legt de meldplicht voor ernstige incidenten bij de aanbieder van het in de Unie in de handel gebrachte hoog-risico AI-systeem, tegenover de markttoezichtautoriteiten van de lidstaat waarin het incident heeft plaatsgevonden. Lid 2 verlangt dat de melding wordt gedaan onmiddellijk nadat de aanbieder een oorzakelijk verband tussen het AI-systeem en het ernstige incident of de redelijke waarschijnlijkheid van een dergelijk verband heeft vastgesteld, en in ieder geval uiterlijk vijftien dagen nadat de aanbieder of, in voorkomend geval, de gebruiksverantwoordelijke zich bewust wordt van het ernstige incident, waarbij bij die termijn rekening wordt gehouden met de ernst van het incident. Lid 6 verplicht de aanbieder na de melding onverwijld het nodige onderzoek te verrichten in verband met het ernstige incident en het betrokken AI-systeem, met inbegrip van een risicobeoordeling en corrigerende maatregelen, en daarbij samen te werken met de bevoegde autoriteiten en, in voorkomend geval, met de betrokken aangemelde instantie. Artikel 26, lid 5 verplicht de gebruiksverantwoordelijke die een ernstig incident vaststelt daarvan onmiddellijk eerst de aanbieder in kennis te stellen en vervolgens de importeur of distributeur en de betreffende markttoezichtautoriteiten.

Op de werkvloer zit het lastige punt in de bewustwording uit lid 2: schade die dun is uitgesmeerd over veel medewerkers komt niet binnen als alarm, maar druppelt binnen via klachten, een beoordelingsgesprek of de ondernemingsraad. Of stelselmatig te lage scores met gevolgen voor promotie en ontslag een ernstig incident opleveren, hangt naar onze lezing af van de vraag of daarmee verplichtingen ter bescherming van grondrechten zijn geschonden in de zin van artikel 3, punt 49, onder c; die weging maakt artikel 73 niet voor u. Bepaal daarom vooraf welk signaal uit personeelszaken telt als incidentsignaal en wie het diezelfde week bij de aanbieder neerlegt, in plaats van dat achteraf te reconstrueren; artikel 26, lid 5 verlangt van u als gebruiksverantwoordelijke bovendien dat u bij een vastgesteld ernstig incident onmiddellijk eerst de aanbieder informeert en vervolgens de importeur of distributeur en de markttoezichtautoriteit. Let er ten slotte op dat de corrigerende maatregelen van lid 6 op het systeem zien; wat er met de al genomen besluiten over promotie of ontslag moet gebeuren, leest u naar onze lezing niet in dit artikel en loopt via andere regels, waaronder het arbeidsrecht.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 3, punt 49, artikel 26, lid 5, en artikel 73, leden 1, 2 en 6

industrie en productie

Ernstig incident aan de productielijn: wie meldt en binnen welke termijn

Een fabrikant levert een AI-systeem dat als veiligheidscomponent in een machine op de productielijn meedraait en tegelijk de kwaliteitscontrole aanstuurt. In de fabriek van een afnemer raakt een operator ernstig gewond nadat de machine bij een afwijking niet tot stilstand kwam. De vraag is wie de melding doet, aan wie, en welke klok op dat moment al loopt.

Herkomst: Artikel 73, lid 1 legt de melding van ernstige incidenten bij de aanbieder van het in de Unie in de handel gebrachte hoog-risico AI-systeem, gericht aan de markttoezichtautoriteiten van de lidstaat waarin het incident heeft plaatsgevonden. Lid 2 bepaalt dat die melding wordt gedaan onmiddellijk nadat de aanbieder een oorzakelijk verband tussen het AI-systeem en het ernstige incident of de redelijke waarschijnlijkheid van een dergelijk verband heeft vastgesteld, en in ieder geval uiterlijk vijftien dagen nadat de aanbieder of, in voorkomend geval, de gebruiksverantwoordelijke zich bewust wordt van het incident, waarbij bij die termijn rekening wordt gehouden met de ernst ervan. Lid 4 verkort dat bij overlijden van een persoon tot uiterlijk tien dagen. Lid 6 verplicht de aanbieder na de melding onverwijld het nodige onderzoek te verrichten, met inbegrip van een risicobeoordeling en corrigerende maatregelen, en geen onderzoek te verrichten waarbij het AI-systeem wordt gewijzigd op een wijze die van invloed kan zijn op de latere evaluatie van de oorzaken, zonder de bevoegde autoriteiten daarvan vooraf in kennis te stellen. Artikel 26, lid 5 verplicht de gebruiksverantwoordelijke die een ernstig incident vaststelt daarvan onmiddellijk eerst de aanbieder in kennis te stellen en vervolgens de importeur of distributeur en de betreffende markttoezichtautoriteiten, en verklaart artikel 73 van overeenkomstige toepassing wanneer de gebruiksverantwoordelijke de aanbieder niet kan bereiken.

Wij lezen lid 2 zo dat de termijn al kan gaan lopen bij de gebruiksverantwoordelijke op de werkvloer van de fabriek, terwijl de melding van lid 1 bij u als aanbieder van het AI-systeem ligt. Dat betekent niet dat uw afnemer stil kan blijven zitten: artikel 26, lid 5 geeft de gebruiksverantwoordelijke een eigen kennisgevingsroute langs u, de importeur of distributeur en de markttoezichtautoriteit, en laat artikel 73 van overeenkomstige toepassing zijn wanneer u niet bereikbaar bent. Leg die route daarom vast in het contract en in de servicelijn voordat er iets gebeurt. Bij een zwaargewonde operator zonder dodelijke afloop is naar onze lezing de buitengrens van lid 2 aan de orde en niet de tien dagen van lid 4; hoeveel eerder dan die buitengrens gemeld moet worden, laat de tekst open en hangt af van de ernst. Houd er daarnaast rekening mee dat de reflex om de machine direct te herstellen en de productie te hervatten kan botsen met lid 6, omdat onderzoek waarbij het systeem wordt gewijzigd eerst een bericht aan de bevoegde autoriteit vraagt. Wie dat pas tijdens het incident uitzoekt, verliest dagen die er binnen deze termijnen niet zijn.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 73, leden 1, 2, 4 en 6, en artikel 26, lid 5

onderwijs

Proctoring bij een tentamen slaat door: van signaal naar meldplicht

Een hogeschool zet proctoringsoftware in bij een online tentamen en merkt dat een groep studenten stelselmatig onterecht als verdacht wordt gemarkeerd, waarna cijfers zijn ingetrokken. Docenten en de examencommissie willen weten of dit patroon een ernstig incident is en, zo ja, wie het moet melden en binnen welke tijd.

Herkomst: Artikel 3, punt 49 omschrijft een ernstig incident als een incident of gebrekkig functioneren van een AI-systeem dat direct of indirect leidt tot onder meer een schending van de uit het recht van de Unie voortvloeiende verplichtingen ter bescherming van de grondrechten. Artikel 73, lid 1 verplicht de aanbieder van een in de Unie in de handel gebracht hoog-risico AI-systeem ernstige incidenten te melden bij de markttoezichtautoriteiten van de lidstaat waarin het incident heeft plaatsgevonden. Lid 2 bepaalt dat de melding wordt gedaan onmiddellijk nadat de aanbieder het oorzakelijk verband of de redelijke waarschijnlijkheid daarvan heeft vastgesteld, en in ieder geval uiterlijk vijftien dagen nadat de aanbieder of, in voorkomend geval, de gebruiksverantwoordelijke zich bewust wordt van het ernstige incident. Lid 5 staat toe dat, indien dit nodig is om tijdige melding te waarborgen, een eerste, onvolledige melding wordt gedaan die wordt gevolgd door een volledige melding. Lid 7 bepaalt dat de markttoezichtautoriteit na ontvangst van een melding over een ernstig incident als bedoeld in artikel 3, punt 49, onder c, de in artikel 77, lid 1, bedoelde nationale overheidsinstanties of organen in kennis stelt. Artikel 26, lid 5 verplicht de gebruiksverantwoordelijke die een ernstig incident vaststelt daarvan onmiddellijk eerst de aanbieder in kennis te stellen en vervolgens de importeur of distributeur en de betreffende markttoezichtautoriteiten.

Wij lezen artikel 73 zo dat een incident in het onderwijs zelden een enkel dramatisch moment is: het signaal zit in het patroon in de toetsuitslagen, en dat patroon ziet de hogeschool eerder dan de leverancier van de software. Of dat patroon ook een ernstig incident is, staat daarmee nog niet vast: dat hangt ervan af of het onterecht markeren en het intrekken van cijfers valt aan te merken als een schending van grondrechtenbeschermende verplichtingen in de zin van artikel 3, punt 49, onder c, en die weging maakt artikel 73 niet voor u. Wie die vraag openhoudt tot het eigen onderzoek rond is, neemt wel een risico, want de termijn van lid 2 loopt vanaf bewustwording. Richt uw examen- en klachtenproces daarom zo in dat een dergelijk patroon binnen dagen bij de aanbieder ligt; artikel 26, lid 5 legt op de school als gebruiksverantwoordelijke bovendien een eigen kennisgevingsplicht richting aanbieder, importeur of distributeur en markttoezichtautoriteit. De eerste, onvolledige melding uit lid 5 is daarbij het drukventiel; wachten op een afgerond onderzoeksrapport is dat niet.

Redactioneel voorbeeld. De regel hierboven staat in de verordening. De situatie is door ons geschreven om te laten zien hoe die regel in deze sector uitpakt, en is niet ontleend aan een uitgewerkt geval uit officiële richtsnoeren.

Artikel 3, punt 49, artikel 26, lid 5, en artikel 73, leden 1, 2, 5 en 7

werving en selectie

Aanbeveling van een kandidaat die automatisch een besluit wordt

Een werkgever gebruikt een systeem dat sollicitanten rangschikt en een kandidaat voor aanname aanbeveelt. In de ene inrichting weegt een recruiter die aanbeveling mee in een eigen beoordeling; in de andere inrichting wordt de uitkomst automatisch toegepast en valt een kandidaat af zonder dat iemand ernaar kijkt.

Herkomst: De ontwerprichtsnoeren van de Commissie van 19 mei 2026 behandelen dit geval bij de vraag of een toepassing onder Bijlage III valt. Het document is een consultatieversie: niet bindend en nog niet definitief.

Toets uw wervingssysteem op het beoogde doel en niet op de vraag of een recruiter meekijkt, want het toevoegen of weglaten van menselijke tussenkomst verandert de indeling als hoog risico niet.

Ontwerprichtsnoeren classificatie hoog-risico AI, 19 mei 2026, bijlage over Bijlage III

Geen verplicht cursusformat, geen certificaat, geen examen en geen AI-officer

De Q&A van de Commissie over AI-geletterdheid stelt dat er geen pasklare aanpak bestaat en dat er geen strikte vereisten of verplichte trainingen worden opgelegd. Over certificering vermeldt de Q&A letterlijk dat er geen certificaat nodig is en dat organisaties een interne registratie van trainingen of andere begeleidende initiatieven kunnen bijhouden. Over toetsing vermeldt zij dat artikel 4 van de AI-verordening geen verplichting inhoudt om de AI-kennis van werknemers te meten. Over governance vermeldt zij dat er geen specifieke governancestructuur is voorgeschreven om aan artikel 4 te voldoen, zodat er anders dan bij de functionaris voor gegevensbescherming onder de AVG geen AI-functionaris hoeft te worden aangesteld. Over het niveau vermeldt de Q&A dat AI-geletterdheid na de wijziging door de Digital Omnibus een verplichting blijft voor aanbieders en gebruiksverantwoordelijken van AI-systemen, maar dat er geen specifiek of toereikend niveau wordt voorgeschreven en dat de verordening niet vereist dat enig specifiek niveau van AI-geletterdheid van enig individu wordt gegarandeerd. Daartegenover stelt de Q&A dat het enkel vertrouwen op de gebruiksaanwijzing van het AI-systeem of het aan personeel vragen die te lezen, mogelijk niet doeltreffend is, en dat organisaties bij het bepalen van hun aanpak rekening moeten houden met het algemene begrip van AI binnen de organisatie, met de vraag of zij aanbieder of gebruiksverantwoordelijke zijn, met de risico's van de gebruikte systemen, met kennislacunes bij personeel gelet op technische kennis, ervaring, opleiding en training, en met contextuele factoren zoals sector, doel en getroffen bevolkingsgroepen. De Q&A vermeldt verder dat organisaties verschillende niveaus van training of leeraanpakken kunnen hanteren naargelang kennis, ervaring, opleiding en rol, en dat personeel met een opleiding of ervaring in AI-ontwikkeling normaal gesproken als AI-geletterd wordt beschouwd, waarbij de organisatie nog wel moet nagaan of die personen de specifieke AI-systemen van de organisatie begrijpen, weten hoe zij daarmee moeten omgaan en zich van alle risico's bewust zijn.

Commission Q&A on AI literacy, secties over het vereiste niveau, opleidingsvormen, certificaten, toetsing van kennis en governancestructuren (geraadpleegd op 9 augustus 2026)

Artikel 4 reikt verder dan uw eigen personeel, en de nationale toezichthouder handhaaft

De Q&A van de Commissie over AI-geletterdheid vermeldt dat artikel 4 geldt voor aanbieders en gebruiksverantwoordelijken van AI-systemen en daarnaast voor andere personen die namens hen met de werking en het gebruik van AI-systemen te maken hebben, en dat het daarbij gaat om personen die in brede zin binnen de organisatorische invloedssfeer vallen, met als voorbeelden een opdrachtnemer, een dienstverlener en een client. Over clienten vermeldt de Q&A dat zij afhankelijk van het specifieke risico AI-geletterdheid nodig kunnen hebben, met als redenering dat getroffen personen moeten begrijpen hoe met behulp van AI genomen besluiten hen raken. Over het geografische bereik vermeldt de Q&A dat het juridische kader van de AI-verordening geldt voor zowel publieke als private partijen binnen en buiten de Unie, zolang het AI-systeem op de Uniemarkt wordt gebracht, in de Unie wordt gebruikt, of het gebruik ervan gevolgen heeft voor personen die zich in de Unie bevinden. Over toezicht vermeldt de Q&A dat het toezicht op en de handhaving van artikel 4 niet bij het AI Office ligt maar onder de bevoegdheid van de nationale markttoezichtautoriteiten valt, en dat toezicht en handhaving zijn aangevangen op 2 augustus 2026, terwijl artikel 4 zelf van toepassing is geworden op 2 februari 2025. Over sancties vermeldt de Q&A dat nationale markttoezichtautoriteiten boetes en andere handhavingsmaatregelen kunnen opleggen bij inbreuken op artikel 4, dat dit gebeurt op grond van nationale wetgeving die de lidstaten uiterlijk 2 augustus 2025 moesten vaststellen, dat elke sanctie evenredig moet zijn en moet worden gebaseerd op het individuele geval, rekening houdend met factoren zoals de aard en de ernst van de inbreuk en het opzettelijke of nalatige karakter ervan, en dat een sanctie waarschijnlijker is wanneer er bewijs is van een incident dat is ontstaan door een gebrek aan passende training en begeleiding. Artikel 4 wordt niet genoemd in de opsomming van artikel 99 lid 4 van de AI-verordening, die uitsluitend ziet op de artikelen 16, 22, 23, 24, 26, 31, 33 lid 1, 3 en 4, 34 en 50, zodat de hoogte van een sanctie wegens artikel 4 uit het nationale recht volgt en niet uit de boeteplafonds van de verordening zelf. De Q&A vermeldt verder dat artikel 4 de bepalingen over transparantie in artikel 13 en over menselijk toezicht in artikel 14 versterkt en indirect bijdraagt aan de bescherming van getroffen personen, en dat voor gebruiksverantwoordelijken van hoogrisicosystemen de verplichting uit artikel 26 om te waarborgen dat personeel is opgeleid voor menselijk toezicht een afzonderlijke eis vormt; die eis wordt van toepassing op 2 december 2027 voor zelfstandige systemen uit bijlage III en op 2 augustus 2028 voor systemen uit bijlage I.

Commission Q&A on AI literacy, secties over doelgroepen, geografisch bereik, toezicht en handhaving, en sancties (geraadpleegd op 9 augustus 2026)

Artikel 6 kent twee gescheiden routes naar hoog-risico

De concept-richtsnoeren van de Europese Commissie over de classificatie van hoog-risico AI van 19 mei 2026, die uitdrukkelijk niet bindend zijn, stellen in randnummer (7) dat een AI-systeem in twee scenario's als hoog-risico geldt: ten eerste wanneer het bedoeld is om te worden gebruikt als veiligheidscomponent van een product, of zelf een product is, dat onder de in Bijlage I genoemde harmonisatiewetgeving van de Unie valt en waarvoor een conformiteitsbeoordeling door een derde partij is vereist, en ten tweede wanneer het valt onder een van de gebruikssituaties in de gebieden van Bijlage III. Randnummer (448) van diezelfde concept-richtsnoeren vermeldt dat de toepassingsdatums van artikel 113 met de AI Omnibus zijn verschoven naar 2 december 2027 voor de route van artikel 6 lid 2 en 2 augustus 2028 voor de route van artikel 6 lid 1.

Concept-richtsnoeren classificatie hoog-risico AI (19 mei 2026), hoofdstuk Algemene beginselen, sectie II, randnummer (7); sectie V, randnummer (448)

Breed gepositioneerde en general purpose AI-systemen: een disclaimer is niet genoeg

Volgens de niet-bindende concept-richtsnoeren van 19 mei 2026 over de classificatie van hoog-risico AI geldt, blijkens randnummer (12), dat wanneer de gebruiksaanwijzing, contractuele afspraken, gebruiksvoorwaarden, gebruiksbeleid, promotie- en verkoopmateriaal of technische documentatie het AI-systeem presenteren als breed toepasbaar over een veelheid van contexten en functies, en de toepassing niet consequent beperken of hoog-risico gebruik niet uitsluiten, het beoogde doel van het systeem geacht wordt ook hoog-risico gebruikssituaties te omvatten, waardoor het systeem als hoog-risico kwalificeert. Dat geldt volgens deze concept-richtsnoeren in het bijzonder wanneer dergelijk gebruik haalbaar en redelijkerwijs te voorzien is gezien de functionaliteiten en capaciteiten van het systeem. Hetzelfde randnummer stelt dat het enkel beweren, bijvoorbeeld in de gebruiksvoorwaarden, dat hoog-risico gebruik is uitgesloten, onvoldoende is wanneer de algehele presentatie, voorbeelden of productpositionering van de aanbieder dat gebruik feitelijk mogelijk maakt of bevordert, en dat beperkingen duidelijk, concreet en coherent in al het materiaal moeten worden beschreven.

Concept-richtsnoeren classificatie hoog-risico AI (19 mei 2026), hoofdstuk Algemene beginselen, sectie II.2, randnummer (12)