Definitie & Uitleg
De neiging van mensen om output van een geautomatiseerd systeem te vertrouwen en minder kritisch te beoordelen dan informatie uit andere bronnen, zelfs als er signalen zijn dat de output onjuist is. De EU AI Act noemt automation bias expliciet in Artikel 14 over menselijk toezicht: wie toezicht houdt op een hoog-risico AI-systeem moet zich bewust blijven van deze neiging.
Artikel 14(4)(b) EU AI Act vereist dat personen die toezicht houden op een hoog-risico AI-systeem zich bewust blijven van de mogelijke neiging om automatisch of overmatig te vertrouwen op de output van het systeem. Dit is een van de weinige plekken waar de wetgever een psychologisch fenomeen letterlijk in de wettekst heeft opgenomen. Providers moeten hun systemen zo ontwerpen dat effectief toezicht mogelijk is, en deployers moeten op grond van Artikel 26 toezicht beleggen bij mensen met de juiste competentie, training en autoriteit. Ook AI-geletterdheid onder Artikel 4 raakt hieraan: medewerkers moeten weten wanneer ze AI-output moeten wantrouwen.
Een recruiter krijgt van een AI-systeem een gerangschikte shortlist van kandidaten en neemt die ranking over zonder de onderliggende cv's zelf te beoordelen. Of een arts volgt een AI-diagnose terwijl het klinische beeld een andere richting wijst. In beide gevallen is er formeel een mens in de besluitvorming, maar functioneert die mens als doorgeefluik. Onderzoek naar onder meer rechtshandhaving en medische beeldvorming laat zien dat dit effect sterker wordt naarmate het systeem vaker gelijk heeft en de werkdruk hoger is.
De misvatting is dat een "human in the loop" automation bias vanzelf oplost. Zonder training, voldoende tijd per beslissing en de organisatorische vrijheid om van de AI-output af te wijken, wordt menselijk toezicht een formaliteit. Effectief toezicht vraagt om meetbare tegenspraak: hoe vaak wijkt de beoordelaar af van het systeem? Een afwijkingspercentage van vrijwel nul is meestal geen teken van een perfect systeem, maar van automation bias.