Artikel 14 AI Act: menselijk toezicht op hoog-risico AI

"We hebben menselijk toezicht: een medewerker drukt op de knop." Dat is helaas de invulling die veel organisaties geven aan menselijk toezicht, en het is precies wat artikel 14 AI Act probeert te voorkomen. Een geautomatiseerd voorstel met een rubber stamp van een mens is geen toezicht, dat is een rituele bevestiging.

Artikel 14 schrijft effectief menselijk toezicht voor: de mens moet de uitkomst van de AI inhoudelijk kunnen begrijpen, beoordelen en zo nodig overrulen. Dat heeft consequenties voor wie u inzet, wat u die persoon laat zien en hoeveel tijd u inruimt.

Wat zegt artikel 14 precies?

Lid 1: hoog-risico AI moet zo ontworpen en ontwikkeld zijn dat natuurlijke personen er effectief toezicht op kunnen houden tijdens het gebruik.

Lid 2: het doel is om gezondheids-, veiligheids- of grondrechtenrisicos te voorkomen of te minimaliseren die kunnen voortvloeien uit het gebruik van het systeem, ook bij redelijkerwijs voorzienbaar misbruik.

Lid 3: passende toezichtmaatregelen moeten in verhouding staan tot de risicos, de mate van autonomie en de gebruikscontext.

Wat moet de toezichthoudende persoon kunnen?

Artikel 14 lid 4 lijst vijf concrete vermogens op die de toezichthouder moet hebben. Allemaal cumulatief, niet "een van deze":

1. Begrijpen wat het systeem doet

De persoon moet de capaciteiten en beperkingen van het systeem behoorlijk begrijpen en in staat zijn de werking ervan naar behoren te monitoren. Voor een AI-radioloog-assistent betekent dit dat de toezichthouder geen IT-er is maar een radioloog die ook iets van AI snapt.

2. Automation bias herkennen en weerstaan

De toezichthouder moet zich bewust zijn van de neiging om automatisch te vertrouwen op AI-uitvoer (automation bias). Dit is een training- en cultuurpunt: een persoon die elke dag tien uur AI-output afhandelt, gaat onvermijdelijk routinematig "ja" klikken tenzij u expliciet stuurt op kritisch lezen.

3. Output correct interpreteren

De toezichthouder moet de output van het systeem correct kunnen interpreteren, gegeven de beschikbare tools en methoden. Een AI die een score geeft van 0.82, betekent dat 82% zekerheid van een fout-positief? Of 82% kans op een terecht alarm? De toezichthouder moet dat weten.

4. Beslissingen kunnen overrulen of negeren

De persoon kan besluiten in elk specifiek geval het AI-systeem niet te gebruiken of de output ervan te negeren, opzij te zetten of om te keren. Dit is een proces- en autoriteitspunt: heeft de persoon ook echt de bevoegdheid om "nee" te zeggen tegen het systeem?

5. Het systeem kunnen stoppen via een stop-knop

De persoon moet kunnen ingrijpen in de werking van het hoog-risico AI-systeem of het kunnen onderbreken via een stop-knop of vergelijkbare procedure waarmee het systeem in een veilige staat tot stilstand komt.

Bijzondere eis voor biometrische identificatie

Artikel 14 lid 5 voegt voor remote biometrische identificatie iets toe: geen actie of besluit mag genomen worden op basis van het systeem tenzij ten minste twee personen apart de identificatie hebben geverifieerd en bevestigd. Vier-ogen-principe, hardcoded in de wet.

Verschillende vormen van toezicht: human-in, on of out-the-loop

In de praktijk zijn er drie modellen, die u afhankelijk van het risico kiest:

Praktisch: een toezichtprotocol in 6 punten

1. Wie is verantwoordelijk? Benoem een specifieke functie of persoon per AI-systeem.
2. Welke training is verplicht? Documenteer wat de toezichthouder moet weten van zowel het domein als de AI.
3. Hoeveel tijd per beoordeling? Reken zinvolle minuten per beslissing, niet "tussen door".
4. Welke informatie krijgt de toezichthouder te zien? Niet alleen het advies, ook de confidence, de belangrijkste features en bekende grenzen.
5. Hoe escaleert hij of zij? Wat is de procedure als de AI verkeerd zit of als er twijfel is?
6. Hoe wordt het vastgelegd? Logging van overrules en steekproeven, periodiek besproken in een review.