"Wat als het systeem uitvalt tijdens een spoedgeval?"
Dit is geen hypothetische vraag. Technologie faalt soms, en bij medische AI kan falen levensgevaarlijk zijn. Daarom zijn veiligheidsfeatures niet optioneel, ze zijn de basis waarop alles rust. In dit artikel bespreek ik de mechanismen die ervoor zorgen dat AI-triage veilig blijft, ook als het misgaat.
Waarom veiligheidsfeatures essentieel zijn
AI-triage valt onder de EU AI Act als "hoog-risico" systeem. Dit betekent wettelijke verplichtingen voor:
- •Menselijk toezicht. Een mens moet altijd kunnen ingrijpen.
- •Uitlegbaarheid. Beslissingen moeten traceerbaar zijn.
- •Nauwkeurigheid. Het systeem moet betrouwbaar presteren.
- •Robuustheid. Het moet blijven werken bij storingen.
Confidence thresholds: wanneer is zekerheid genoeg?
Een confidence threshold is een drempelwaarde die bepaalt wanneer het systeem zelfstandig mag beslissen en wanneer een mens moet kijken.
| Zekerheid | Actie |
|---|---|
| >95% | Systeem handelt autonoom, steekproefsgewijze controle |
| 85-95% | Systeem doet voorstel, triagist bevestigt |
| 70-85% | Systeem signaleert onzekerheid, triagist beslist |
| <70% | Direct naar mens, AI geeft alleen context |
De exacte drempels zijn per organisatie instelbaar. Een praktijk met veel ervaren triagisten kan andere drempels hanteren dan een die net begint.
Override mogelijkheden voor zorgprofessionals
Een triagist moet elke AI-beslissing kunnen overschrijven. Dit is wettelijk verplicht en praktisch noodzakelijk.
Hoe een goede override werkt:
- Eenvoudig. Maximaal 2-3 klikken, geen technische kennis vereist.
- Met reden. De triagist geeft kort aan waarom (dropdown menu).
- Gelogd. Elke override wordt vastgelegd voor analyse en leren.
- Zonder sanctie. Overriden mag nooit worden afgestraft, dat ontmoedigt veilig gedrag.
Automatische escalatie bij gevaar
Sommige situaties vereisen directe actie, ongeacht de confidence score. Het systeem herkent deze patronen en escaleert automatisch:
- !Alarmsymptomen. "Niet ademen", "bewusteloos", "veel bloed" triggeren direct U1.
- !Suicidale uitingen. Directe escalatie plus melding aan triagist.
- !Kwetsbare groepen. Baby's, zwangeren, ouderen krijgen extra aandacht.
Deze escalaties werken binnen seconden en kunnen niet worden uitgeschakeld. Ze vormen het laatste vangnet.
Backup-systemen: als de techniek faalt
Technologie faalt. Daarom moet er een plan B zijn:
- •Redundante servers. Als een server uitvalt, neemt een andere over (failover).
- •Terugval op regels. Bij AI-uitval kan een eenvoudigere, rule-based triage het overnemen.
- •Papieren protocol. Bij totale uitval is er een handmatig noodprotocol.
- •Uptime SLA. Leveranciers garanderen typisch 99.9% beschikbaarheid.
Audit trails en logging
Elke AI-beslissing moet traceerbaar zijn. Dit is vereist voor AVG-compliance en kwaliteitsverbetering.
Wat wordt gelogd:
- •Tijdstempel en model-versie
- •Invoerdata en outputclassificatie
- •Confidence score en onderbouwing
- •Eventuele overrides en door wie
- •Escalaties en triggers
Kernpunten
- • Confidence thresholds bepalen wanneer AI zelfstandig mag handelen
- • Override moet eenvoudig, gelogd en zonder sanctie zijn
- • Alarmsymptomen triggeren directe escalatie, altijd
- • Backup-systemen zorgen voor continuïteit bij storingen
- • Audit trails maken elke beslissing traceerbaar