We leven in de veiligste tijd uit de menselijke geschiedenis. Onze auto’s remmen autonoom voor voetgangers, onze fabrieken schakelen zichzelf uit bij het kleinste defect, en algoritmes waken over onze digitale infrastructuur. Het doel van deze systemen is simpel: de menselijke fout – de zwakste schakel in bijna elke keten – elimineren.

Maar er doemt een schaduwkant op. In onze drang om risico’s tot nul te reduceren, creëren we onbedoeld nieuwe, vaak complexere gevaren. Dit fenomeen staat bekend als de veiligheidsparadox. Hoe kan het dat de systemen die ons moeten beschermen, ons soms juist kwetsbaarder maken?

1. Risicocompensatie: Het ‘Peltzman-effect’

Een van de meest fascinerende psychologische verklaringen is de theorie van risicocompensatie, vernoemd naar econoom Sam Peltzman. De kern van zijn bevinding is dat mensen hun gedrag aanpassen aan het waargenomen veiligheidsniveau.

Stel je voor dat je in een oude auto rijdt zonder airbags, ABS of kreukelzone. Je bent je uiterst bewust van je eigen kwetsbaarheid; je houdt meer afstand en neemt bochten voorzichtig. Stap nu over in een hypermoderne SUV met dertig verschillende veiligheidsassistenten. Het gevoel van onkwetsbaarheid neemt toe, waardoor je onbewust harder gaat rijden, later remt of sneller je telefoon erbij pakt.

Het resultaat? De technische veiligheidswinst wordt tenietgedaan door risicovoller gedrag. De techniek beschermt ons tegen de impact, maar stimuleert ons tegelijkertijd om de grenzen op te zoeken.

2. De paradox van automatisering: De ‘Out-of-the-loop’ crisis

Lidewijde Ongering, voormalig topambtenaar, waarschuwde al eens: “Automatisering is een zegen, totdat het misgaat.” Dit is nergens zo duidelijk als in de luchtvaart of bij zelfrijdende auto’s.

Wanneer een systeem 99,9% van de tijd perfect functioneert, verslapt de menselijke aandacht. We raken ‘out-of-the-loop’. Dit creëert een levensgevaarlijk scenario wanneer die resterende 0,1% zich voordoet:

  • Vaardigheidsverlies: Omdat de computer alles doet, oefent de mens de basisvaardigheden niet meer.

  • Vertraagde reactietijd: Als een systeem plotseling de controle teruggeeft aan de mens (een ‘handover’), heeft de mens enkele seconden nodig om de situatie te begrijpen. In een noodsituatie is die tijd er niet.

Dit zagen we tragisch genoeg bij de crashes met de Boeing 737 MAX, waarbij piloten moesten vechten tegen een geautomatiseerd systeem (MCAS) dat gebaseerd was op foutieve sensordata. Het veiligheidssysteem werd de vijand.

3. Complexiteit en het ‘Normale Ongeluk’

Socioloog Charles Perrow introduceerde de term ‘Normal Accidents’. Hij stelde dat in moderne, nauw verbonden systemen (zoals kerncentrales of complexe chemische fabrieken) ongelukken onvermijdelijk zijn, juist door de veiligheidssystemen.

Elke keer als we een extra beveiligingslaag toevoegen, voegen we ook extra componenten toe die kunnen falen.

  1. Interactieve complexiteit: Veiligheidssysteem A reageert op een fout, maar die reactie veroorzaakt een onvoorziene storing in systeem B.

  2. Onzichtbare afhankelijkheden: Omdat systemen zo complex zijn, begrijpt niemand meer het volledige plaatje. Een “veiligheidsingreep” kan een kettingreactie veroorzaken die erger is dan het oorspronkelijke probleem.

4. Alarmmoeheid: De jongen die ‘wolf’ riep

In ziekenhuizen, controlekamers en IT-centra worden operators de hele dag blootgesteld aan waarschuwingen. Moderne systemen zijn vaak zo conservatief ingesteld dat ze voor elk klein wissewasje een alarm geven.

Dit leidt tot alarmmoeheid (alarm fatigue). Wanneer 95% van de meldingen vals alarm is of geen directe actie vereist, worden mensen ongevoelig voor de signalen. Het kritieke alarm dat een echte ramp aankondigt, wordt dan simpelweg genegeerd, uitgezet of weggeklikt als ‘weer een storinkje’.

5. Overmoed en het einde van het instinct

Vroeger vertrouwden we op onze zintuigen. Een timmerman voelde aan het trillen van zijn machine dat er iets mis was. Een automobilist voelde de gladheid van de weg via het stuur.

Moderne systemen filteren deze feedback weg. We worden geïsoleerd van de realiteit door schermen en sensoren. Dit zorgt voor een gevaarlijk soort overmoed. We vertrouwen blindelings op het groene lampje op het dashboard. Als dat lampje brandt, gaan we ervan uit dat alles veilig is, zelfs als onze intuïtie iets anders zegt. Maar sensoren kunnen bevriezen, algoritmes kunnen ‘hallucineren’ en software kan bugs bevatten.

Hoe moet het dan wel?

Betekent dit dat we alle veiligheidssystemen overboord moeten gooien? Absoluut niet. Ze redden dagelijks duizenden levens. Maar we moeten de manier waarop we ze ontwerpen en gebruiken veranderen.

1. Human-Centric Design

Systemen moeten niet ontworpen worden om de mens te vervangen, maar om de mens te ondersteunen. De mens moet de ‘commander’ blijven die begrijpt wat er gebeurt, in plaats van een passieve toeschouwer die pas wordt geroepen als het al te laat is.

2. Graceful Degradation

Een goed systeem moet “elegant kunnen falen”. Als de techniek uitvalt, moet de situatie niet direct catastrofaal worden, maar moet het systeem terugvallen op een eenvoudigere, handmatig bestuurbare modus.

3. Training in abnormaliteit

We trainen mensen vaak in hoe een systeem werkt als alles goed gaat. We zouden ze juist moeten trainen in hoe het systeem zich gedraagt als het faalt. Wat gebeurt er als de sensoren tegenstrijdige informatie geven?

Conclusie

Moderne veiligheidssystemen zijn een technologisch wonder, maar ze zijn geen wondermiddel. De grootste fout die we kunnen maken, is geloven dat we risico volledig kunnen uitbannen. Veiligheid is geen statische toestand die je “koopt” met een extra gadget of een nieuw algoritme; het is een actieve vaardigheid van mensen die alert blijven, zelfs (of juist) wanneer de techniek hen vertelt dat alles in orde is.

Echte veiligheid ontstaat daar waar menselijke intuïtie en technologische precisie elkaar versterken, in plaats van dat de één de ander verblindt.