Onlangs hebben we een interessante kennisuitwisseling georganiseerd, waar we geprobeerd hebben om uit de ervaring van de sustainability praktijk lering te trekken voor de informatiebeveiliging. Nu sprak ik onlangs iemand uit de medische wereld, die me vertelde over testresultaten die soms tegen de intuïtie in lijken te gaan en op zijn minst verrassend zijn. Een goed voorbeeld van het probleem van accurate detectie zijn testen voor ziektes waar het moeilijk is te begrijpen waarom een goede test toch een hoog aantal false positives oplevert. De betrouwbaarheid van dergelijke testen wordt bepaald door twee primaire parameters:

1. Accuratesse is de waarschijnlijkheid dat een zieke persoon ook daadwerkelijk positief test voor de geteste ziekte. Het is een weergave van de gevoeligheid van de test die je weer kunt geven als percentage van de hoeveelheid mensen waarvan je voorspelt dat hij ziek is, die werkelijk ziek zijn.  Een test die 99% accuratesse heeft, betekent, dat wanneer die uitgevoerd wordt op 1.000.000 zieken, bij 990.000 een positief testresultaat voor die ziekte op zal leveren .
2. Specificiteit is de waarschijnlijkheid, dat een test bij een gezond persoon ook een negatief resultaat oplevert, d.w.z. dat die niet ziek is. Een test met 97% specificiteit levert, uitgevoerd op een populatie van 1.000.000 gezonde mensen, 970.000 negatieve resultaten. (1, 2)

Laten we nu een zeldzame ziekte nemen, met een frequentie van 0,01%, oftewel, die 1 op de 10.000 mensen treft. Wanneer de test hiervoor 99% accuraat en 97% specifiek is, krijgen we bij een test op 1.000.000 personen bij 99 van de 100 met de ziekte een correcte uitslag. Maar, bij een specificiteit van 97%, levert dit ook een incorrecte uitslag op voor 29.997 personen uit de groep van 999.900 die de ziekte niet hebben. Met deze test betekent dat dus, dat een positief testresultaat in minder dan 0,3% van de gevallen ook daadwerkelijk betekent dat de geteste ziek is. Verrassend, nietwaar? De consequenties kunnen echter enorm zijn, gezonde mensen die denken dat ze ziek zijn is geen prettige gedachte. Ik ben benieuwd, of in de informatiebeveiliging op dezelfde manier met testen omgegaan wordt en ben benieuwd naar jullie gedachten.