De antispieksoftware herkende haar niet als mens omdat ze zwart is, maar bij de VU vond ze geen gehoor

Gespannen tuurt masterstudent Robin Pocornie naar haar laptop. Het is 21 september 2020, half 2 ’s middags en ze zit klaar voor haar online tentamen Fundamentals of Bioinformatics aan de Vrije Universiteit (VU) in Amsterdam.

Pocornie is erop gebrand tijdens de coronacrisis het eerste tentamen van haar masterstudie bioinformatica te halen. Ze is zelfs uitgeweken naar het huis van haar ouders, omdat de omstandigheden daar optimaal zijn: stabiele wifi, goed licht, fijne ruimte.

Dan verschijnt een boodschap op haar scherm. ‘Ik zie dat je lang doet over inloggen’, staat er. ‘Gaat het oké?’

Ze probeert het nog eens. Ze zit stil voor haar webcam om haar studentenpas en haar gezicht te laten scannen door de antispieksoftware die ze moet gebruiken. Het programma herkent haar gezicht niet en vraagt haar om in een goed belichte kamer te gaan zitten, maar daar zít ze al. ‘Wat gebeurt hier?’, denkt Pocornie.

De zenuwen lopen op: ze is al minutenlang bezig, en als ze niet kort na de start van het tentamen inlogt, mag ze het niet maken. Dan krijgt ze een ingeving. Ze schijnt de lamp achter haar laptop recht in haar gezicht. Opeens lukt het wel. Na zestien minuten hannesen kan ze beginnen met het tentamen. ‘Toen begonnen wel alarmbelletjes af te gaan’, zegt Pocornie nu.

Om erop toe te zien dat studenten niet frauderen, grijpen universiteiten tijdens de coronacrisis op grote schaal naar antispieksoftware. Het populairste programma is van het Amerikaanse bedrijf Proctorio. Dat wordt nog altijd gebruikt door onder meer de VU, de UvA, de TU Eindhoven en de Universiteit Twente.

Om in te loggen, scant Proctorio de studentenpas en het gezicht van de student. Het programma heeft toegang tot de camera en microfoon om te controleren of een gezicht in beeld is, en of de student van het scherm wegkijkt of met iemand overlegt.

‘Proctorio + racism’

Pocornie ervaart nog vier keer inlogproblemen in de maanden die volgen. Eén keer wordt ze gedurende een tentamen uitgelogd omdat ze niet aanwezig zou zijn. Ze vermoedt dat de software haar gezicht niet herkent omdat ze zwart is. Als ze googelt op ‘proctorio + racism’, vult haar beeldscherm zich met verhalen van zwarte Amerikaanse studenten die ook kunst- en vliegwerk nodig hebben om in te kunnen loggen.

Uiteindelijk kan ze alle online tentamens maken, maar met minder tijd en meer stress dan haar studiegenoten. ‘Dat ik en studenten die op mij lijken verplicht software moesten gebruiken die niet voor ons gemaakt is, vond ik een nare situatie’, zegt Pocornie.

Gezichtsherkenningssoftware staat al jaren bekend om problemen met het herkennen van mensen van kleur. Berucht is het voorbeeld van Google Photos, dat zwarte mensen in 2015 aanmerkte als gorilla’s. Hoe donkerder de huid, hoe slechter gezichtsherkenningssoftware presteert, bleek ook uit een studie naar drie grote aanbieders van gezichtsherkenningssoftware uit 2018. Ook worden vrouwen minder vaak herkend als mens, zagen de onderzoekers. Zwarte vrouwen werden in bijna 35 procent van de gevallen niet herkend, tegenover 0,8 procent bij witte mannen.

De fouten zijn te verklaren doordat de software zichzelf patronen aanleert aan de hand van een collectie foto’s van gezichten. Als in zo’n collectie minder mensen van kleur voorkomen, leert het algoritme die minder goed te herkennen.

Dat ook Proctorio gezichten van mensen van kleur niet goed detecteert, wordt een half jaar na Pocornies eerste tentamen duidelijk. Een Amerikaanse software-onderzoeker concludeert dat het algoritme van Proctorio is ontwikkeld op basis van een dataset die consistent tot hogere foutmarges leidt onder mensen van kleur. Als de onderzoeker het algoritme dat Proctorio gebruikt test op 11 duizend gezichten, herkent het programma in meer dan de helft van de gevallen zwarte gezichten niet.

Huiverig

Aanvankelijk is Pocornie huiverig om de problemen aan te kaarten bij haar universiteit. Ze is een van de weinige zwarte studenten uit haar jaargang op de VU. ‘Dat vond ik lastig. Ik had de VU natuurlijk ook nog nodig.’ Toch besluit ze er iets van te zeggen.

Al bij de ombudsman vangt ze bot. Die laat weten geen klachten over ‘algemeen beleid’ te behandelen en verwijst haar naar de diversiteitsmedewerker. Die stuurt haar weer terug naar de ombudsman. Ontmoedigd zoekt ze hulp buiten de universiteit en klopt aan bij het Racism and Technology Center, dat haar bijstaat in het contact met de VU. 

Pocornie vraagt de universiteit nooit meer gebruik te maken van technologie met discriminerende effecten en de inzet van technologie vooraf te controleren op mogelijke discriminatie. De faculteit deed dat bij Proctorio niet, blijkt uit een gespreksverslag dat door de Volkskrant is ingezien. Onbegrijpelijk, vindt Pocornie.

Ook wil ze dat de universiteit publiekelijk excuses maakt. ‘Zodat andere studenten die hierdoor benadeeld zijn zich ook gehoord en gezien voelen’, licht Pocornie die eis toe. 

De universiteit willigt haar eisen niet in. Wel benadrukt de universiteit tegen de Volkskrant het ‘ten zeerste te betreuren dat de student stress heeft ervaren door de inzet van het systeem’. Een extern bureau gaat onderzoek doen naar de klachtmogelijkheden op de VU, zegt de universiteit. 

Extern onderzoek

In een brief aan Pocornie schrijft de universiteit dat er ‘extern onderzoek’ loopt naar het mogelijk discriminerend effect door Proctorio in het algemeen. Navraag van de Volkskrant leert dat dit onderzoek door Proctorio zelf wordt uitgevoerd. ‘Proctorio heeft ons meermalen verzekerd dat er geen verschil is tussen mensen met een donkere of een lichtere huid bij het gebruik van de software’, schrijft de universiteit. Ook is Pocornie’s melding ‘grondig onderzocht’ door de faculteit, maar kan er geen ‘objectief verband tussen de huidskleur van de student en het al dan niet naar behoren functioneren van het digitale toezicht’ worden vastgesteld. 

Zo’n verband vaststellen is per definitie onmogelijk bij dit soort software, zeggen experts. De software leert zichzelf patronen – in dit geval gezichten – te herkennen op basis van een collectie foto’s. Vervolgens trekt de software bij iedere nieuwe inlogpoging zelf de conclusie of er wel of geen gezicht in beeld is. Hoe die individuele beslissingen precies tot stand komen, is niet te reconstrueren.

‘De software herkent me niet als mens, en de universiteit erkent mijn ervaring niet’, is de conclusie die Pocornie trekt uit haar contact met de VU. Dus stappen Pocornie en het Racism and Technology Center vrijdag naar het College voor de Rechten van de Mens (CvRM), het nationale mensenrechteninstituut dat toeziet op gelijke behandeling. ‘Onderwijsinstellingen hebben de plicht ervoor te zorgen dat alle studenten tentamens onder gelijke omstandigheden kunnen maken’, licht Hans de Zwart van het Racism and Technology Center de keuze voor het CvRM toe.

Het is de eerste keer dat het CvRM een klacht ontvangt over gezichtsherkenning. Pocornie hoopt dat het tot de conclusie komt dat álle publieke instellingen van tevoren moeten onderzoeken of technologie discriminerende effecten heeft. Ondanks haar frustrerende ervaringen met de antispieksoftware haalt Pocornie uiteindelijk al haar tentamens.

Met medewerking van Maud Effting