"Het loont om zwarte mannen vaker te fouilleren": zo onethisch zijn algoritmes

Nooit kwamen zoveel mensen uit zoveel wetenschapsgebieden samen om zich te buigen over eerlijke algoritmes, als recentelijk tijdens de Conference for Fairness, Accountability, and Transparency die in New York werd gehouden. Dat 450 computerwetenschappers, beleidsmakers, juristen, ethici en sociale wetenschappers elkaar opzochten, heeft alles te maken met de ernst van het probleem: we worden omringd door kunstmatige intelligentie, maar die systemen blijken vaak vooroordelen te hebben.

Een voorbeeld: in de VS laten rechters zich informeren over risicoprofielen. Om die profielen te genereren zijn algoritmes geschreven, rekenregels waarmee een computer op basis van allerlei gegevens berekent hoe groot de kans is dat een verdachte in de toekomst weer in de fout zal gaan. 

"Racistische bias"

Onderzoeksjournalisten van ProPublica, een non-profit nieuwsorganisatie, toonden enkele jaren geleden aan dat deze algoritmes een racistische bias hadden, een scheef oog. Met alle gevolgen van dien: zwarte Amerikanen liepen het risico een hogere straf te krijgen dan hun witte medeburgers, enkel omdat de computer hun kans op herhaling van misdaad systematisch hoger inschatte.

Het is een extreem voorbeeld. Maar zeker geen uitzondering. Algoritmes worden inmiddels overal ingezet. Banken berekenen of iemand een lening mag krijgen. Grote bedrijven laten een computersysteem de topkandidaten filteren uit een stapel sollicitaties. Op sociale media bepalen algoritmes welke producten je te zien krijgt, tegen welke prijs, en welk nieuws bovenaan je tijdlijn verschijnt. 

De inzet van deze systemen is efficiënt. Ze kunnen in korte tijd, tegen lage kosten uitwijzen wat in theorie de beste, veiligste of goedkoopste keuze is. Dit werkt via machine learning: de computer leert uit eigen ervaring. Je geeft hem toegang tot data en hij ontwikkelt een kunstmatige intelligentie waarmee hij de benodigde voorspellingen kan doen. Dit klinkt betrouwbaar. De computer baseert zich immers op harde gegevens en is vrij van vooroordelen. Tenminste, dat zou je denken.

Gekleurd

Het gaat echter snel fout wanneer de data waarop het systeem zich baseert, zogenoemde biases bevatten, ofwel: gekleurd zijn. Dat kan komen door een slechte selectie van data, maar ook doordat vooroordelen die in de maatschappij leven, worden weerspiegeld in de gegevens waarmee de computer wordt gevoed.

Vorig jaar toonden wetenschappers van Princeton University dit aan door een kunstmatig intelligentiesysteem alledaags taalgebruik te laten analyseren. Het systeem bleek vooroordelen over te nemen die mensen eigen zijn. Zo leerde het zichzelf dat de woorden 'bloem' en 'aangenaam' met elkaar verbonden waren. En de onderzoekers zagen het systeem zo'n link ook maken voor 'mannelijk' en 'wiskunde' tegenover 'vrouw' en 'thuis'. Nog een stapje verder: het systeem koppelde Euro-Amerikaanse namen eerder aan positieve woorden, zoals 'gelukkig', en Afro-Amerikaanse namen eerder aan negatieve begrippen.

Datzelfde kan gebeuren wanneer een algoritme leert om werkzoekenden te koppelen aan passende vacatures, op basis van gegevens over het huidige bestand werknemers. Als blanke mannen vaker topfuncties vervullen, kan het systeem onbedoeld seksistische of racistische vooroordelen overnemen. Want het kwalificeert deze eigenschappen als relevant en maakt er vervolgens een universele regel van. Als het algoritme wordt ingezet voor de selectie van werknemers, hebben gekleurde vrouwen minder kans op hoge posities en wordt de ongelijkheid alleen maar groter. Dit zijn de algoritmes die wetenschappers nu proberen te corrigeren.

"Algoritmes zijn onze nieuwe kennis geworden, ze bepalen hoe we de wereld zien", vertelt Suresh Venkatasubramanian, professor aan de University of Utah. Venkatasubramanian is computerwetenschapper en wiskundige, en houdt zich al jaren bezig met het opsporen en corrigeren van discriminerende algoritmes. En dat is niet altijd makkelijk. "Want veel systemen, ook systemen die door de overheid worden gebruikt, worden gebouwd door private ondernemingen." Die bedrijven moeten daarmee hun geld verdienen, dus die houden hun algoritmes geheim. De commerciële systemen zijn een zwarte doos voor onderzoekers als Venkatasubramanian. De wetenschappers hebben geen zicht op de factoren die worden gewogen. "Dat is een bezwaar. Als je algoritmes bouwt die invloed hebben op het publiek, zouden deze transparant moeten zijn."

Om toch te achterhalen hoe eerlijk een systeem is, kunnen wetenschappers variëren met de gegevens die ze invoeren. Door te kijken naar het effect hiervan op de uitkomst, is te achterhalen welke eigenschappen meetellen in het algoritme. Is iemands leeftijd, afkomst, geslacht of inkomen van invloed op de voorspelling?

Wat het extra lastig maakt, is dat een factor als afkomst van invloed kan zijn, zonder dat iemands land van herkomst in de dataset voorkomt. Dat kan gebeuren wanneer andere gegevens die het systeem wél krijgt, sterk samenhangen met afkomst. Een systeem dat met postcode of opleidingsniveau rekent, kan zo een racistische bias hebben.

Eenzelfde probleem speelde bij het systeem dat risicoprofielen van verdachten berekent in de Verenigde Staten. Ras werd in dit algoritme niet meegenomen. Wel factoren als opleidingsniveau, of iemand een baan had, en of iemands ouders ooit in de gevangenis hebben gezeten. Omdat die factoren deels samenhangen met ras, kregen zwarte verdachten toch een significant hogere risicoscore dan hun witte medeburgers. En zo werden zij al benadeeld, nog voordat zij daadwerkelijk recidive hadden gepleegd. De kunstmatige intelligentie versterkt zo de scheve verhoudingen tussen bevolkingsgroepen.

Eerlijkheidscriteria

Als een algoritme oneerlijk blijkt, zijn er verschillende mogelijkheden om in te grijpen, zegt Venkatasubramanian. "Je kunt het trainingsproces van het systeem aanpassen door andere data als input te geven." Want als de bias uit de data verdwijnt, zal het zelflerende systeem gaan werken met eerlijkere regels. "Een andere optie is om het algoritme te laten voor wat het is, maar aan de uitkomst te sleutelen op basis van eerlijkheidscriteria."

Derde mogelijkheid is dat je het model zelf eerlijker laat rekenen. Dit kan door een juridisch of ethisch principe om te zetten in een wiskundige regel, die je in het algoritme kunt inbouwen. Je moet een eerlijkheidsbeginsel dan letterlijk vertalen naar enen en nullen.

"Ik noem mezelf ook wel rekenkundig filosoof", grapt Venkatasubramanian. Het automatiseren van een filosofisch beginsel als eerlijkheid, is een flinke uitdaging. "Filosofische beginsels zijn altijd vaag. Ik moet dus flink doorvragen bij de juristen waarmee ik samenwerk, om tot een harde regel te komen. We kunnen niet alle nuances vertalen."

Maar voordat de vertaalslag naar de intelligente machine kan worden gemaakt, moet de mens kiezen voor een filosofisch beginsel. Want wat is eerlijkheid? Op het congres in New York werd een lezing gehouden met als titel 'Handleiding vertalen: 21 definities van eerlijkheid en hun politiek'. Elk van de 21 definities zal een ander algoritme opleveren, met andere gevolgen in de praktijk.

Je kunt zeggen: ik wil dat mensen eerlijk worden behandeld op basis van hun vaardigheden. Dus mensen met dezelfde vaardigheden, moeten hetzelfde worden behandeld door het computersysteem. De regel die je dan opstelt in het algoritme, richt zich op het individu. Maar wat zijn gelijke vaardigheden? Moet je hierin niet corrigeren voor een achterstand die iemand heeft door sociale omstandigheden?

Een alternatieve visie op eerlijkheid is gericht op gelijkheid tussen groepen. Hoewel bijvoorbeeld mannen en vrouwen, of verschillende etnische groepen, in de praktijk misschien niet gelijk scoren op onderwijsniveau of welvaart, kun je als regel nemen dat deze groepen in het algoritme wel gelijk worden behandeld. Dit principe gaat ervan uit dat verschillen tussen groepen voortkomen uit ongelijke sociale situaties, die geen invloed zouden moeten hebben op de kansen van individuen.

De keus voor een van die uitgangspunten moet niet bij de computerwetenschappers liggen, zegt Venkatasubramanian. "Die discussie moet worden gevoerd met de mensen die geraakt worden door het algoritme. Het is eigenlijk een politieke keuze."

Om deze discussie te bevorderen, moeten computerwetenschappers samenwerken met juristen en ethici. Francien Dechesne van de Universiteit Leiden werpt zich vanuit het Leidse centrum voor Recht en Digitale Technologie (eLaw) op als vertaler tussen de verschillende velden. Met een achtergrond in zowel filosofie als informatica, was Dechesne werkzaam in automatisering en deed ze academisch onderzoek naar computerbeveiliging. "Ik begon me daar zorgen te maken. Ik zag hoe informatici voor de computationeel meest efficiënte formulering kiezen, dat is hun werk. Maar we verliezen zo de connectie met de werkelijke betekenis."

Een fundamenteel probleem is dat ethiek afhankelijk is van de context. Bij de keuze voor een definitie van eerlijkheid, laat je je leiden door de situatie waarin je het algoritme wilt gebruiken. Een wiskundige regel daarentegen is in principe universeel, overal toepasbaar. "Ethiek is eigenlijk niet te vertalen in enen en nullen", zegt Dechesne, die informatici de taal wil aanreiken om uit te leggen wat de beperkingen van hun algoritmes zijn. "Ze moeten in staat zijn om te zeggen: 'Ik heb dit systeem eerlijk gemaakt, op deze manier, met deze vooronderstellingen, voor deze situatie. Als je het ergens anders toepast, moet je dus oppassen'."

Misdaad

Een van de vraagstukken waar Venkatasubramanian in Utah nu aan werkt, is predictive policing. Door misdaaddata uit het verleden te verzamelen, voorspellen computersystemen waar en wanneer de politie het best kan patrouilleren om criminaliteit te voorkomen. De Nederlandse politie heeft ook zo'n systeem, het Criminaliteits Anticipatie Systeem (CAS), dat net landelijk is uitgerold. Een mogelijk probleem met deze systemen is dat ze gevoelig zijn voor feedbackloops, voor terugkoppelingen die zichzelf versterken. Venkatasubramanian: "Deze algoritmes sturen de politie naar plekken waar in het verleden veel misdaad is gepleegd. De politie gaat erheen, treft daar misdaad aan en rapporteert dat weer aan het systeem." In het systeem heeft deze plek nu nog meer misdaad op zijn naam, waardoor de politie er vaker heen zal worden gestuurd, daar meer misdaad zal registreren, et cetera.

Critici merken op dat deze systemen de politie vaak afstuurt op buurten waar minderheden wonen. Als de politie vervolgens steeds intensiever gaat patrouilleren in deze wijken, zullen minderheden vaker worden opgepakt voor kleine vergrijpen zoals drinken op straat. Zo kan het systeem een discriminerende werking ontwikkelen.

Etnisch profileren

Marc Schuilenburg houdt zich als filosoof en jurist aan de Vrije Universiteit Amsterdam bezig met veiligheidssystemen. "Op zich is het voorspellen op basis van postcode niet zo'n probleem", zegt hij. "Het wordt problematisch wanneer inzet van het systeem aanzet tot etnisch profileren." In de Verenigde Staten leidde het al snel tot het willekeurig aanhouden en fouilleren van met name zwarte mannen.

Om het probleem van die 'feedbackloops' te verhelpen, proberen wetenschappers de computersystemen een nieuwe manier van leren bij te brengen. Venkatasubramanian: "Je kunt het vergelijken met een robot die beloningen zoekt in een nieuwe omgeving. Als hij een schat vindt, is hij geneigd om in die regio te blijven zoeken, waardoor hij de mogelijkheid negeert om andere gebieden te verkennen. Wij leren systemen nu een balans te vinden tussen uitbuiten van historische kennis en nieuwe mogelijkheden verkennen."

Een ander risico ligt, volgens zowel Venkatasubramanian als Schuilenburg, in hoe verschillende systemen op elkaar gaan doorwerken. Algoritmes kunnen elkaars werking versterken. Schuilenburg: "Veiligheidssystemen worden in de toekomst ongetwijfeld gekoppeld. De politie werkt bijvoorbeeld samen met het bedrijf COOSTO, dat uitingen op sociale media analyseert. In tegenstelling tot CAS, zijn de algoritmes waarmee dit bedrijf werkt niet door de politie zelf ontwikkeld en het is dus onduidelijk hoe deze algoritmes werken.

Als deze twee worden gelinkt, gaat het opeens niet meer alleen over postcodes, maar over individuele gedragingen. Dan kom je in de gevarenzone, want dan gaan we voorspellingen maken op basis van op zichzelf onschuldige handelingen zoals het boeken van vlucht naar het Midden-Oosten of het volgen van een cursus godsdienst."

Maar zouden echt eerlijke algoritmes de wereld ook rechtvaardiger kunnen maken, door juist te corrigeren voor menselijke vooroordelen? Francien Dechesne in Leiden is hier sceptisch over. "Wel kunnen wiskundige modellen ons helpen zoeken naar oorzaken van onrechtvaardigheid. De grote kracht van data-wetenschap is dat we patronen aan het licht kunnen brengen. Niet om dan te zeggen: 'Zo zit de wereld nu eenmaal in elkaar', maar: 'Verrek, kennelijk is het in bepaalde delen van de stad nog steeds moeilijk voor mensen om hun sociale positie te verbeteren'. Met die kennis kunnen we zoeken naar oplossingen."

Venkatasubramanian deelt deze visie. "Algoritmes kunnen een lens zijn waardoor we naar de wereld kijken. Maar als we gaan voorspellen, moeten we ons samen afvragen wat we willen: het verleden reproduceren of verandering teweegbrengen."