På senare tid har fenomenet automatiserat beslutsfattande (d.v.s beslut fattade av intelligenta datorprogram) diskuterats allt flitigare. Vissa banker utreder redan idag möjligheten att använda automatiserat beslutsfattande för att hantera enklare kreditansökningar, och den snabba utvecklingen av maskininlärning bebådar en alltmer datastyrd framtid. Förebuden har emellertid även väckt en oväntad filosofisk fråga, som undan för undan gnagt sig fram i samhällsdebatten – kan datorer vara sexister?
En något tillspetsad fundering, men icke desto mindre allvarligt menad. För att besvara den är dock först och främst några snabba klargöranden på sin plats. Maskininlärning innebär (synnerligen grovt förenklat) att ett avancerat dataprogram tilldelas ett slutmål, och sedan självständigt får “upptäcka” mönster som hjälper den att uppnå slutmålet.
Ett välkänt exempel på maskininlärning in action är Deepminds schackdator Alpha Zero, som i slutet av 2017 lärde sig spela schack bättre än stormästare på mindre än ett dygn. I den bästa av världar kan maskininlärning på ett revolutionerande sätt effektivisera åtskilliga branscher, vilka för närvarande är beroende av mänsklig arbetskraft.
Som inledningens fråga antyder kantas dock förhoppningarna även av farhågor. I december 2019 skickade den statliga myndigheten Diskrimineringsombudsmannen en skrivelse till regeringen full av kritiska synpunkter, bland annat på automatiserat beslutfattande. Nedan följer ett citat från från DO:s skrivelse (DO:s ärende med dnr LED 2019/519):
“Att det uppställs krav på en konkret tillämpning [av ett diskriminerande förfarande] i förhållande till en identifierbar skadelidande för att en sanktion ska utgå, innebär enligt DO vidare ett särskilt problem i ljuset av den snabba utvecklingen vad gäller intelligenta system för automatiserat beslutsfattande. I sådana system kan diskriminerande algoritmer antingen byggas in eller genereras automatiskt på ett sätt som gör att diskriminering kan ske av ett mycket stort antal enskilda utan att varken de eller den som använder systemet i sin verksamhet känner till det.”
Allt detta kan te sig väldigt abstrakt, så låt oss åskådliggöra DO:s skräckscenario med ett konkret exempel. Ponera att en svensk storbank tröttnar på att betala lön till sina kontorsnissar. Banken överlämnar därför uppgiften att bevilja krediter åt en extremt intelligent dator, vars algoritm grundar sig på maskininlärning. Datorn programmeras med målet att pressa ned bankens kreditförluster till ett minimum samt att maximera bankens vinst, och ges därefter tillgång till samtliga kreditbeslut och utfall i en gigantisk databas. Därefter når datorn slutsatsen (efter en djup analys av synnerligen subtila skillnader i beteendemönster) att det är en god idé att i en viss given situation bevilja kvinnor kredit, men inte män.
Diskrimineringsombudsmannen skulle kanske hävda att algoritmen i detta scenario diskriminerar män, och ur juridisk synvinkel stämmer det. Men samtidigt faller datorns agerande knappast in under vår standarddefinition av sexism. Datorn bryr sig ju egentligen inte om huruvida kredittagaren är man eller kvinna. Dess beslut saknar i själva verket varje kausalt samband med den presumtiva låntagarens könstillhörighet som sådan. I den skoningslösa kampen för att minska kreditförlusterna har datorn inte råd att ta ovidkommande hänsyn.
Begreppet “diskriminering” är starkt förknippat med osaklig fördomsfullhet. Att förvägra en man krediter enbart på grund av hans kön är förkastligt eftersom könet som sådant (får vi anta) saknar samband med hans kreditvärdighet. Om avslaget däremot grundar sig på rent sakliga skäl, såsom en mer generell analys av kredittagarens riskbenägenhet visavi utlånat kapital, blir saken genast oklar. Datorns beslut missgynnar tveklöst män, men är det verkligen lika självklart att datorn diskriminerar män?
Möjligen kan man undvika frågan genom att hävda att patriarkala sociala strukturer är anledningen till att män är sämre kredittagare, men det argumentet är i grunden bara en billig avledningsmanöver. Vad händer om faktorerna som föranlett datorns beslut inte är betingade av förtryck och sociala strukturer, utan ligger djupare – utgör datorns beslut ändå diskriminering som måste förbjudas?
Den frågan är mycket betänklig. Om svaret är ja innebär det nämligen att datorns effektivitet måste minska. En programmerare måste programmera om algoritmen så att den inte längre agerar strikt målorienterat och objektivt, utan istället av rättviseskäl beviljar även sämre kredittagare lån. Om svaret däremot är nej så står det datorn fritt att aktivt behandla män sämre än kvinnor.
Ur ett politiskt-juridiskt perspektiv kanske datorn faktiskt bör vara tvungen att behandla könen lika – om inte annat för att förebygga bitterhet hos den förfördelade gruppen. Samtidigt innebär den lösningen betydande effektivitetsförluster (både i form av ökade kreditförluster och övervakningskostnader), vilket motverkar själva syftet med automatiseringen. Det kan till och med vara så att män i det långa loppet gynnas mer av att datorn nekar dem lån, eftersom kreditgivningen överlag blir mer effektiv. Oavsett vilket så befriar inget av dessa pragmatiska resonemang oss från de mer principiella, filosofiska frågorna som skvalpar under ytan.
Det kommer att dröja några år innan vi tvingas att ta ställning till de här frågorna i skarpt läge. Min uppfattning är dock att de redan nu förtjänar betydligt djupare eftertanke än vad konservativa tänkare hitintills skänkt dem. När automatiserat beslutsfattande väl slår igenom på riktigt, så finns det nämligen en överhängande risk att våra datorer visar sig vara långt mer effektiva, och långt mindre finkänsliga, än vad vi är vana vid.
