Alva Markelius

Vilka ser du som de viktigaste etiska övervägandena när det gäller utveckling och användning av AI?

Alva Markelius inleder med att betona att de viktigaste etiska övervägandena inom AI-utveckling och användning kretsar kring maktskillnader, intersektionalitet och klimatet. Hon påpekar att när vi diskuterar AI-etik är det väldigt lätt att samtalet hamnar på scenarier där AI kommer att ta över världen eller utgör en existentiell risk. Detta leder till att vi glömmer bort de former av existentiella risker som faktiskt existerar idag och som människor möter på daglig basis.

Hon ger konkreta exempel, såsom ansiktsigenkänningsalgoritmer som är rasistiska och CV-screening-teknologier som diskriminerar mot kvinnor. Designen av social AI följer ofta typiska stereotyper och kan bidra till farliga former av diskriminering. Dessa problem sker på många olika plan och påverkar redan marginaliserade grupper i samhället, vilket ökar klyftorna och maktskillnaderna mellan olika grupper. Alva ser detta som den viktigaste etiska övervägningen.

Hon framhåller att det finns många detaljer på en mer grundläggande nivå och att det är viktigt att förstå orsakerna bakom dessa problem. Det handlar till exempel om vilka narrativ som sprids kring AI och hur AI framställs i media. AI-litteracitet är också en viktig aspekt; hur kan vi få fler människor att förstå vad AI faktiskt är? Det finns ett kunskapsgap mellan grundläggande kunskaper om AI och en djupare förståelse för vad teknologin faktiskt innebär.

Slutligen lyfter hon fram klimatet som en av de absolut viktigaste etiska övervägandena, som ofta förbises. För att sammanfatta menar hon att när vi pratar om AI-etik fokuserar vi ofta på de fyra grundprinciperna: rättvisa (fairness), ansvarsskyldighet (accountability), transparens (transparency) och förklarbarhet (explainability), förkortat FATE. Men dessa räcker inte långt; de är verkligen minimikravet. För att verkligen utveckla etisk AI måste vi gå mycket djupare och börja prata om narrativ, intersektionalitet, klimat, geopolitik, datautvinning och så vidare.

Hur kan vi säkerställa att AI utvecklas på ett ansvarsfullt sätt för att gynna samhället?

Alva förklarar att utveckling och användning av AI går hand i hand. Det görs enormt många val under hela utvecklingsprocessen, och AI:s leveranskedja är extremt lång och komplex. Val som kan påverka marginaliserade grupper, klimatet, geopolitiken och maktklyftor görs på olika nivåer och steg. Det kan handla om hur vi kyler ner datacenter i Mexiko eller om vi verkligen ska använda AI för att rekrytera nya mjukvaruutvecklare på företaget, istället för att förlita oss på andra metoder.

Hon påpekar att detta sträcker sig från hårdvara och utvinning av ädelmetaller hela vägen till val av variabler i en algoritm, hur datan är balanserad och potentiellt bias, och varför vi väljer att använda AI i ett specifikt fall. Det finns något som kallas teknosolutionism, där vi försöker hitta teknologiska lösningar på precis allting, men det är inte nödvändigtvis det bästa, även om det ofta är standardvägen att gå.

När det gäller att säkerställa att AI utvecklas på ett ansvarsfullt sätt för att gynna samhället, nämner hon att det självklara svaret är reglering. Men reglering är givetvis inte så enkelt som det kan tänkas vara. Hon tar upp EU:s AI Act, vilket är fantastiskt på många sätt. Denna form av reglering är extremt strikt, och straffkostnaderna för att inte följa den är extremt höga, vilket är mycket bra. Men självklart är det mycket mer komplicerat än så.

EU är en väldigt liten del av hela världen, och AI är en globalt existerande teknologi som ofta finns tillgänglig online. Därför blir regleringen av AI extremt svår. En annan relevant fråga i regleringssammanhang är geopolitik och geopolitiska strategier, eftersom AI ofta har en viktig roll i länders och regeringars olika strategier för utveckling. Då kan regleringen bli komprometterad, eftersom olika nationer ser det som oundvikligt för deras suveränitet.

Ett annat sätt att säkerställa att AI utvecklas på ett ansvarsfullt sätt är representation i vem det är som utvecklar AI. Just nu är det en extremt homogen grupp av människor som är ansvariga både för att utveckla och reglera AI. Att fler personer som inte är vita, cis-könade, heterosexuella män är i framkant när det gäller att utveckla och reglera AI skulle göra en enorm skillnad för att det utvecklas på ett ansvarsfullt sätt.

Hon tycker också att det är intressant, framför allt från Sveriges perspektiv, att ansvarsfull AI, som även internationellt kallas "responsible AI", har blivit ett sådant buzzword, men vad det egentligen betyder är mycket mer oklart. Hon ser att väldigt många företag och även regeringen slänger sig med termen "ansvarsfull" utan att verkligen förstå vad det innebär. Det krävs en enormt noggrann avvägning kring vad vi egentligen menar med ansvarsfull. Detta måste införas med mer mångfald, eftersom det inte finns en universell lösning eller ett rätt sätt att göra det på. Vad som är etiskt och moraliskt rätt skiljer sig mellan olika sociala och kulturella grupper på så många olika plan i samhället.

Vi kan inte hitta det etiska AI genom att säga "så här gör du etisk AI". Det måste alltid vara kontextuellt: vilka grupper påverkas av AI och vad är ansvarsfullt för dem? En sista sak hon vill säga vad gäller att utveckla AI på ett ansvarsfullt sätt för att gynna samhället är att återigen gå tillbaka till vilka narrativ som drivs kring AI. Ofta pratar vi om skillnaden mellan långsiktiga risker och kortsiktiga risker. Hon ser att många som är oroliga för att AI inte utvecklas på ett ansvarsfullt sätt är oroliga för långsiktiga risker, som existentiella hot mot mänskligheten.

Detta drivs väldigt mycket av vad de ser i media. Det finns mycket sensationsnyheter om att AI är så kraftfull, att AI kommer att ta över världen, att AI kommer att bli självmedveten och så vidare. Men det finns färre narrativ kring vilka risker vi faktiskt möter här idag. Hon tror att det är nödvändigt att hitta en balans mellan långsiktiga och kortsiktiga risker för att utveckla AI på ett ansvarsfullt sätt.

Vilken roll spelar miljömässiga faktorer i AI-utveckling, och hur kan vi minska AI:s klimatpåverkan?

Alva delar upp de miljömässiga faktorerna i AI-utveckling i tre huvudkategorier: compute och elektricitet, vatten samt ädelmetaller och råvaror.

För det första, många tänker att data är den största komponenten i att skala upp AI. Visst spelar data en stor roll för att få mer kraftfull och bättre presterande AI, men den absolut viktigaste komponenten är compute, alltså rå datorkraft och resurser. Detta kräver enorma mängder energi och elektricitet. Compute power är grunden för många av de mest kraftfulla modellerna vi har, som är baserade på "brute force compute" på en enorm skala.

Det är intressant vem som har tillgång till denna form av compute. Just nu kan man se skillnader mellan akademi och industri, där industrin har tillgång till den absolut största mängden compute och kan utveckla de mest kraftfulla modellerna. Detta är också en maktskillnadsfråga, samtidigt som det är en hållbarhetsfråga. Inom industrin tävlar alla företag om att utveckla de mest kraftfulla modellerna. Så det tränas nya modeller hela tiden från grunden, vilket är onödigt eftersom det tar upp så mycket compute power när vi redan har modeller som kan användas. Det är samma princip som gäller klädproduktion, pappersproduktion eller plastproduktion: varför inte använda och återanvända det vi redan har istället för att producera nytt hela tiden? Om vi kan handla second hand-kläder kan vi också använda redan tränade AI-modeller.

För det andra är vatten en viktig faktor. Data är givetvis bränslet som AI lever av. Det finns en missuppfattning att data finns "i molnet", men molnet är en misslyckad metafor för vad data egentligen är och var det sparas, eftersom det är så extremt materiellt. Data sparas i datacenter som tar upp enormt mycket plats och behöver kylas ner på en extremt hög nivå för att inte fungera felaktigt. För att kyla ner datacenter använder vi vattenresurser.

Här är Sverige ett bra exempel på hållbar datacenteranvändning, eftersom vi har ett så pass kallt klimat och ofta använder mer hållbara sätt att kyla ner datacenter. Men man placerar ofta datacenter i exempelvis Mexiko och Taiwan, i klimat som redan är väldigt varma. Där lider nu människor av enorm vattenbrist när datacenter placeras nära där de bor. Så människor går törstiga för att datacenter behöver så mycket vatten för att kylas ner. Detta är uppenbarligen ett helt ohållbart sätt att hantera AI på.

För det tredje är ädelmetaller och chips en stor faktor. AI-chips är en enorm geopolitisk industri som har svåra konsekvenser för klimatet och för urbefolkningar som bor nära där dessa ädelmetaller utvinns i gruvor. Det är en extremt ohållbar industri. Framför allt Taiwan lider just nu av väldigt svåra konsekvenser på grund av denna industri. Efterfrågan på dessa chips är enorm, och det har blivit en geopolitisk fråga.

För att minska AI:s klimatpåverkan menar Alva att en av de viktigaste sakerna är att återanvända modeller som redan är tränade. Vi behöver inte träna nya modeller hela tiden. Vi har redan tränade modeller som vi kan finjustera för specifika applikationer vi behöver. En annan sak är att vi inte alltid behöver använda de största, mest avancerade modellerna. Hon nämner att hon nyligen utvecklade en chatbot för ett väldigt specifikt syfte och använde då en mycket mindre språkmodell som använde extremt mycket mindre parametrar för att tränas. För hennes syfte, som var en nischad Slack-bot, behövdes inte en stor modell som GPT-3 eller Llama. Den mindre modellen fungerade utmärkt.

Hon påminner oss om att AI är extremt materiellt; "molnet" är extremt materiellt. Ett bra exempel för att se hur AI inte bara är ett neuralt nätverk utan en enorm infrastruktur av olika miljömässiga faktorer är "Anatomy of an AI System", som hon varmt kan rekommendera att kika på. Det är Kate Crawfords otroliga verk som faktiskt hänger på MoMA i New York, men det finns en onlineversion som är otrolig.

Vilka utmaningar ser du när det gäller att införa globala riktlinjer för AI?

Alva nämner flera utmaningar, bland annat narrativen kring existentiell risk. Ofta är det de med de allra kraftfullaste rösterna, vissa personer i USA som äger företag som Tesla, som har drivit narrativ om att AI utgör en extremt existentiell risk för världen. Personer som Sam Altman och Elon Musk driver ofta dessa narrativ. De målar också upp sig själva som räddare i nöden; de skapar en domedagsbild av AI men säger sedan "lita på oss, vi kommer att fixa det, vi kommer att utveckla säker AGI" och så vidare.

Detta har en enorm inverkan på geopolitiken också. Dessa företag och deras utveckling av extremt kraftfull AI ses i geopolitiska narrativ som både oundvikliga och nödvändiga för nationers överlevnad och suveränitet. Alva tror att båda dessa aspekter verkligen behöver kritiseras. För det första är AI inte oundvikligt; vi kan absolut hitta alternativ till AI. Idén om att "AI är här för att stanna, det går inte att stoppa" håller hon inte med om.

För det andra ifrågasätter hon att AI är nödvändigt för nationers suveränitet, försvar och för att vara innovativa och konkurrenskraftiga i en geopolitisk värld. Hon ser detta som en enorm utmaning och anser att nationer bör förstå att AI inte är oundvikligt eller nödvändigt på det sättet.

En annan aspekt är skillnaden mellan Global North och Global South, där länder som USA och Europa spelar en stor roll i att införa globala riktlinjer. Men detta är en väldigt homogen grupp av människor, socialt, kulturellt och så vidare. Vi behöver ta hänsyn till olika skolor kring vad som är moraliskt och etiskt, vad som är rätt och fel när det gäller globala riktlinjer. Vi ser väldigt tydligt en form av global neokolonialism just nu, där länder i Global North använder sig både av arbetare och av data och resurser från Global South för att kunna utföra sina AI-projekt, och det finns mycket orättvisa i detta.

Alva betonar att faran inte ligger i AI-modellerna själva utan i de aktörer som driver utvecklingen av AI-modeller och deras agendor. Så istället för att vara rädda och sprida narrativet om att AI är självmedvetna och farliga algoritmer som kommer att ta över världen, vilket hon tror att många människor är rädda för, även i Sverige, bör vi vara bekymrade över de aktörer som driver AI-utvecklingen.

Hur ser du AI:s framtida roll när det gäller att påverka samhälleliga strukturer och värderingar?

Alva uttrycker glädje över att frågan tar upp samhälleliga strukturer och värderingar, eftersom hon anser att detta är extremt centralt som en etisk fråga vi bör fokusera på i framtiden. AI är just nu extremt epistemologiskt och normativt homogent världen över. Det följer de existerande samhälleliga strukturer och värderingar som ofta är skadliga eller farliga mot marginaliserade grupper. Vi ser så tydligt att de mest avancerade språkmodellerna vi har idag har strukturella, inneboende värderingar som är misogyna. De är bias mot hbtq+-communityn, de är rasistiska och så vidare. De följer extremt farliga samhälleliga strukturer och värderingar och har även en stor risk att påverka dessa, eftersom ju mer innehåll vi har online som är AI-producerat, desto mer förstärks dessa farliga strukturer och värderingar.

Detta påverkar självklart val världen över, demokratin världen över och mänskliga rättigheter, vilket är väldigt farligt. Hon tror att AI bildar en form av ekokammare där en väldigt specifik och epistemologiskt och normativt homogen grupp av värderingar är konstant, vilket är väldigt farligt.

Något hon kan nämna som är lite hoppfullt och som hon relaterar till sin egen forskning är att hon tror att en av de viktigaste delarna av AI i framtiden är social AI. AI som vi har sociala relationer till, oavsett om det är vänskapligt eller romantiskt, kommer att ta mer och mer plats i våra liv som en social aktör. Det finns till exempel chatbot-appar som Replika där människor har sina avatarer som är deras vänner. Hennes forskning handlar om robotar, så det är robotar vi har i våra liv som antingen stöd för mental hälsa, personer med funktionsvariationer, äldre personer med demens och så vidare. Men även folk som har AI och robotar som vänner och kompanjoner i livet.

Självklart finns det en stor fara i detta, eftersom vi är mycket mer benägna att lita på och tro på information som kommer från en antropomorfiserad AI-agent som vi kanske till och med har en relation till, jämfört med om vi bara läser något online i en text. Så ju mer personifierad AI blir, desto mer sprids risken för missinformation, eftersom vi har lättare att tro på dessa agenter. ChatGPT är till exempel ett väldigt grundläggande gränssnitt som bara är som en chattfunktion, men tänk dig att du har en fysisk robot eller en avatar med ett utseende, ett ansikte, en röst, en könstillhörighet och så vidare. Det blir en helt annan sak.

Idag ser vi att social AI ofta utvecklas som kvinnligt kodad. Siri, Alexa och så vidare är alltid designade att vara lydiga, att vara serviceinriktade, att aldrig säga ifrån mot farliga värderingar. UNESCO släppte en rapport nyligen som heter "I'd Blush if I Could", som handlar om att standardsvaret från Siri när man säger "Siri, you're a bitch" är just "I'd blush if I could". Man börjar då undra vilka värderingar som egentligen går in i designen av denna typ av AI.

Alva är väldigt nyfiken på att forska om vi kan göra social AI som faktiskt kan utmana samhälleliga strukturer och värderingar. Kan vi ha kvinnligt kodade chatbotar som säger ifrån istället för att bara gå med på misogyna beteenden? Kan vi ha androgyna chatbotar som ifrågasätter vår syn på könsidentitet, sexualitet och så vidare? Kan vi utveckla AI-robotar som inte alltid är vita, till exempel? Hon är hoppfull om att AI kan utvecklas på detta sätt för att kunna utmana de samhälleliga strukturer och värderingar vi har. Men hon konstaterar att det behövs mer representation för att det ska ske.