Algoritmer kan forstærke bias i kommunernes sagsbehandling

Kan man bruge algoritmer til at forudsige mistrivsel i sager om sårbare børn og unge?

Teknisk set, ja. Men juridisk og etisk er det en helt anden sag.

Det fortæller Anne Marie Villumsen, seniorforsker hos Vive - Det Nationale Forsknings- og Analysecenter for Velfærd, og Line Svoldgaard Berg, lektor ved socialrådgiveruddannelsen og projektleder hos Via University College.

De er en del af et forskningsprojekt, hvor målet netop var at lave en algoritme, som er bygget i et lukket system baseret på nationale data. Algoritmen har en høj prædiktionsevne, og den kan derfor potentielt være et værktøj til at hjælpe socialrådgivere med den lovpligtige risikovurdering, der skal laves, når kommunen modtager en underretning på et barn. 

Men der er mange vigtige overvejelser, inden vi er der, hvor sådan en algoritme kan tages i brug i kommunerne.

- Jeg tror, at kommunerne meget hurtigt kan komme til at tænke, at sådan en algoritme kan hjælpe dem med at blive mere effektive i deres sagsbehandling. Denne type algoritme har muligvis nogle potentialer, men vi kender endnu ikke effekten af at anvende dem i praksis, siger Anne Marie Villumsen og fortsætter:

- Vi håber, at vores budskab om det etiske kan få nogen til at slå bremsen bare lidt i og mere nøje overveje, om og hvad det vil kræve, hvis det skal være gavnligt eller meningsfuldt at bruge algoritmer i denne type sager.

Derudover håber Anne Marie Villumsen og Line Svoldgaard Berg, at de kan medvirke til at gøre kommunerne mere bevidste om, at det kræver en faktisk etisk stillingtagen, men også at kommunerne kan og bør stille nogle større krav til produkter og ikke mindst de potentielle techudviklere, som man kan forestille sig tilbyder denne slags i fremtiden.

Menneskeligt bias

En af de store udfordringer i at udvikle og bruge algoritmer til bl.a. sager som omhandler børn er, at det kan forstærke de eksisterende biases, der er i de beslutninger, som socialrådgiverne træffer i dag, hvilket kan lede til højere grad af ulighed og diskrimination.

- Vi taler meget om bias og fairness, som er to etiske vigtige begreber. Vi skal ikke kun tale om, hvordan algoritmerne bliver brugt, men også om, hvordan man bygger dem, fordi det har kæmpe betydning for, hvad de spytter ud, siger Anne Marie Villumsen og fortsætter:

- Og det er der, at vi godt kan frygte, at der kommer nogle it-leverandører og vil sælge kommunerne en algoritme , som ingen kan gennemskue, hvordan er bygget og dermed heller ikke ved, hvordan den kan eller bør bruges i praksis.

For at undgå bias har forskerne i deres algoritme fjernet faktorer som for eksempel køn, etnicitet og socioøkonomisk baggrund. Og så er algoritmen gjort aldersneutral.

- For eksempel er det sådan, at i Danmark anbringer vi typisk flest større børn, og hvis vi bare lader alder indgå i algoritmen på lige fod med de øvrige variabler baseret på tidligere beslutninger, vil det ændre risikovurderingen, så algoritmen i højere grad vil pege på statistisk sandsynlighed for mistrivsel hos større børn  Men vi ved, at børn jo sagtens kan mistrives som små, så derfor er vi nødt til at sikre, at algoritmen ikke forudser mistrivsel på baggrund af viden om for eksempel alder, og det har vi taget højde for ved at gøre algoritmen aldersneutral, forklarer Anne Marie Villumsen.

Efter de relevante faktorer er blevet fjernet, er algoritmens prædiktionsevne blevet genevalueret. Desuden er der gennemført en ekstern validering, som er en analyse, der undersøger sammenhængen mellem den beregnede risikoscore og en række andre mistrivselsmål som f.eks. skolefravær, så holdet bag har været sikre på, at algoritmens forudsigelser fortsat er valide.

Mere forskning

Men frygten fra forskernes side er, at hvis kommuner bruger denne type algoritme uden, at der er taget højde for bias, eller at algoritmen ikke er baseret på nationale data af en vis størrelsesorden, vil det kunne ende ud i fejlvurderinger, som gør mere skade end gavn.

- En ting er, at vi kan udvikle den her algoritme, men er algoritmen et godt værktøj i praksis? Vil det blive brugt efter hensigten eller opstår der udfordringer, som gør, at algoritmen faktisk ikke kan bidrage med noget positivt i sagsbehandling? Det ved vi ikke, siger Line Svoldgaard Berg. 

Derfor er det brug for mere forskning på området, før kommunerne tager denne slags algoritmer i brug. Planen var oprindeligt, at algoritmen skulle testes, men på grund af juridiske udfordringer blev det sat på pause.

- Der opstod tvivl om legaliteten, altså om vi, med de nuværende regler på det sociale område, lovligt kunne teste algoritmen på rigtige sager. Det har vi ikke fået afklaring på, så det ved vi ikke, forklarer Line Svoldgaard Berg.

Derudover peger både Line Svoldgaard Berg og Anne Marie Villumsen på transparens som et nøgleord, hvis kommuner skal bruge algoritmer som et værktøj i deres arbejde.

- Det handler om gennemsigtighed. Som borger og medarbejder skal man kunne forstå, hvad det er for en algoritme. Hvad kan den? Og hvad er den bygget på? Og ikke mindst hvordan man kan bruge den, siger Line Svoldgaard Berg.

Men i øjeblikket findes der ikke nok forskning om, hvordan man kan lave et gennemsigtigt system, som medarbejderne og borgerne kan føle sig trygge i - og det er her forskerholdet mener, at vi burde starte, inden vi prøver at implementere for denne slags algoritmer vores samfund.