De Inspectie Justitie en Veiligheid concludeert in een rapport dat het model dat de reclassering gebruikt om in te schatten of criminelen opnieuw in de fout gaat ernstig tekortschiet. Door structurele defecten in de algoritmes is bijna een kwart van de gevallen verkeerd beoordeeld. Bij het overgrote deel daarvan wordt het risico op herhaling te laag ingeschat.
De reclassering adviseert de rechter en door fouten in het systeem zijn er mogelijk verkeerde besluiten genomen wat betreft vrijlating, behandelingstrajecten en vrijheidsbeperkende maatregelen. In welke mate deze adviezen zijn overgenomen en wat de risico’s zijn voor de maatschappij heeft de Inspectie Justitie en Veiligheid nog niet onderzocht.
Het systeem wordt jaarlijks ongeveer 44.000 keer ingezet.
De inspectie ontdekte dat er meerdere fouten in de software zitten, waaronder
het verwisselen van formules voor verschillende groepen en het gebruik van
verouderde gegevens die niet representatief zijn voor gedetineerden in
Nederland. Onder andere bij personen met een drugsverslaving of een ernstige
psychische aandoening werden de risico’s te laag ingeschat.
In het systeem zitten daarnaast technische fouten die
kunnen leiden tot discriminatie. Het algoritme gebruikt informatie zoals
buurtscore en inkomen om de kans op herhaling in te schatten. Zulke gegevens
hangen samen met onder andere etnische afkomst en mogen daarom volgens het
College voor de Rechten van de Mens alleen in specifieke situaties ingezet
worden. Maar in veel gevallen ontbrak deze onderbouwing en werden er niet
genoeg maatregelen getroffen om discriminatie te voorkomen.
De Inspectie Justitie en Veiligheid benadrukt dat de
reclassering onvoldoende heeft ingezet op het verantwoord ontwikkelen,
gebruiken en onderhouden van algoritmes. Door het ontbreken van een heldere
structuur voor evaluatie bleven de tekortkomingen jarenlang onopgemerkt.
Naar aanleiding van het rapport wordt het systeem
tijdelijk niet gebruikt. Er zal eerst zorgvuldig onderzoek gedaan worden zodat
het op verantwoorde wijze ingezet kan worden.
Het rapport over de reclassering is onderdeel van een groter onderzoek naar het gebruik van algoritmes door de overheid. Dat werd opgestart na de misstanden rond de toeslagenaffaire en DUO. De reclassering werd als eerste onderzocht omdat daar relatief veel met algoritmes wordt gewerkt.
Cynthia Liem, universitair hoofddocent aan de TU Delft en gespecialiseerd in het verantwoord gebruik van AI en algoritmes noemt het "gênant" dat het model nooit correct is toegepast en dat daar in de afgelopen jaren ook nooit controle op is geweest. Ze wijt dit onder meer aan het sterke vertrouwen dat organisaties vaak stellen in computermodellen. "Het wordt ons door AI en algoritmes heel aantrekkelijk gemaakt om minder na te denken, minder te bevragen en gewoon te accepteren wat ons wordt geboden. Dit zie je in heel veel technologische toepassingen gebeuren."
Lees ook:
het complete Rapport
Risicovol algoritmegebruik van de Inspectie van Justitie en Veiligheid.
Bronnen: NOS en Inspectie Justitie en Veiligheid