Wahrscheinlichkeit von Wiederholungstätern seit Jahren vom Bewährungsdienst falsch berechnet

Der Algorithmus, mit dem die Bewährungshilfe die Wahrscheinlichkeit berechnet, dass Kriminelle erneut Straftaten begehen, weist schwerwiegende Fehler auf. Zu diesem Schluss kommt die Justiz- und Sicherheitsinspektion. Die Aufsichtsbehörde fordert, dass die Bewährungshilfe die Systeme schnellstmöglich nicht mehr nutzen oder anpassen muss.

In fast einem Viertel der Fälle ist die Berechnung zu hoch oder zu niedrig. Bei den meisten Fehlern wird das Risiko, dass jemand erneut eine Straftat begeht, unterschätzt. "Die Bewährungshilfe berät unter anderem den Richter und es könnte daher sein, dass der Richter aufgrund der Bewährungshilfe Fehlentscheidungen getroffen hat."sagt Arjen Schmidt über die Inspektion.

In der Beratung beschreibt der Bewährungsdienst den Hintergrund der Inhaftierten und schreibt, was erforderlich ist, um eine Wiederholung zu verhindern. Der Richter nutzt den Rat, um über die Strafe einer Person zu entscheiden.

Angehalten

Wenn die Risikoeinschätzung zu niedrig ausfällt, kann es sein, dass die Gesellschaft nicht ausreichend geschützt ist. Ist die Schätzung zu hoch, kann dies negative Folgen für einen Verdächtigen oder Straftäter haben.

Jessica Westerik vom niederländischen Bewährungsdienst sagt in einer Antwort, dass die Nutzung des Systems fehlgeschlagen sei "pausierte". Sie erwähnt auch den Inspektionsbericht "konfrontativ und wertvoll". Das System wird in naher Zukunft untersucht "wieder verantwortungsvoll genutzt werden können".

Vor sechs Jahren wurde bereits vor diesem Algorithmus gewarnt. Die damaligen Untersuchungen zeigten, dass die Gefahr einer Diskriminierung aufgrund der ethnischen Zugehörigkeit oder der sozialen Schicht besteht. Auch die Wirksamkeit des Systems wurde damals aufgrund der großen Fehlertoleranz in Frage gestellt.

Häftlinge und Verdächtige wechselten

Ein gravierendes Beispiel dafür, dass wissenschaftliche Erkenntnisse falsch im Algorithmus gelandet sind, ist beispielsweise die falsche Eingabe der Kategorien Verurteilter und Tatverdächtiger. Dadurch wird den Verurteilten, bei denen die Wahrscheinlichkeit größer ist, dass sie etwas falsch machen, ein geringeres Risiko zugeschrieben. Auch das Rückfallrisiko (Rezidivismus) für Drogenkonsumenten ist in der Formel zu niedrig angesetzt.

Darüber hinaus wurden Variablen im System weggelassen, etwa ob jemand einen Migrationshintergrund oder eine psychische Erkrankung hat. Obwohl es nach Ansicht der Aufsichtsbehörde gute Gründe dafür geben kann, diese Art sensibler Daten nicht zu verwenden, ist das Modell hierfür nicht gut geeignet. Auch die eingegebenen Daten sind in der Regel veraltet. Sie stammen beispielsweise aus der Schwedisch- und Amerikanistik und werden nicht aktualisiert.

Mehr als 40.000 Mal im Jahr

Das System wird seit Jahren intensiv genutzt, im untersuchten Zeitraum 2023–2024 mehr als 40.000 Mal pro Jahr. Da der Algorithmus nur ein Teil der gesamten Risikobewertung ist, kann die Aufsichtsbehörde keine Aussage darüber treffen, in wie vielen Fällen dies tatsächlich zu falschen Ergebnissen geführt hat. Denn auch Mitarbeiter treffen eine eigene Einschätzung, die ein Richter in die endgültige Entscheidung einbezieht. Es besteht jedoch die Gefahr, dass Menschen zu kurz oder zu lange festgehalten oder falsch behandelt wurden.

Nach Angaben der Aufsichtsbehörde wird bei der Begutachtung großer Wert auf das Ergebnis des Algorithmus gelegt. "Unserer Meinung nach verlassen sie sich zu sehr darauf"sagt Schmidt. Da die Mitarbeiter nicht wirklich verstehen, wie es funktioniert, ist dies besonders riskant.

Dass das alles so lange unbemerkt blieb, lässt sich laut Schmidt damit erklären, dass die Systeme nicht überprüft werden. "Was wir in der Bewährungshilfe tatsächlich sehen, ist, dass es in der Organisation nicht genügend Fachwissen gibt, um verantwortungsvoll damit umzugehen."

Gefahr der Diskriminierung

Darüber hinaus kann die Gefahr einer Diskriminierung durch das System nicht ausgeschlossen werden. Zwei berücksichtigte Merkmale, Postleitzahl und Einkommen, können einen Zusammenhang mit der Herkunft einer Person haben. Nach Angaben des Niederländischen Instituts für Menschenrechte kann eine solche Interaktion indirekt eine Diskriminierung darstellen. Die Nutzung dieser Funktionen ist nur unter bestimmten Voraussetzungen möglich. Anschließend muss klargestellt werden, dass der Einsatz verhältnismäßig ist und wie Diskriminierung verhindert wird. Auch das ist in diesem Fall nicht geschehen.

"Wir wollen nicht diskriminieren und machen eine Unterscheidung nur dann, wenn dies nachweislich wichtig ist, um die Risiken kriminellen Verhaltens zu erkennen"sagt Westerik vom Bewährungsdienst. "Nationalität oder ethnische Zugehörigkeit werden bei uns selbstverständlich nicht erfasst."

Die Untersuchung der Bewährungshilfe ist die erste einer größeren Untersuchung zum Einsatz von Algorithmen in der Regierung, die nach Problemen mit dem Einsatz von Algorithmen in der Sozialhilfeaffäre und bei DUO eingeleitet wurde. Die Aufsichtsbehörde untersuchte den Bewährungsdienst, weil bekannt ist, dass dort Algorithmen weit verbreitet sind.