En el relato The Minority Report, Philip K. Dick describe un futuro en el que la humanidad ha eliminado los asesinatos y minimizado la actividad delictiva gracias a los precogs, seres clarividentes cuyas predicciones ayudan a frustrar los crímenes antes de que se cometan. La historia también inspiró una famosa película de Steven Spielberg, protagonizada por Tom Cruise, y a menudo se usa para describir paradigmáticamente los sistemas de prevención de la delincuencia que utilizan métodos de vigilancia masiva y algoritmos de evaluación predictiva de riesgos. El último ejemplo de un sistema así procede de Suecia. Esto sorprende porque este país ocupa sistemáticamente los primeros puestos en las clasificaciones de transparencia.
Algoritmos de discriminación
Tras cientos de correos electrónicos y decenas de solicitudes, casi todas rechazadas, los medios Lighthouse y Svenske Dagbladet (SvD) obtuvieron acceso a datos inéditos que les permitieron analizar los algoritmos de aprendizaje automático utilizados por la agencia sueca de seguridad social. El conjunto de datos obtenido mostró cómo el sistema utilizado discrimina a determinados grupos sociales, en particular a las mujeres, los extranjeros y las personas de los estratos sociales más bajos.
De hecho, los resultados muestran que Försäkringskassan, la agencia estatal encargada de tramitar las solicitudes de prestaciones, utiliza un sistema que señala automáticamente a determinadas personas, lo que desencadena investigaciones por parte de las autoridades competentes. Esto afectaría principalmente a las mujeres, que tienen una probabilidad de ser objeto de investigación por parte de las autoridades más alta que los hombres.
Según los datos recogidos, no hay ninguna razón bien fundada para que esto ocurra. Una razón sería la incapacidad de diferenciar entre errores intencionados y accidentales cometidos en las solicitudes de ayuda financiera. Sin embargo, el porcentaje de errores en las solicitudes presentadas por mujeres no es superior al de los hombres. Junto con otros grupos discriminados, como las personas de origen extranjero, las que ganan menos que la media nacional, o las que carecen de titulación universitaria, las mujeres solicitantes son sistemática y erróneamente identificadas como personas con alto riesgo de fraude. La investigación demuestra que la metodología y la tecnología aplicadas por Försäkringskassan son defectuosas.
La máquina sueca de la sospecha
Tras un velo de secretismo, la agencia de seguridad social utiliza algoritmos predictivos en busca de una epidemia de fraude que no se corresponde con los datos procedentes de los casos que han aterrizado en los tribunales. El caso sueco parece un ejemplo más de sesgo que penaliza a determinados colectivos con base en razones opacas que habría que buscar en las cajas negras de los modelos de machine learning a los que no se tiene acceso. En una investigación de 2016, PropPublica lo había bautizado como Machine Bias.
En los últimos tres años, Lighthouse ha enviado solicitudes de acceso a datos, algoritmos de aprendizaje automático y códigos fuente a nueve países diferentes, invocando la libertad de información. Según los investigadores, Suecia fue el país menos transparente y colaborativo. Las solicitudes comenzaron en octubre de 2021 y las respuestas fueron rechazadas continuamente, alegando razones como la confidencialidad y los datos sensibles. Preguntas genéricas pero fundamentales, como si los algoritmos se entrenaron con datos aleatorios o cuántas personas fueron marcadas por el sistema, fueron devueltas al remitente, alegando que cualquier información compartida podría facilitar posibles conductas fraudulentas. En una ocasión, la agencia se negó incluso a facilitar los datos que había publicado en su propio informe anual, alegando que eran de carácter confidencial.
En su décimo aniversario, la presidenta de Signal quiere recordarte que la plataforma de comunicaciones más segura del mundo no tiene fines de lucro. Es gratuita. No te rastrea ni te ofrece publicidad. Paga muy bien a sus ingenieros. Y es la aplicación preferida de cientos de millones de personas.
No era la primera vez que los algoritmos de Försäkringskassan levantaban sospechas; ya en 2018, de hecho, la ISF, una autoridad de supervisión independiente, había decretado que el sistema no garantizaba un trato justo. Tal versión de los hechos no fue compartida por la agencia sueca de seguridad social, que rechazó los resultados y la validez del análisis.
A partir de la información obtenida de ISF, Lighthouse y Svenske Dagbladet obtuvieron acceso a lo que hasta entonces habían solicitado sin recibir respuesta.
El conjunto de datos contiene detalles de 6,129 personas que habían enviado solicitudes de prestaciones para cubrir bajas laborales necesarias para cuidar a hijos enfermos. 1,047 de ellas fueron investigadas al azar, mientras que las 5,082 restantes fueron informadas por los algoritmos predictivos.