El jueves, la policía del condado de Baltimore, en Maryland, Estados Unidos, arrestó al exdirector deportivo de Pikesville High School, Dazhon Darien, y lo acusó de usar inteligencia artificial para hacerse pasar por el director Eric Eiswert, según un informe de The Baltimore Banner. La policía asegura que Darien utilizó un software de síntesis de voz con inteligencia artificial para simular la voz de Eiswert, lo que llevó al público a creer que el director hizo comentarios racistas y antisemitas.

Comentarios racistas y xenófobos

El clip de audio, publicado en una popular cuenta de Instagram, contenía comentarios ofensivos sobre “niños negros desagradecidos” y su rendimiento académico, así como una amenaza de “unirse al otro lado” si el orador recibía otra queja de “un judío más en esta comunidad.” La grabación también menciona nombres de miembros del personal, incluido el apodo de Darién, “DJ”, sugiriendo que no debería haber sido aceptados o deberían ser eliminados “de una forma u otra”.

Los comentarios provocaron un gran revuelo entre los estudiantes, los profesores y la comunidad en general, muchos de los cuales inicialmente creyeron que el director realmente había hecho los comentarios. Según los informes, una maestra de la escuela secundaria Pikesville, llamada Shaena Ravenell, jugó un papel importante en la difusión del audio. Si bien no ha sido acusada, la policía indicó que reenvió el controvertido correo electrónico a un estudiante conocido por su capacidad para difundir información rápidamente a través de las redes sociales. Luego, este estudiante aumentó el alcance del audio, lo que incluyó compartirlo con los medios y la Asociación Nacional para el Progreso de las Personas de Color (NAACP).

Tecnología de clonación de voz con IA

La policía del condado de Baltimore refiere que Darien había accedido a las redes escolares para buscar y utilizar herramientas de inteligencia artificial capaces de imitar la voz. La policía también vinculó a Darién con una cuenta de correo electrónico utilizada para distribuir las grabaciones falsas.

La tecnología de clonación de voz, que hemos cubierto en el pasado, puede generar un habla realista después de ser entrenada con millones de voces humanas y luego sintonizada para que coincida con una voz específica en una muestra proporcionada. En marzo, los reporteros del Baltimore Banner hablaron con Siwei Lyu, director de un laboratorio forense de medios de la Universidad de Buffalo. Lyu mencionó al periódico que creía que el clip falsificado de Eiswert hablando fue creado utilizando un servicio de síntesis de voz como ElevenLabs. ElevenLabs permite a los usuarios cargar muestras de voz de personas para clonarlas mediante síntesis de texto a voz, aunque sus términos de servicio prohíben clonar una voz sin el permiso de la persona.

El incidente provocó que el director Eiswert tuviera que ausentarse de la escuela desde que comenzó la investigación, y ha negado haber hecho los comentarios, asegurando que no se alinean con sus puntos de vista. “No hice esta declaración, y estos pensamientos no son en lo que creo como educador y como persona”, declaró Eiswert en una declaración escrita.

Cuando apareció el clip de audio en enero, la superintendente Myriam Rogers calificó los comentarios de “perturbadores” y “altamente ofensivos e inapropiados”. El Baltimore Banner señala que Billy Burke, jefe del sindicato que representa a Eiswert, fue el único funcionario que sugirió públicamente que el audio fue generado por IA. Expresó su decepción por la suposición pública de la culpabilidad de Eiswert y reveló que el director y su familia habían sido acosados y amenazados, requiriendo presencia policial en su casa.

Esta no es la primera vez que el software de clonación de voz con IA causa problemas. Anteriormente cubrimos estafas telefónicas en las que alguien imita la voz de un ser querido (en un intento de engañar a las personas para que les den dinero) y llamadas automáticas de campañas electorales que usan voces clonadas de políticos famosos como Joe Biden. En marzo, OpenAI reveló la existencia de su propia tecnología de clonación de voz, pero la compañía aseguró que la retendría por ahora debido a preocupaciones sobre su uso indebido.

Artículo publicado originalmente en Ars Technica. Adaptado por Mauricio Serfatty Godoy.