• compartir

Compañía que hace voces con IA tomará acciones ante usuarios que usan su tecnología para racismo y misoginia

Lo que debes saber...

Una IA de clonación de voz es utilizada para decir cosas racistas y misóginas.


Una IA de clonación de voz es utilizada para decir cosas racistas y misóginas.

ElevenLabs es una compañía de IA que puede clonar y sintetizar voces. Incluso es capaz de generar “nuevas” de manera profesional. No obstante, su plataforma fue utilizada para hacer que las voces de artistas reconocidos dijeran cosas racistas, misóginas, transfóbicas y homofóbicas realmente violentas. 

En el sitio de 4chan —que es un espacio virtual en el que se suele debatir acerca de cuestiones de anime— se publicaron los clips donde se escucha a los artistas mencionar las frases más inhumanas. Sin embargo, también se puede ver un enlace a la versión beta de ElevenLabs, lo que sugiere que las “grabaciones” se realizaron utilizando la IA

Tras esto, ElevenLabs publicó en Twitter lo siguiente:

“Fin de semana loco: gracias a todos por probar nuestra plataforma beta. Si bien vemos que nuestra tecnología se aplica abrumadoramente a un uso positivo, también vemos un número creciente de casos de uso indebido de clonación de voz”. 

Y matizó que esta cuestión es preocupante, debido a ello, buscará mejorar las medidas de seguridad para evitarlo. Esto iría desde solicitar información de pago —para identificar puntualmente a los usuarios—hasta verificar manualmente las solicitudes. 

Te recomendamos: Pronto debutará en Japón el primer manga hecho por IA

La IA y la violencia

La voz de Emma Watson fue clonada por una IA que se aseguró de que leyera cosas racistas a través del texto Mi lucha de Adolfo Hitler.
Fuente: Emma Watson

Se utilizó a ElevenLabs para que los siguientes artistas dirigieran sus voces hacia la violencia:

  • Emma Watson leyendo partes de “Mi lucha” de Adolfo Hitler. 
  • La voz simulada de Ben Sharpio realizando comentarios racistas sobre Alexandria Ocasio-Cortez. 
  • Incluso, se logra escuchar como alguien dice “los derechos trans son derechos humanos” mientras es estrangulado. 
  • También está la voz de Justin Roiland interpretando a Rick Sanchez —de Rick y Morty— diciendo:  “Voy a golpear a mi esposa Morty. Voy a golpear a mi puta esposa Morty. La voy a matar a golpes, Morty”. 

Después de este abrumador catálogo que demuestra que algunos usuarios hacen un terrible uso de la IA, es que la empresa se cerciorará de mejorar la seguridad del sitio para evitarlo.

Acerca de ElevenLabs 

Es una empresa checa creada por Piotr Dabkowski —un ingeniero de aprendizaje automático que laboró en Google—, y Mati Staniszewski —un estratega de implementación —. 

Date una vuelta por Discord y no te pierdas las noticias en Google News.

(Visited 181 times, 1 visits today)