Imágenes explícitas y prompts prohibidos: el lado oscuro de la IA Generativa

Future Fiction Magazine
2 minutos de lectura

Una investigación de WIRED reveló que una base de datos sin protección perteneciente a la empresa surcoreana GenNomis expuso más de 95,000 archivos, incluyendo imágenes generadas por inteligencia artificial con contenido sexual explícito —algunas de ellas categorizadas como material de abuso sexual infantil (CSAM). El hallazgo fue realizado por el investigador de ciberseguridad Jeremiah Fowler, quien alertó a la empresa y a su matriz, AI-Nomis. Tras el aviso, ambas páginas web fueron desactivadas, pero no emitieron ningún comentario.

Entre los archivos filtrados había imágenes de celebridades como Ariana Grande o Beyoncé, manipuladas para parecer menores de edad, así como rostros reales insertados en cuerpos desnudos generados por IA. También se encontraron indicios de “face swapping” y prompts que hacían referencia a actos sexuales ilegales.

A pesar de que GenNomis afirmaba prohibir el contenido ilegal, sus herramientas y branding promovían una creación «sin restricciones», con secciones explícitas como «NSFW» y un marketplace para vender imágenes generadas. Expertos en derechos digitales y académicos advirtieron que esta filtración muestra cómo la tecnología de IA ha superado a la regulación, y cómo actores maliciosos la están usando para crear y distribuir contenido abusivo con facilidad y rapidez.

Según el Internet Watch Foundation, el número de páginas web con CSAM generado por IA se ha cuadruplicado desde 2023, incrementando además su nivel de realismo. El caso GenNomis es un llamado urgente para establecer controles legales y éticos sobre estas tecnologías antes de que el daño sea irreversible.

Más información: Wired

Compartir este artículo
Leave a Comment

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *