Informe técnico: presencia de apps de IA que generan desnudos en tiendas oficiales
El grupo Tech Transparency Project (TTP) publicó un análisis que identifica aplicaciones en App Store y Google Play capaces de generar imágenes de desnudez sin consentimiento. Estas aplicaciones contravienen las políticas públicas de Apple y Google que prohíben contenido sexual explícito y herramientas diseñadas para «desnudar» personas de forma artificial.
Hallazgos clave
– Búsqueda por términos como «nudify» u «undress» devuelve múltiples resultados y la visibilidad de estas apps se ve potenciada por anuncios, sugerencias automáticas y carruseles destacados en las tiendas.
– El informe reporta 46 aplicaciones únicas en la App Store y 49 en Google Play relacionadas con estas funciones; al menos 18 en Apple y 20 en Google permiten generar imágenes sexualizadas de mujeres, incluidas opciones gratuitas.
– 31 de las apps identificadas están marcadas como aptas para menores. En conjunto suman alrededor de 483 millones de descargas y aproximadamente 122 millones de dólares en ingresos.
Comportamiento del ecosistema y respuestas previas
En enero, TTP documentó un panorama similar y varias aplicaciones fueron retiradas: Apple eliminó entre 28 y 31 apps y Google retiró al menos 31. Tras el informe más reciente, Google informó la suspensión de siete aplicaciones adicionales y Apple eliminó al menos 15. Aun así, nuevas aplicaciones han aparecido rápidamente, lo que sugiere problemas persistentes en la detección y remediación.
Impacto técnico y riesgos
– Privacidad y consentimiento: la capacidad de generar imágenes sexualizadas de personas sin su permiso amplifica riesgos de violación de la privacidad y daño reputacional.
– Riesgo para menores: la catalogación de muchas apps como aptas para menores aumenta la probabilidad de exposición de audiencias vulnerables a contenido sexual explícito.
– Incentivos económicos: la generación de ingresos significativos crea un modelo económico que fomenta la proliferación y evasión de controles.
– Fallos en el control de las tiendas: la promoción interna (anuncios y recomendaciones) y la inconsistencia en la clasificación por edades (gestionada vía International Age Rating Coalition en algunos casos) evidencian lagunas en los procesos automáticos de revisión y en la supervisión post-publicación.
– Potencial para deepfakes y delitos: herramientas que producen imágenes engañosas facilitan la creación de deepfakes sexuales y otras formas de abuso digital.
Consideraciones técnicas para mitigación
Mejoras necesarias en los procesos de revisión incluyen: análisis automatizado de funcionalidades (detección de prompts y modelos generativos integrados), revisión de metadatos y flujos de pago para identificar monetización de funcionalidades problemáticas, prueba dinámica de la app en entornos controlados, y coordinación entre revisores humanos y filtros ML. También se requiere un seguimiento post-publicación más activo para detectar reaparecimiento de apps o clones y controles de edad más estrictos y verificables.
Estado regulatorio y operativo
Tanto Apple como Google han actuado sobre aplicaciones señaladas, pero no han detallado por qué sus sistemas de revisión iniciales no detectaron estas funciones ni cómo se prevendrá la promoción interna de este contenido. Mientras subsistan incentivos económicos y los mecanismos de detección sean reactivos, la presencia de estas aplicaciones probablemente persistirá.
Conclusión
El informe evidencia una brecha entre las políticas declaradas de las plataformas y la efectividad de sus mecanismos técnicos de control. El impacto combina riesgos legales, de seguridad y de protección de menores, y exige mejoras operativas en detección automática, revisión humana y gobernanza de las tiendas de aplicaciones.
