Cuatro amenazas del mal uso de la IA generativa: de los perfiles falsos a la suplantación de estilo

Imitar el estilo de un autor simulando su voz o sus textos para suplantar su identidad es algo que los nuevos modelos del lenguaje o large language models (LLMs) como ChatGPT o Gemini han aprendido a hacer con muy buenos resultados, pero no es el único desafío que plantea la IA generativa. 

El artículo científico Factuality challenges in the era of large language models and opportunities for fact-checking, publicado por Nature Machine Learning, filial de Nature, y en el que Newtral participa, analiza el mal uso de estas tecnologías y sus consecuencias para la desinformación.

• “La disponibilidad generalizada de los modelos de lenguaje (LLMs) permite a las personas crear contenido convincente y elegantemente redactado, así como argumentos persuasivos”, señalan los autores.

El estudio destaca cuatro amenazas clave en la generación de desinformación a partir de un mal uso de la IA generativa y los modelos del lenguaje.

Ataques personalizados. Los modelos del lenguaje son capaces de crear textos alineados a la conversación de cualquier usuario utilizando información previa como correos electrónicos o publicaciones en redes sociales. Este tipo de información puede servir como base para crear estafas adaptadas a cada persona y sus intereses. “Los LLMs de código abierto pueden ser manipulados para extraer información privada, que luego podría utilizarse para ataques de phishing más efectivos y otras estafas”, advierte el estudio.

Suplantación de estilo. Imitar el estilo de un autor ya no es un reto. Los modelos pueden utilizar información publicada para ponerse en el papel de un periodista, un fact-checker, un político o cualquier figura pública para distribuir su contenido en redes y socavar la credibilidad.

Evadir la detección de bulos. Los fact-checkers se fijan en contenidos falsos ampliamente difundidos, pero ahora, los desinformadores pueden crear distintas versiones o variantes de un mismo bulo para evadir los sistemas de detección que emplean los periodistas. Los investigadores alertan de que “esta diversificación automatizada podría socavar los esfuerzos de seguridad e integridad de muchas plataformas de redes sociales”.

Perfiles falsos. La posibilidad de crear perfiles falsos creíbles a gran escala puede impactar en la influencia que tienen los actores maliciosos en las redes sociales, multiplicando el desafío de las fábricas de bots. “La automatización reducirá costos mientras aumenta el alcance de sus operaciones”, apuntan en el estudio.