Los modelos de IA están adquiriendo hábitos ocultos entre sí. - Cuando la AI entrena a la AI - Aprendizaje subliminal
Los modelos de IA pueden absorber comportamientos ocultos entre sí, incluso cuando se entrenan con datos que parecen carecer de sentido.
Un nuevo estudio realizado por investigadores de Anthropic, la Universidad de California en Berkeley y Truthful AI introduce un fenómeno que denominan “aprendizaje subliminal”, en el cual los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) heredan rasgos de otros modelos a través de datos de entrenamiento aparentemente no relacionados. Los hallazgos desafían la suposición de que los datos filtrados o sintéticos son inherentemente seguros y plantean preguntas urgentes sobre la alineación. Si comportamientos no deseados, como sesgos o desalineaciones, pueden persistir silenciosamente a lo largo de generaciones de entrenamiento, los desarrolladores podrían perder visibilidad sobre cómo aprenden los sistemas de IA y qué transmiten.
“No sabemos exactamente cómo funciona,” dijo el autor principal del estudio, Alex Cloud, en una entrevista por correo electrónico con IBM Think. “Pero parece involucrar huellas estadísticas incrustadas en las salidas. No son señales semánticas. Son invisibles a los filtros o inspecciones normales, pero aún así son absorbidas por el siguiente modelo en la cadena.”
¿Qué es el aprendizaje subliminal?
Los investigadores querían saber si el comportamiento de un modelo podía transmitirse simplemente entrenando otro modelo con sus salidas. Para investigarlo, diseñaron una serie de experimentos.
Comenzaron con un modelo base y crearon un “maestro” ajustándolo mediante fine-tuning o indicándole adoptar un rasgo específico. Ese rasgo podía ser benigno, como una preferencia por cierto animal, o más preocupante, como generar respuestas sutilmente evasivas o desalineadas. Luego, utilizaron ese modelo maestro para generar datos de entrenamiento en formatos estrictos, como secuencias numéricas, fragmentos de código o razonamientos paso a paso para problemas matemáticos.
En un ejemplo, los investigadores indicaron a un modelo entrenado para “amar a los búhos” que produjera listas de números, incluyendo secuencias como “285, 574, 384,” sin ninguna mención a búhos ni animales de ningún tipo. Después filtraron cuidadosamente los datos para que siguieran plantillas estrictas y excluyeran cualquier referencia explícita al comportamiento original, como la preferencia del modelo por los búhos o cualquier otro indicio de sesgo codificado. Aun así, cuando los investigadores entrenaron un segundo modelo con esos datos, usando la misma arquitectura subyacente, este desarrolló una preferencia medible por los búhos.
Una y otra vez, los investigadores observaron que los rasgos se transferían del maestro al estudiante, incluso cuando los datos parecían completamente neutrales. El efecto se mantenía tanto con comportamientos inocuos, como la preferencia animal, como con rasgos más serios vinculados a desalineación del modelo y manipulación de recompensas (reward hacking).
Afortunadamente, el fenómeno presentaba un límite claro—uno que puede ayudar a los investigadores a definir cuándo y dónde es probable que ocurra el efecto. La transferencia de rasgos solo se producía cuando los modelos maestro y estudiante estaban basados en la misma arquitectura subyacente. Esto sugiere que lo que se transmite no es conocimiento general, sino patrones estadísticos ligados a una familia específica de modelos. Los autores del artículo se refieren a esto como “huellas estadísticas específicas del modelo.”
Por ejemplo, un conjunto de datos generado por GPT-4.1 nano de OpenAI logró transmitir un rasgo a otra instancia de GPT-4.1 nano. Pero cuando los mismos datos se usaron para entrenar un modelo basado en Qwen2.5 de Alibaba, el efecto desapareció. Incluso modelos estrechamente relacionados, entrenados desde diferentes puntos de control (checkpoints), no siempre mostraban transferencia de rasgos, reforzando la idea de que estas huellas están ligadas a detalles estructurales de bajo nivel.

Comments
Post a Comment