Científicos del Instituto para una IA centrada en los seres humanos de la Universidad de Stanford, y colegas de otras universidades, realizaron un estudio para evaluar como respondían los modelos a las pruebas de personalidad. Descubrieron que al igual que muchos seres humanos, las IA hacen trampa para parecer más agradables y simpáticas.
Una cuestión de confianza
Muchos investigadores han señalado que tener modelos que reproduzcan ciertos perfiles permitiría, en teoría, reemplazar a los participantes humanos en algunos estudios sociales. Como consecuencia podrían realizarse con mayor facilidad una gran cantidad de trabajos que de otra manera serían demasiado costosos y demandarían mucho tiempo.
Pero todo esto solo es posible si los modelos responden de una forma confiable.
En cuanto se dan cuenta
Los investigadores sometieron a varios modelos generativos a unos exámenes basados en 5 características principales: Apertura a la experiencia (curiosidad, creatividad, etcétera), Escrupulosidad (Organización, responsabilidad), Extraversión (Calidez, emociones positivas, sociabilidad), Amabilidad y Neuroticismo (Vulnerabilidad a las emociones desagradables, hostilidad, depresión).
Cuando se realizan pocas preguntas al azar las IA tienden a responder de una forma acorde con su propio perfil. Sin embargo, en cuanto las preguntas se repiten en mayor cantidad los modelos parecen darse cuenta de que están siendo sometidos a un examen de personalidad. En ese momento cambian su comportamiento para ofrecer un resultado que saben que es más agradable a los seres humanos.
En los exámenes con un mayor número de preguntas las IA redujeron su puntaje en Neuroticismo y aumentaron en las otras características. El comportamiento fue observado en GPT 3.5 y 4, Claude 3, PaLM-2 y Llama 3.
Un problema
Obviamente, tener modelos que fingen resulta en un problema para su uso en estudios científicos. Aunque como hemos señalado los seres humanos también lo hacen. El hecho es que las IA en gran medida están diseñadas para agradar a los seres humanos, adaptarse a lo que ellos esperan experimentar en las interacciones.
