A fines de enero OpenAI presentó una herramienta destinada a identificar que textos habían sido creados por una inteligencia artificial y cuáles por un ser humano. Pero el rendimiento nunca fue el esperado y las mejoras que los desarrolladores realizaron nunca fueron suficientes. Por tal motivo la compañía ha decidido dar de baja el sistema y trabajar en una alternativa superior para el futuro.
Utilidad limitada del clasificador
OpenAI había sido cauta desde el primer momento. Advirtió que era imposible detectar de forma confiable todos los textos producidos por una inteligencia artificial. Sin embargo, un buen clasificador podía ser una herramienta muy valioso a la hora de combatir campañas de desinformación creadas con sistemas automatizados.
En otras palabras, frente a una serie de textos, el sistema puede servir como advertencia para los analistas.
Pobre desempeño
El desempeño del clasificador había sido pobre. No hay otra manera de describirlo. En las pruebas realizadas antes de su publicación había identificado correctamente al 26% de los textos producidos por las IA. También había generado un 9% de falsos positivos en escritos con autores humanos.
Aún así el sistema había superado la efectividad de versiones anteriores.
Dificultades del sistema
Algunos puntos débiles y limitaciones de la herramienta son muy probablemente superables, pero otros parecen una cuestión de lógica e insalvables.
El clasificador era poco confiable al juzgar textos cortos. Su efectividad mejoraba al evaluar textos más extensos.
Los textos que por su naturaleza son muy predecibles son más difíciles de clasificar. Esto ocurre porque existe una cadena lógica entre los elementos que hace que lo que produce un ser humano o una IA no tenga muchas diferencias. OpenAI cita como ejeplo una lista de números primos.
Los textos escritos por una IA pero que luego habían sido editados por un ser humanos tenían una mayor capacidad para pasar como creados por seres humanos.
Los textos cuya naturaleza es muy diferente a los de la base de datos utilizados para entrenar la IA de detección son más difíciles de evaluar.
