Un equipo de investigadores de la Universidad de Kansas ha desarrollado una herramienta para detectar los textos producidos a través de una inteligencia artificial. El foco del trabajo está puesto en las producciones académicas y científicas. Según apunta el estudio realizado, publicado en Cell Reports Physical Science, el nivel de acierto del sistema es del 99%. Sin embargo, se advierte que el trabajo es una prueba de concepto. El algoritmo empleado no ha sido probado en trabajos editados por seres humanos.
Método
Los investigadores tomaron 64 artículos científicos con una diversidad de temas y le pidieron a ChatGPT que generara párrafos describiendo las mismas investigaciones. De esta manera lograron crear 128 artículos falsos conteniendo un total 1276 párrafos.
Con este material se entrenó al algoritmo clasificador encargado de detectar el texto generado por la IA.
El equipo creo luego dos conjuntos de textos, 30 producidos por seres humanos y 60 producidos por ChatGPT.
El clasificador logró identificar los textos de la IA en el 100% de los casos, aunque cuando se considera a los párrafos de forma individual el nivel de acierto fue del 92%.
Una cuestión de estilo
Los investigadores afirman que el clasificador es capaz de detectar las diferencias de estilo entre los seres humanos y la IA. Algunas de las diferencias identificadas fueron:
Los científicos tienen un vocabulario más rico y escriben párrafos más largos.
Ciertos recursos de puntuación son empleados de forma mucho más frecuente que en el caso de ChatGPT.
ChatGPT es menos precisa y no ofrece información específica sobre algunas figuras.
Los textos científicos producidos por seres humanos tienen una mayor cantidad de conectores. Palabras tales como “sin embargo”, “por tal motivo” o “pero”.
