OpenAI ha anunciado la creación de una nueva herramienta para encontrar los errores de GPT-4. Se trata de CriticGPT, una IA basada en GPT-4. Si acaso esto parece extraño, cabe recordar que Sam Altman es el director del grupo encargado de supervisar los peligros de los desarrollos impulsados por Sam Altman. Sin embargo, es importante reconocer que esta comparación puede no ser del todo justa.
IA y seres humanos
Lo que realmente tiene planeado OpenAI es emplear a CriticGPT como un apoyo para el trabajo de los seres humanos.
La serie GPT-4 incluye en su entrenamiento un proceso de refuerzo a través de las devoluciones que realiza un grupo de profesionales. Por sus siglas en inglés la técnica se conoce como RLHF. Los entrenadores de IA examinan y califican las respuestas de ChatGPT. Sin embargo, la compañía explica que a medida que la IA mejora sus errores son más sutiles y difíciles de detectar.
Es aquí donde entra en juego CriticGPT, como un asistente entrenado para detectar estos errores. En las pruebas preliminares, señala OpenAI, los entrenadores que han utilizado esta herramienta han tenido un desempeño un 60% superior al de aquellos que no la usaron.
Entrenamiento
CriticGPT es capaz de escribir críticas de una manera fluida. Al igual que ChatGPT, CriticGPT fue entrenada con RLHF. Sin embargo se la alimentó con textos que contenían errores que debía observar y criticar. Para este trabajo los entrenadores agregaban errores a respuestas de ChatGPT y luego verificaban si CriticGPT los había descubierto.
Limitaciones
Un punto a tener en cuenta es que CriticPGT es también una IA. Por lo que está sujeta a cometer errores de la misma forma que la inteligencia artificial a la que examina. OpenAi reconoce que no todas las sugerencias que hace son correctas. Sin embargo, como herramienta de apoyo en manos de un ser humano, resulta valiosa.
La IA ayuda a los seres humanos a ser más comprensivos en sus respuestas, mientras que los seres humanos previenen una gran cantidad de alucinaciones.
Dado que la IA a veces alucina puede inducir a los entrenadores a realizar correcciones incorrectas sobre ChatGPT.
Errores que se plasman en varias instancias de una respuesta son difíciles de detectar.
