Un grupo de investigadores de la Universidad de California y la Universidad Tsinghua ha desarrollado una técnica para ayudar a que los modelos de lenguaje se equivoquen con menos frecuencia. La idea es darles la capacidad de considerar la dificultad de la preguntas en relación a sus capacidades.
El tamaño no es suficiente
El trabajo surge en gran medida como consecuencia de la observación de las limitaciones técnicas de los actuales modelos. Por un tiempo los desarrolladores han intentado progresar casi por fuerza bruta, aumentado el número de parámetros considerados y por tanto las exigencias en capacidad de cómputo.
Pero la práctica ha demostrado que aumentar el tamaño de los modelos no siempre supone mejores resultados. Esto ha obligado a los desarrolladores a buscar otros métodos para mejorar el rendimiento.
Problemas simples y complejos, algo de sentido común
Los investigadores establecieron un sistema de categorías que la IA puede consultar antes de brindar una respuesta. A través de este esquema puede determinar si la pregunta es fácil o complicada.
Para conseguir esto se dividió el proceso de aprendizaje en dos etapas. Uno conocido como destilación de conocimiento, en el cual se aprenden las soluciones en base a herramientas externas. Y se alcanza de esta manera una cierta capacidad en diferentes temas. La segunda fase supone la clasificación de los problemas en niveles de confianza para la resolución.
Cuando un problema es sencillo se lo resuelve sin consultar a fuentes externas. Con lo cual se ahorra en el consumo de recursos. Cuando el problema es más complejo se recurre a fuentes externas. En las pruebas realizadas en un modelo de 8 mil millones de parámetros se produjo una mejora en en el nivel de acierto del 28,18%. También se mejoró el uso de la herramienta en un 13,89%.
