Según un reporte del medio The Information el próximo modelo de lenguaje de OpenAI, conocido como Orion, sería apenas superior a GPT-4. Lo que es peor, la mejora solo es observable en algunas áreas, como es el caso del manejo de lenguajes. En otros aspectos, tales como la programación la diferencia entre las versiones es inconsistente.
En lo que si supera claramente el nuevo modelo a sus predecesor es en la cantidad de recursos que necesita, que lamentablemente es mayor.
Una tendencia
Hasta ahora, como es de esperar, los modelos desarrollados por OpenAI han ido siempre en ascenso en lo que se refiere a sus capacidades. Sin embargo, es importante señalar que en algunos casos GPT-3 había demostrado mejores resultados que GPT-4. Pero esto estaba ligado a modificaciones que se realizaron para que los resultados fueran más seguros y otros cambios en la configuración.
Lo que ocurre con GPT4 y Orion es más probable que esté ligado a una tendencia general. Cada vez es más difícil superar al modelo anterior y la diferencia es cada vez menor. Este problema no es exclusivo de OpenAI, sino que está presente en toda la industria.
Datos y modelos
Según Sam Altman lo que ocurre es que no existe suficiente cantidad de datos de alta calidad para entrenar adecuadamente a los modelos. Por esa razón la estrategia ha cambiado para que los modelos puedan aprender más con menos recursos.
Otra herramienta que ha comenzado a utilizarse son los datos sintéticos. Esto es información creada por una IA. Orion habría trabajado con este tipo de datos. Hasta que punto es posible evitar una degradación utilizando este recurso es algo que aun queda por verse.
Curvas de diseño y curvas de inversión
Las técnicas empleadas para el desarrollo de las IA habían sido concebidas a mediados del siglo XX. Sin embargo solo recientemente hemos adquirido la capacidad de computo para aplicarlas. Todavía es una industria joven y no sabemos en que etapa se encuentra.
Hay quienes especulan que nos encontramos cerca de una meseta, que los beneficios conseguidos al mejorar la capacidad de computo pronto serán insignificantes. Esto podría ser cierto, pero nada impide que cambios técnicos den nuevo impulso al desarrollo. Lo que es cierto es que el modelo de producción actual parece estar llegando a su máximo.
Y es mejor que las empresas encuentren cómo superar la meseta. Aunque más que eso, que descubran como convertir todo el dinero, los datos y el trabajo invertido en un negocio sólido. Porque el desarrollo es caro y los inversores quieren resultados.
