Uno de los pilares de la programación es el aporte comunitario a través de diferentes módulos o fragmentos de código que permiten resolver problemas y ahorrar horas de trabajo. Al conjunto de varios de estos fragmentos se los denomina paquetes. Muchos de estos conjuntos son extremadamente conocidos, pero también hay una gran variedad que tienen usos muy específicos y son menos famosos. El año pasado les contamos sobre uno de los problemas más grandes que tenían las IA al programar: inventaban paquetes de software que no existían.
El Slopsquatting
Un estudio reciente ha examinado un poco más la aparición de estas falsas referencias y puesto el acento en los riesgos que suponen. No se trata de que un programa funcione mal porque el código que pide no existe. Lo peor que puede pasar en realidad es que un agente malicioso aproveche el vacío para crear un paquete con el nombre que la IA ha presentado. Existe una gran probabilidad de que un programador lo instale sin darse cuenta de que es falso.
Este tipo de ataque ha sido bautizado como slopsquatting. Se lo considera una variación del typosquatting, que supone aprovechar un error de escritura en una referencia. Dado que el problema es todavía una novedad es difícil saber el impacto que podría tener. Pero la única solución hasta el momento parece ser revisar dos veces cada salida de código producida por una IA.
Curiosamente, si se les da como tarea detectar los posible módulos alucinados las IA son relativamente buenas al identificar sus propios errores, así como los producidos por otros modelos.
Producción de alucinaciones
Los investigadores de las universidades de Texas, Oklahoma y Virginia Tech realizaron un examen exhaustivo sobre las alucinaciones de los paquetes. Descubrieron que el 19,7% de las referencias realizadas por las IA eran falsas. En el caso de los modelos de código abierto el problema llega hasta el 21,7%, mientras que los modelos comerciales producen un 5,2% de errores.
Entre los modelos que más alucinaban estaban Llama 7B y Llama 34B. La que mejores resultados ofreció fue GPT-4 Turbo, con solo un 3,59% de alucinaciones. De más está decir que hasta un 1% de alucinaciones en este campo resulta problemático.
Algunas alucinaciones se repiten cuando la consigna presentada a un modelo generativo se reitera. Otras desaparecen.
