BLOOM es una IA Autoregressive Large Language Model (LLM), es decir, un modelo de lenguaje autorregresivo. Ha sido creado por más de mil investigadores de decenas de países que trabajaron en colaboración, y lo ha entrenado una supercomputadora al sur de París durante 117 días
Autor: Claudio M. Bottini
Lanzamiento
BLOOM fue lanzado recientemente al público. Es un modelo de lenguaje basado en transformadores que se utiliza como modelo generativo para texto. También es conocido como BigScience Large Open-science Open-access Multilingual, es un LLM. Esto significa que es un modelo autorregresivo que se basa en los valores pasados para predecir los presentes y multiplica la suma de los resultados pasados con un factor numérico para dar el valor actual.
BLOOM puede generar, con facilidad, texto entendible para los humanos en alrededor de 46 idiomas y 13 lenguajes de programación. Cada vez que se proporciona un texto de entrada a BLOOM, puede continuar con la redacción para generar una continuidad relevante al observar las palabras anteriores.
Se estima que el costo de entrenarla rondó los 4 millones de dólares. No se habla del costo de pagar a los investigadores o sus herramientas, sino el del consumo eléctrico y de hardware. Por sorprendente que sea la cantidad de recursos necesarios para entrenar una IA de este tipo, GPT-3, la que es posiblemente más avanzada en este campo, se estimó en alrededor de 14 millones de dólares por este mismo concepto.
BLOOM es un modelo de idioma multilingüe de acceso abierto que se entrenó en 384 GPU A100–80GB. Un punto de control de BLOOM ocupa 330 GB de espacio en disco, por lo que parece inviable ejecutar este modelo en una computadora de escritorio. Sin embargo, solo necesitas suficiente espacio en disco, al menos 16 GB de RAM (recomendados 32) y algo de paciencia (ni siquiera es necesaria una GPU) para ejecutar este modelo en tu computadora.
BLOOM es un esfuerzo de colaboración de más de 1000 científicos de varios países y el increíble equipo de Hugging Face. Es notable que un modelo multilingüe tan grande esté abiertamente disponible para todos.
Técnicamente, las características de BLOOM se pueden resumir diciendo lo siguiente:
- Tiene 176.247.271.424 parámetros.
- Posee 3.596.615.680 de parámetros embebidos.
- Cuenta con 70 capas y 112 puntos de atención.
- Las capas ocultas internas generan 14.336 dimensiones posibles.
- Utiliza secuencias de 2048 tokens.
BLOOM ha sido considerado como uno de los modelos de IA más importantes de la década debido a su naturaleza multilingüe y de acceso abierto. Esta tecnología innovadora revolucionará la investigación y la práctica en el procesamiento del lenguaje natural.
En este informe, conocerás los pasos necesarios para aprovechar de forma gratuita el poder de BLOOM en la generación de texto, incluso, si cuentas con recursos computacionales limitados.
En caso de que la versión completa de BLOOM sea demasiado grande para tu proyecto o los recursos computacionales disponibles, puedes aprovechar las versiones más pequeñas disponibles en el repositorio de modelos Hugging Face desde este link.
¿Es BLOOM la mejor IA de generación de texto del mundo?
Hay ciertas discrepancias en las respuestas a esta pregunta. Según qué experto opine, escucharás que unos afirman que GPT-3 es más avanzado que BLOOM y que otros creen lo contrario. La realidad es que resulta muy difícil evaluar este tipo de tecnologías cuando son de un nivel parecido, ya que no se trata de programas que tienen que realizar una tarea concreta y puedes analizarla y debatir cuáles son los potenciales fallos de ambos, cuál es el rendimiento, el consumo de recursos, o la satisfacción de la tarea o del cliente, etcétera.
Hay ciertas discrepancias en las respuestas a esta pregunta. Según qué experto opine
Se habla de unas tecnologías que abarcan tanto que es tan difícil de evaluar como la inteligencia humana misma, a la que intenta parecerse. Así pues, las pruebas se limitan no solo a analizar la tecnología en sí, sino también los resultados en distintas pruebas.
Si comparas un poco antes de centrarte en la IA que quieres explorar, verás que BLOOM es un modelo de lenguaje que cuenta con 176. 000 millones de parámetros frente a GPT-3, el cual batió récords con 175.000 millones.
Sin confrontar el aspecto técnico o algorítmico, que es complejo y casi “incomparable” por la dificultad antes nombrada, atiende a esta opinión que se brinda luego de haber usado GPT-3 y BLOOM un tiempo.
GPT-3 es claramente superior a BLOOM en cuanto a que acierta mayor número de veces tus intenciones de redacción. Esto no quiere decir que sea mejor, solo que hay que ser más cuidadoso al introducir los inputs en BLOOM.
GPT-3 parece más fluido y gana totalmente en el modo chatbot, esto lo reconocen hasta los creadores de BLOOM. Sin embargo, BLOOM se desenvuelve mejor en más idiomas, ya que ha sido entrenado con 59 en total, buscando precisamente eso.
Pero, si hasta este momento todo parece indicar que GPT-3 es mejor, no podría ser menos cierto por tres motivos que sobresalen en BLOOM y que, además, lo dan como el candidato a ganador en el futuro.
El primero es que BLOOM acaba de salir y está solo disponible en la plataforma Hugging Face, por lo que se encuentra parcialmente oculto todavía para muchos usuarios.
Otro motivo es que su desarrollo no está terminado del todo. Así pues, se espera una cierta mejoría para BLOOM en los próximos meses de 2023 en el software y en las API/interfaz gráfica desde donde se ofrece.
Pero hay un punto final fundamental por el que BLOOM se destaca, y es el siguiente.
GPT-3 ha sido desarrollada por OpenAI, una fundación que cuenta entre sus creadores al famoso Elon Musk. Tiene una licencia de uso muy restrictiva y limitada a su API y, hasta hace poco, solo se permitía escribir cuatro artículos por persona y por día. Si quieres crear una aplicación que use GPT-3, necesitas aprobación expresa, es decir, no solo cumplir las normas, sino que además les parezca bien a quienes la revisarán.
Además, al no ser de código libre y abierto, no puede ocurrir “la magia de internet” que es cuando decenas de miles de individuos –ya sean entusiastas, científicos, empresas, etcétera– se coordinan espontáneamente de todas las maneras posibles para mejorar el software.
Conoce más sobre Bloom leyendo la edición completa de este Informe en RedUSERS PREMIUM
También te puede interesar:
USB OTG USOS PRACTICOS
¿Necesitas agregar una unidad flash a tu teléfono, pero no sabes cómo hacerlo? ¿O quieres usar el teclado de tu tablet para trabajar más rápido? Hay una solución muy sencilla para estas situaciones cotidianas que quizás aún no conozcas: USB OTG (On-The-Go) y, en este Informe USERS, conocerás todo lo que tienes que saber sobre esta tecnología y cómo sacarle el máximo provecho.
Informe USERS es una publicación digital semanal exclusiva para suscriptores de RedUSERS Premium, en ella analizamos en profundidad temas de actualidad en tecnología: tendencias, aplicaciones, hardware, nuevas tecnologías y más.
RedUSERS PREMIUM contiene cientos de publicaciones y puedes leerlas a todas, por una mínima cuota mensual SUSCRIBETE!
