Llama para todos. No es algo normal, pero Meta, y especialmente Mark Zuckerberg, están convencidos de que el trabajo con Inteligencia Artificial tiene que ser abierto y compartido a todo el mundo.
El nuevo modelo Llama 3.1 405B es descargable por quien quiera, es el primero al nivel de un GPT-4 totalmente libre y gratuito. Ahora bien, cuando nos referimos a 405 billones de parámetros también implica que los requerimientos para ejecutarlos son… bueno, algo grandes 😁
Con Llama 3.1 Meta está tratando de empujar a la industria que compite directamente GPT-4o de OpenAI, Claude 3.5 de Sonnet y Gemini 1.5 Pro de Google y según Zuckerberg Llama 3.1 está muy cerca en términos de performance y calidad de resultados con respecto a estas otras ofertas pagas y cerradas.
Para entrenar el modelo 405B utilizaron 15 trillones de tokens de datos tomados de la web, parseados, filtrados y anotados por Llama 2 y unos 16.000 GPUs H100 de NVidia.
Si desean utilizar el modelo 405B es posible que se escape de las posibilidades técnicas de cualquier mortal, Meta tiene dos versiones más de Llama 3.1, la 70B, que requier ocho GPUs o la versión 8B, mucho más pequeña, que funciona con un sólo GPU y pueden probar en una PC de escritorio o hasta en una notebook (Recomendación: usar LM Studio)
También pueden utilizar el código de Meta para ejecutarlo, aquí se los dejo. El modelo 8B se puede conseguir con cuantización de 4 bits si tienen poca VRAM, aquí las versiones.
El modelo ofrece un tamaño de contexto de 128K, multilenguaje, con una herramienta para moderar (Llama Guard y Prompt Guard) y muchos habrán visto que ahora esta herramienta puede accederse desde Whatsapp, así es, es el mismo motor, la diferencia es que Meta ejecuta el modelo 405B y nosotros, en local, como mucho podemos jugar con el 8B 😋🤷♂️
