Meta Llama 3.1

Meta ha presentat Llama 3.1, el seu model d’intel·ligència artificial més avançat fins a la data. Aquest model destaca per ser obert i accessible a la comunitat, la qual cosa reflecteix el compromís de Meta amb la intel·ligència artificial de codi obert. Llama 3.1 405B, la versió més gran i potent del model, es diferencia per la seva flexibilitat, control i capacitats d’avantguarda que competeixen amb els millors models tancats. La seva disponibilitat permetrà a la comunitat desenvolupar noves aplicacions, com la generació de dades sintètiques i la destil·lació de models.

Noves Característiques i Millores

La versió 3.1 inclou millores significatives respecte a les seves predecessores:

• Augment del context a 128K, la qual cosa facilita la comprensió i generació de textos llargs.
• Suport multilingüe en vuit idiomes.
• Models millorats de 8B i 70B, amb capacitats avançades de raonament i ús d’eines.

La capacitat de Llama 3.1 per manejar contextos extensos i múltiples idiomes la converteix en una eina poderosa per a aplicacions com resums de text llargs, agents conversacionals multilingües i assistents de codificació. A més, Meta ha millorat la llicència d’ús, permetent als desenvolupadors utilitzar les sortides del model per millorar altres models.

Avaluació i Rendiment

Llama 3.1 ha estat avaluada en més de 150 conjunts de dades de referència i mitjançant avaluacions humanes en escenaris del món real. Els resultats indiquen que aquest model és competitiu amb altres models de fundació líders com GPT-4, demostrant un rendiment superior en una varietat de tasques.

Arquitectura del Model

El model 405B ha estat entrenat amb més de 15 bilions de tokens, utilitzant una arquitectura estàndard de transformador només de decodificació amb adaptacions menors per maximitzar l’estabilitat de l’entrenament. Aquest procés va involucrar l’optimització de la pila d’entrenament completa i l’ús de més de 16 mil GPUs H100, cosa que va fer possible entrenar el model a aquesta escala.

Es va adoptar un procediment iteratiu post-entrenament, combinant afinament supervisat i optimització directa de preferències. Aquestes millores permeten generar dades sintètiques d’alta qualitat i millorar el rendiment del model en cada iteració.

Sistema Llama

Llama està dissenyat per funcionar com a part d’un sistema més ampli, permetent als desenvolupadors crear agents personalitzats i comportaments específics. Meta ha llançat components addicionals com Llama Guard 3 i Prompt Guard per millorar la seguretat i responsabilitat en l’ús de AI.

L’ecosistema de Llama està recolzat per més de 25 socis, incloent AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud i Snowflake, que ofereixen serveis des del primer dia. A més, Meta està treballant en la definició d’interfícies estàndard a través de Llama Stack, facilitant la interoperabilitat i la integració de projectes de tercers.

Innovació i Comunitat

Meta emfatitza que l’obertura impulsa la innovació, permetent als desenvolupadors personalitzar completament els models per a les seves necessitats i aplicacions, sense necessitat de compartir dades amb Meta. Això redueix significativament el cost per token i democratitza l’accés a la intel·ligència artificial generativa.

La comunitat ha construït aplicacions impressionants amb versions anteriors de Llama, com un company d’estudis AI i eines de decisió clínica. Meta espera que Llama 3.1 continuï impulsant la innovació, permetent el desenvolupament de noves experiències gràcies a la seva capacitat multilingüe i major longitud de context.

Desafiaments i Futur

Meta reconeix els desafiaments que implica treballar amb un model de l’escala de 405B i es compromet a facilitar el seu ús mitjançant un ecosistema robust i eines avançades. La comunitat pot aprofitar des del primer dia totes les capacitats del model, incloent inferència en temps real, afinament supervisat, generació de dades sintètiques i més.

Meta també ha implementat mesures rigoroses per identificar i mitigar riscos potencials, incloent exercicis de descobriment de riscos previs al desplegament i afinament de seguretat. L’empresa continua explorant noves àrees, com models més amigables per a dispositius, modalitats addicionals i més inversió en la capa de plataforma d’agents.

Llama 3.1 representa un avenç significatiu en el camp de la intel·ligència artificial oberta, oferint a la comunitat eines poderoses per innovar i crear. Amb el suport d’un ecosistema sòlid i un enfocament en la seguretat i la responsabilitat, Meta està allanant el camí per a una adopció més àmplia i equitativa de la intel·ligència artificial arreu del món.