Meta a dévoilé aujourd’hui la dernière version de sa famille de modèles d’intelligence artificielle, Llama 3.1. Cette annonce marque une étape importante pour l’IA open source, avec des modèles qui rivalisent désormais avec les meilleures solutions propriétaires du marché.

L’élément phare de cette nouvelle famille est le modèle Llama 3.1 405B, composé de 405 milliards de paramètres.

Mark Zuckerberg, le PDG de Meta, a déclaré : “L’IA open source sera plus sûre que les alternatives. Je pense que les gouvernements concluront qu’il est dans leur intérêt de soutenir l’open source car cela rendra le monde plus prospère et plus sûr.”

Meta a mobilisé plus de 16 000 GPU H100 de Nvidia pour l’entraînement de ce modèle, utilisant un ensemble de données publiques totalisant plus de 15 000 milliards de jetons. Cette infrastructure massive a permis de créer un modèle capable de réaliser des tâches complexes avec une efficacité inédite.

Llama 3.1 se distingue par sa capacité à traiter une grande variété de langues, notamment l’anglais, l’allemand, le français, l’italien, le portugais, le hindi, l’espagnol et le thaïlandais. Avec une fenêtre contextuelle de 128 000 jetons, il est conçu pour des applications avancées telles que la synthèse de textes longs, les agents conversationnels multilingues et les assistants de codage.

Meta a également introduit des modèles améliorés de 8 milliards et 70 milliards de paramètres, tous disponibles en téléchargement sur llama.meta.com et Hugging Face. Ces modèles offrent une flexibilité et un contrôle sans précédent, permettant aux développeurs de créer des agents personnalisés et de nouvelles formes de comportements agentiques. De plus, Meta a mis en place de nouvelles mesures de sécurité, telles que Llama Guard 3 et Prompt Guard, pour garantir une utilisation responsable de ces technologies.

L’optimisation de l’infrastructure de formation a été cruciale pour le succès de Llama 3.1. Meta a choisi une architecture de transformateur uniquement avec décodeur, avec des adaptations mineures pour maximiser la stabilité de la formation. Chaque cycle de post-entraînement a utilisé un réglage fin supervisé et une optimisation directe des préférences, produisant des données synthétiques de haute qualité et améliorant les performances du modèle.

Les performances de Llama 3.1 405B ont été évaluées sur plus de 150 jeux de données de référence, couvrant de nombreuses langues. Des évaluations humaines ont également été réalisées pour comparer le modèle à des solutions concurrentes dans des scénarios réels. Les résultats montrent que Llama 3.1 est compétitif avec les principaux modèles de fondation tels que GPT-4, GPT-4o et Claude 3.5 Sonnet.

L’adoption de Llama 3.1 promet de stimuler l’innovation dans le domaine de l’IA, en permettant aux développeurs de tirer parti de ses capacités avancées sans coûts prohibitifs.

Comme l’a souligné Mark Zuckerberg, “Aujourd’hui, Linux est le fondement standard de l’industrie pour le cloud computing et les systèmes d’exploitation qui font fonctionner la plupart des appareils mobiles – et nous bénéficions tous de produits supérieurs grâce à cela.”

Cette vision de l’IA open source comme moteur d’innovation et de sécurité pourrait transformer le paysage technologique actuel.

En conclusion, Meta espère que la sortie de Llama 3.1 stimulera la création d’applications innovantes et bénéfiques, tout en renforçant la communauté open source. Llama 3.1 est dès maintenant disponible sur le site de Meta, prêt à être exploré et utilisé par les développeurs du monde entier.