Het nieuwe open-source AI model van Meta is uit: LLama 3.1. Je hebt het vast al op LinkedIn voorbij zien komen het nieuwe AI model van Meta, developers zijn razend enthousiast. Maar waarom?

GPT4 Killer

Tot op de dag van vandaag wordt GPT-4o beschouwd als het beste beschikbare AI model. In bijna alle benchmarks en menselijke testen wordt GPT4o als beste gezien. Voorheen was de enige concurrent Anthropic met hun model Claude 3.5 Sonnet. Beide commerciele moddellen die alleen via een externe partij gerund kunnen worden. Voor GPT4o is dat OpenAI en Microsoft Azure en voor Claude 3.5 is het Anthropic.

Bij Llama is het anders hoewel Meta het model heeft ontwikkeld is het beschikbaaar voor iedereen zolang ze akkoord gaan met de licentie overeenkomst. Een soort van open source dus.

“Open Source”

Open Source staat tussen aanhalingstekens, en dat is bewust. In de IT wereld wordt onder open source meestal bedoelt dat alle code van een software of een model openbaar beschikbaar is. Dat is bij Llama model NIET het geval. Hoewel je het model zelf kan downloaden en hosten is het niet alles in het model openbaar. Het begrip open source staat bij de Llama modellen dus per discussie.

Privacy

Privacy is het grootste pluspunt van Llama 3.1. Eindelijk is er een competetief model dat je zelf op eigen servers kan runnen zodat alle data binnen huis blijft. Voor bedrijven die hun data liever niet naar Microsoft, Anthropic of OpenAI zien gaan, is dit natuurlijk fantastisch. Al helemaal wanneer ze het model willen fine tunen.

Fine-tuning

Het Fine-tunen van een AI model (Large Language Model) is het proces waarbij een eerder getraind model verder wordt aangepast met een specifieke dataset om betere prestaties te leveren op een bepaalde taak. Dit stelt het model in staat om relevantere en nauwkeurigere output te genereren die is afgestemd op de context van de gebruiker. Een bedrijf kan dus bijvoorbeeld bedrijfsdata invoeren om een beter model te krijgen. Of bijvoorbeeld het invoeren van wetten om een model creëren dat goed is het Nederlandse recht. Zo zijn er nog tal van voorbeelden. Het fine tunen van een GPT model kan bijvoorbeeld ook alleen moet alle data naar OpenAI of Microsoft en de rekenkracht ligt ook bij hun.  

Drie Modellen

Meta heeft 3 verschillende modellen van Llama 3.1 uitgebracht. 405B, 70B en 8B. Deze aantallen staan voor het aantal parameters dat het model op getrained is. Hoe hoger het aantal hoe beter het model is. Maar meer parameters betekent ook meer rekenkracht en dus hogere kosten. Voor simpele processen zoals tekst herschrijven kan een 70B of 8B model al genoeg zijn. Zie de pagina van Meta voor de uitgebreide vergelijking.

Wat betekent dit voor uw organisatie?

Als er binnen uw organisatie gebruik wordt gemaakt van AI modellen zoals GPT4o of juist Claude kunt u overwegen om over te stappen naar open source. Zie hieronder een vergelijking tussen de LLMs beschikbaar via API en Open Source modellen. Meer advies over AI of deze modellen? Plan een gratis meeting in!