Llama.cpp és una biblioteca dissenyada per proporcionar una implementació eficient del codi necessari per realitzar inferències amb models de llenguatge extensos (LLMs) de diverses arquitectures tant en GPUs com en CPUs. Llama.cpp és multiplataforma, de codi obert, està escrita principalment en C++ i es distribueix sota llicència MIT.
Tot i que originalment es va inspirar en el controlador LLaMA de Meta basat en Python, Llama.cpp pot emprar-se amb una àmplia varietat de models. El desenvolupador principal és Georgi Gerganov.
Llama.cpp destaca per l'eficiència i per la capacitat d'executar models localment en maquinari d'usuari final. Ha estat emprat en entorns de treball com Ollama, Jan, o LM Studio. S'ha centrat en la compressió i la portabilitat i una de les funcions més importants és la capacitat per a la quantificació, procés de compressió dels models d'aprenentatge automàtic.
