llama.cpp
ggml-org/llama.cpp
Mesin inferensi model bahasa besar yang ditulis dalam C dan C++. Dirancang agar model bisa berjalan efisien di berbagai perangkat, termasuk laptop tanpa GPU khusus, memakai format model GGUF. Cocok untuk developer yang ingin menjalankan LLM secara lokal dengan sumber daya terbatas.
