Llamanet

Llamanet — это библиотека/инструмент с открытым исходным кодом, который может превратить любое приложение на базе OpenAI в приложения llama.cpp с помощью всего лишь одной строки кода.

Llamanet совместим с JavaScript, Python и CLI.

Он поставляется с изоморфным API и может маршрутизировать запросы на несколько серверов llama.cpp.

github.com/pinokiocomputer/lla