@kantor вот эту штуку тестил она меньше озу ест её даже на телефоне и на малинке запускали, только в режиме чата не завелась https://github.com/ggerganov/llama.cpp
Top-level
@kantor вот эту штуку тестил она меньше озу ест её даже на телефоне и на малинке запускали, только в режиме чата не завелась https://github.com/ggerganov/llama.cpp 1 comment
|
@BPOH контейнер из главного поста вокруг него и собран. То, что модель целиком выгружается в оперативку это нормально, да и на использование проца я не жалуюсь, лишь бы нормально работало. Надо будет ещё поискать на досуге, конечно, но фундаментально проблема решается докупкой оперативки, что я, наверное, сделаю