Email or username:

Password:

Forgot your password?
Top-level
BPOH

@kantor вот эту штуку тестил она меньше озу ест её даже на телефоне и на малинке запускали, только в режиме чата не завелась github.com/ggerganov/llama.cpp

1 comment
kantor

@BPOH контейнер из главного поста вокруг него и собран. То, что модель целиком выгружается в оперативку это нормально, да и на использование проца я не жалуюсь, лишь бы нормально работало. Надо будет ещё поискать на досуге, конечно, но фундаментально проблема решается докупкой оперативки, что я, наверное, сделаю

Go Up