Email or username:

Password:

Forgot your password?
Top-level
Alexey Skobkin

@Worst
Я конкретно с параметрами модели не играюсь обычно. Определяю системный промпт в основном. В случае с Ollama это создание Modelfile. Там, конечно, и параметры можно твикать, но я этого не делаю. У меня достаточно поверхностное знание LLM сейчас.

10 comments

@skobkin@lor.sh прост со стоковыми параметрами моя 3,1 q5 пишет в стиле я есть грут

Alexey Skobkin

@Worst
Так может потому и пишет, что у неё инференс по пизде идёт из-за неудачной версии модели?

github.com/ggerganov/llama.cpp

Попробуй Q4_K_M. И, естественно, instruct версии.

replied to Alexey

@skobkin@lor.sh У меня этот чекпоинт лежит

replied to

@skobkin@lor.sh тьфу блять, какой чекпоинт...

Alexey Skobkin replied to

@Worst
Ну лежит и лежит.
Попробуй четырёхбитную, говорю. Её по идее проще должно быть в памяти укладывать.

replied to Alexey

@skobkin@lor.sh Так у меня нет проблем с памятью
Но ладно, ладно, попробую 4km

Alexey Skobkin replied to

@Worst
Я не знаю в чём у тебя проблема.
Но я помню, что у меня модель вела себя как после лоботомии как раз когда я ошибался и стягивал не те версии весов.

replied to Alexey

@skobkin@lor.sh Так по схеме с ссылки q5km ном же должны быть

Go Up