Email or username:

Password:

Forgot your password?
Alexey's posts Post Back to profile
Top-level
Alexey Skobkin

@Worst
Так может потому и пишет, что у неё инференс по пизде идёт из-за неудачной версии модели?

github.com/ggerganov/llama.cpp

Попробуй Q4_K_M. И, естественно, instruct версии.

12 August at 11:00 | Open on lor.sh
8 comments
∅
Alexey Skobkin
∅ replied to Alexey

@skobkin@lor.sh У меня этот чекпоинт лежит

12 August at 11:09 | Open on shitpost.poridge.club
∅ replied to ∅

@skobkin@lor.sh тьфу блять, какой чекпоинт...

12 August at 11:09 | Open on shitpost.poridge.club
Alexey Skobkin replied to ∅

@Worst
Ну лежит и лежит.
Попробуй четырёхбитную, говорю. Её по идее проще должно быть в памяти укладывать.

12 August at 11:11 | Open on lor.sh
∅ replied to Alexey

@skobkin@lor.sh Так у меня нет проблем с памятью
Но ладно, ладно, попробую 4km

12 August at 11:16 | Open on shitpost.poridge.club
Alexey Skobkin replied to ∅

@Worst
Я не знаю в чём у тебя проблема.
Но я помню, что у меня модель вела себя как после лоботомии как раз когда я ошибался и стягивал не те версии весов.

12 August at 11:21 | Open on lor.sh
∅ replied to Alexey

@skobkin@lor.sh Так по схеме с ссылки q5km ном же должны быть

12 August at 11:24 | Open on shitpost.poridge.club
Go Up