@skobkin@lor.sh так я же прямо сказал, что тут или или
А по поводу - koboldcpp и lm studio сам юзаю в качестве сервера, но я манал из vram вылезать
Lm удобная, но у kobold есть фичи на поиграться (особенно у Frankenstein форка), хотя сомнительно
Глянь ещё Mistral Nemo и nvinia nemotron из моделей - Nemo показалась очень качественной в instruct, хоть и галлюцинирует (а кто нет, но мб нужен прост)
И да - там ещё Яндекс что-то мутит с q2 квантованием без потерь, но я ниасилил
@Worst
У меня есть Nemo на сервере, да.
Но я чаще испольщую LLaMA 3.1 8B всё-таки. Скорее потому, что мои локальные юзкейсы - это чаще либо "reasoning", либо какие-нибудь приколы с персонажами. Например, когда я создаю надстройку над моделью, где в системном промпте ей сказано, что она социопат, прошу решить задачку про волка, козу и капусту и наблюдаю как она мне говорит, что ебала в рот возить на лодке этих коз - пусть сами плывут.
А мистраль (именно Nemo) для таких кеков и вживания в роль как-то меньше подошла на моём опыте - как-то начинала сваливаться в формальности в каждом ответе хотя в системном промпте было сказано, что персонаж не любит формальности.
А LLaMA 3.1 наоборот стала податливей в этом плане по сравнению с 3 и тем более 2 от чего у меня и случился восторг.
И что самое забавное - LLaMA 3.1 хотя казалось бы должна быть ещё хуже зацензурирована, чем её предшественники, но по факту выяснилось, что в пылу диалога может хуй забить на разный файн-тюнинг проделанный Meta, что меня очень порадовало.
Ну, например я иногда балуюсь тем, что создаю для LLM персонажей из мифологии или массовой культуры и разыгрываю какие-нибудь ситуации в чате.
Скажем, у меня есть персонаж кицунэ (японский трикстер-йокай с фичами лисы).
Я по приколу разыграл в чате поход с этим персонажем в "Пятёрочку". И LLaMA настолько вошла в роль, что пыталась на автоматизированной кассе спиздить снэки, хотя я напрямую никаких склонностей к такому не указывал.
@Worst
У меня есть Nemo на сервере, да.
Но я чаще испольщую LLaMA 3.1 8B всё-таки. Скорее потому, что мои локальные юзкейсы - это чаще либо "reasoning", либо какие-нибудь приколы с персонажами. Например, когда я создаю надстройку над моделью, где в системном промпте ей сказано, что она социопат, прошу решить задачку про волка, козу и капусту и наблюдаю как она мне говорит, что ебала в рот возить на лодке этих коз - пусть сами плывут.