Email or username:

Password:

Forgot your password?
Top-level
BPOH

@kirill Ну вот у меня подобная картина была текст нормально генерирует а чат так себе, вот по контейнеру попробуй настроить там вроде чат ок и крутилки всякие есть

7 comments
Kirill Zholnay

@BPOH 30B получше, но далека от OpenAI даже GPT-3.5. Не знаю, чем она полезна может быть в таком виде.

BPOH

@kirill 😂 Это означает, что пользователь пытается, не печалься это только начало проникают в массы обученые модельки, уже начинают на слабом железе запускать, и даже юзабельно, просто начнут узко специализированно модельки выкладывать, для кодинга, или просто википедия... сейчас это все в исследовательском тестовом режиме... Просто уже чудо что на ноуте оно работает...

Kirill Zholnay replied to BPOH

@BPOH Вынужден признать, что ошибался. И GPT-3.5 хуже справилась, чем alpaca 30B, которая пыталась, но выдумала лишную пятерку. А GPT-4 прекрасно справилась. А у тебя прям неплохо диалог выглядит. Что поднял в итоге, на каком железе?

BPOH replied to Kirill

@kirill докер на 7В альпака нужно место чуток раскидать и попробовать пошире что-то закинуть, у меня 16гб озу проц i7-12700H, у тебя какое железо что ты 30ку гоняешь?

Kirill Zholnay replied to BPOH

@BPOH 64Гб ОЗУ, думаю удвою, раз такое дело. И тредриппер 5.0Ггц 32 потока.

BPOH replied to Kirill

@kirill а сколько у тебя озу отъедает? пропорционально модели или меньше?

Go Up