Email or username:

Password:

Forgot your password?
BPOH's posts Post Back to profile
Top-level
Kirill Zholnay

@BPOH я надеюсь в режиме чата постестить habr.com/ru/post/724172/
Еще не успел попробовать. Качаю

23 Mar 2023 at 22:04 | Wall-to-wall | Open on s.zholnay.name
10 comments
BPOH

@kirill вот мне тоже в режиме чата интересно потестить так запускал github.com/ggerganov/llama.cpp но в режиме чата не получилось запустить, хотя пример запуска вроде какбы есть, в общем отпиши пожалуйста по экспериментам...

23 Mar 2023 at 22:07 | Open on mastodon.ml
Kirill Zholnay

@BPOH Что-то запустилось на 7B, но на чат не похоже )
23 Mar 2023 at 22:24 | Open on s.zholnay.name
BPOH

@kirill Ну вот у меня подобная картина была текст нормально генерирует а чат так себе, вот по контейнеру попробуй настроить там вроде чат ок и крутилки всякие есть

23 Mar 2023 at 22:42 | Open on mastodon.ml
Kirill Zholnay

@BPOH 30B получше, но далека от OpenAI даже GPT-3.5. Не знаю, чем она полезна может быть в таком виде.
23 Mar 2023 at 23:07 | Open on s.zholnay.name
BPOH

@kirill 😂 Это означает, что пользователь пытается, не печалься это только начало проникают в массы обученые модельки, уже начинают на слабом железе запускать, и даже юзабельно, просто начнут узко специализированно модельки выкладывать, для кодинга, или просто википедия... сейчас это все в исследовательском тестовом режиме... Просто уже чудо что на ноуте оно работает...
23 Mar 2023 at 23:12 | Open on mastodon.ml
Kirill Zholnay replied to BPOH

@BPOH Вынужден признать, что ошибался. И GPT-3.5 хуже справилась, чем alpaca 30B, которая пыталась, но выдумала лишную пятерку. А GPT-4 прекрасно справилась. А у тебя прям неплохо диалог выглядит. Что поднял в итоге, на каком железе?
23 Mar 2023 at 23:16 | Open on s.zholnay.name
BPOH replied to Kirill

@kirill докер на 7В альпака нужно место чуток раскидать и попробовать пошире что-то закинуть, у меня 16гб озу проц i7-12700H, у тебя какое железо что ты 30ку гоняешь?

23 Mar 2023 at 23:20 | Open on mastodon.ml
Kirill Zholnay replied to BPOH

@BPOH 64Гб ОЗУ, думаю удвою, раз такое дело. И тредриппер 5.0Ггц 32 потока.

23 Mar 2023 at 23:34 | Open on s.zholnay.name
BPOH replied to Kirill

@kirill а сколько у тебя озу отъедает? пропорционально модели или меньше?

23 Mar 2023 at 23:41 | Open on mastodon.ml
def 🇬🇪 #nowar
Go Up