Gregory's Server@kirill вот мне тоже в режиме чата интересно потестить так запускал https://github.com/ggerganov/llama.cpp но в режиме чата не получилось запустить, хотя пример запуска вроде какбы есть, в общем отпиши пожалуйста по экспериментам...
|
9 comments
 @BPOH 30B получше, но далека от OpenAI даже GPT-3.5. Не знаю, чем она полезна может быть в таком виде. @kirill 😂 Это означает, что пользователь пытается, не печалься это только начало проникают в массы обученые модельки, уже начинают на слабом железе запускать, и даже юзабельно, просто начнут узко специализированно модельки выкладывать, для кодинга, или просто википедия... сейчас это все в исследовательском тестовом режиме... Просто уже чудо что на ноуте оно работает... @BPOH Вынужден признать, что ошибался. И GPT-3.5 хуже справилась, чем alpaca 30B, которая пыталась, но выдумала лишную пятерку. А GPT-4 прекрасно справилась. А у тебя прям неплохо диалог выглядит. Что поднял в итоге, на каком железе? |
@BPOH Что-то запустилось на 7B, но на чат не похоже )