Gregory's Server@BPOH За ночь закачается, к утру посмотрим )
|
13 comments
 @BPOH я надеюсь в режиме чата постестить https://habr.com/ru/post/724172/ @kirill вот мне тоже в режиме чата интересно потестить так запускал https://github.com/ggerganov/llama.cpp но в режиме чата не получилось запустить, хотя пример запуска вроде какбы есть, в общем отпиши пожалуйста по экспериментам... @BPOH 30B получше, но далека от OpenAI даже GPT-3.5. Не знаю, чем она полезна может быть в таком виде. @kirill 😂 Это означает, что пользователь пытается, не печалься это только начало проникают в массы обученые модельки, уже начинают на слабом железе запускать, и даже юзабельно, просто начнут узко специализированно модельки выкладывать, для кодинга, или просто википедия... сейчас это все в исследовательском тестовом режиме... Просто уже чудо что на ноуте оно работает... @BPOH Вынужден признать, что ошибался. И GPT-3.5 хуже справилась, чем alpaca 30B, которая пыталась, но выдумала лишную пятерку. А GPT-4 прекрасно справилась. А у тебя прям неплохо диалог выглядит. Что поднял в итоге, на каком железе? |
@kirill Напиши пожалуйста как это контейнер запустить, или ты както по другому будешь тестить?