Gregory's Server@BPOH А вот тут даже интереснее нашел https://btdig.com/e5322ab4676e24632a907fd9846234bb40265c4f/ggml=model=q4_0.bin
От этих же ребят, как я понял. GPT-4 интригует
|
Top-level
 15 comments
@BPOH я надеюсь в режиме чата постестить https://habr.com/ru/post/724172/ @kirill вот мне тоже в режиме чата интересно потестить так запускал https://github.com/ggerganov/llama.cpp но в режиме чата не получилось запустить, хотя пример запуска вроде какбы есть, в общем отпиши пожалуйста по экспериментам... @BPOH 30B получше, но далека от OpenAI даже GPT-3.5. Не знаю, чем она полезна может быть в таком виде. @kirill 😂 Это означает, что пользователь пытается, не печалься это только начало проникают в массы обученые модельки, уже начинают на слабом железе запускать, и даже юзабельно, просто начнут узко специализированно модельки выкладывать, для кодинга, или просто википедия... сейчас это все в исследовательском тестовом режиме... Просто уже чудо что на ноуте оно работает... @BPOH Вынужден признать, что ошибался. И GPT-3.5 хуже справилась, чем alpaca 30B, которая пыталась, но выдумала лишную пятерку. А GPT-4 прекрасно справилась. А у тебя прям неплохо диалог выглядит. Что поднял в итоге, на каком железе? |
@kirill про альпаку и гпт4 не знаю, но ламу на дрыщекомпе запускал 7 и 13В там один колдун что-то натыкал и скриптик к модельке написал что её можно на телефоне и расберипай запускать) тоесть по производительности совершенно любой девайс подходит, про 4 гпт чёто както не особо верится