Email or username:

Password:

Forgot your password?
All posts BPOH's posts Post Back to profile
BPOH

Люди продолжают ковырять случайно, или не сильно случайно слитую в торрент обученную #LLaMa нейросеть, аналог ChatGPT...

Веб-интерфейс для общения с LLaMa через llama.cpp и alpaca.

▫️Полностью докеризованный, с простым в использовании API.
▫️Интерфейс SvelteKit
▫️MongoDB для хранения истории и параметров чата

В настоящее время поддерживаются только модели 7B, 13B и 30B alpaca. Есть скрипт загрузки для их загрузки внутри контейнера.

github.com/nsarrazin/serge

Там 4 строчки развёртывания этого контейнера на третьей строчке у меня такая хрень unknown shorthand flag: 'd' in -d докер ниразу не ставил да и гуглится плохо может подскажете? Ощущение такое что там файлов недосыпали на гит

23 Mar 2023 at 21:38 | Open on mastodon.ml
43 comments
Kirill Zholnay

@BPOH А вот тут даже интереснее нашел btdig.com/e5322ab4676e24632a90
От этих же ребят, как я понял. GPT-4 интригует
23 Mar 2023 at 21:52 | Open on s.zholnay.name
BPOH

@kirill про альпаку и гпт4 не знаю, но ламу на дрыщекомпе запускал 7 и 13В там один колдун что-то натыкал и скриптик к модельке написал что её можно на телефоне и расберипай запускать) тоесть по производительности совершенно любой девайс подходит, про 4 гпт чёто както не особо верится

23 Mar 2023 at 22:02 | Open on mastodon.ml
Kirill Zholnay

@BPOH За ночь закачается, к утру посмотрим )

23 Mar 2023 at 22:03 | Open on s.zholnay.name
BPOH

@kirill Напиши пожалуйста как это контейнер запустить, или ты както по другому будешь тестить?

23 Mar 2023 at 22:03 | Open on mastodon.ml
Kirill Zholnay

@BPOH я надеюсь в режиме чата постестить habr.com/ru/post/724172/
Еще не успел попробовать. Качаю

23 Mar 2023 at 22:04 | Open on s.zholnay.name
BPOH

@kirill вот мне тоже в режиме чата интересно потестить так запускал github.com/ggerganov/llama.cpp но в режиме чата не получилось запустить, хотя пример запуска вроде какбы есть, в общем отпиши пожалуйста по экспериментам...

23 Mar 2023 at 22:07 | Open on mastodon.ml
Kirill Zholnay

@BPOH Что-то запустилось на 7B, но на чат не похоже )
23 Mar 2023 at 22:24 | Open on s.zholnay.name
BPOH

@kirill Ну вот у меня подобная картина была текст нормально генерирует а чат так себе, вот по контейнеру попробуй настроить там вроде чат ок и крутилки всякие есть

23 Mar 2023 at 22:42 | Open on mastodon.ml
Kirill Zholnay

@BPOH 30B получше, но далека от OpenAI даже GPT-3.5. Не знаю, чем она полезна может быть в таком виде.
23 Mar 2023 at 23:07 | Open on s.zholnay.name
BPOH

@kirill 😂 Это означает, что пользователь пытается, не печалься это только начало проникают в массы обученые модельки, уже начинают на слабом железе запускать, и даже юзабельно, просто начнут узко специализированно модельки выкладывать, для кодинга, или просто википедия... сейчас это все в исследовательском тестовом режиме... Просто уже чудо что на ноуте оно работает...
23 Mar 2023 at 23:12 | Open on mastodon.ml
Kirill Zholnay replied to BPOH

@BPOH Вынужден признать, что ошибался. И GPT-3.5 хуже справилась, чем alpaca 30B, которая пыталась, но выдумала лишную пятерку. А GPT-4 прекрасно справилась. А у тебя прям неплохо диалог выглядит. Что поднял в итоге, на каком железе?
23 Mar 2023 at 23:16 | Open on s.zholnay.name
BPOH replied to Kirill

@kirill докер на 7В альпака нужно место чуток раскидать и попробовать пошире что-то закинуть, у меня 16гб озу проц i7-12700H, у тебя какое железо что ты 30ку гоняешь?

23 Mar 2023 at 23:20 | Open on mastodon.ml
Kirill Zholnay replied to BPOH

@BPOH 64Гб ОЗУ, думаю удвою, раз такое дело. И тредриппер 5.0Ггц 32 потока.

23 Mar 2023 at 23:34 | Open on s.zholnay.name
BPOH replied to Kirill

@kirill а сколько у тебя озу отъедает? пропорционально модели или меньше?

23 Mar 2023 at 23:41 | Open on mastodon.ml
def #nowar
def #nowar

@kirill @BPOH
я пробовал 13B тупая как пробка, никакое сравнение с чатжпт

25 Mar 2023 at 0:16 | Open on mastodon.ml
kantor

@BPOH тебе компоуз нужен, батенька. Вообще, он должен быть интегрирован в docker нынче, но поищи в своей репе docker-compose

23 Mar 2023 at 22:22 | Open on mstdn.social
BPOH

@kantor Точно, есть такая штука, поставил, спасибо! Теперь на демона ругается он без systemd интересно запускается? Сейчас буду манул читать

23 Mar 2023 at 22:28 | Open on mastodon.ml
kantor

@BPOH tldr — нужно добавить себя в группу docker и потом systemctl start docker (можно и энейблнуть по желанию)

23 Mar 2023 at 22:29 | Open on mstdn.social
BPOH

@kantor у меня нет systemctl systemd же нет, но в родных репах doker есть значит и запускатор может завезли, спасибо, теперь понятно куда копать)

23 Mar 2023 at 22:31 | Open on mastodon.ml
kantor

@BPOH а, ну инит по выбору, конечно, главное, чтобы демон был запущен так или иначе

23 Mar 2023 at 22:32 | Open on mstdn.social
kantor

@BPOH а ещё я бегло просмотрел всё и мне не очень нравится как оно сделано — может на днях поковыряю и сделаю компоуз получше

23 Mar 2023 at 22:23 | Open on mstdn.social
BPOH

@kantor О это будет волшебно) выкатывай в свет будем к мастодонту прикручивать хD

23 Mar 2023 at 22:29 | Open on mastodon.ml
kantor

@BPOH итак, зашевелилось. Таки жрёт 4,1 гиг оперативки постоянно с 7B моделью и работает достаточно медленно, сжирая 50% проца постоянно (i3-10100, тем не менее). Чуть подкрутил temperature, теперь он кажется мне гораздо веселее. Попробую заставить его написать код…
23 Mar 2023 at 22:37 | Open on mstdn.social
BPOH

@kantor у меня уже тоже качается, там что-то на пермишен ругался, от суперпользователя запускать плохая же идея?

23 Mar 2023 at 22:41 | Open on mastodon.ml
kantor

@BPOH не особо, докер рассчитан на использование от рута. Сами команды в принципе должны запускаться от юзера, если он рут просит, то своего юзера надо добавить в группу docker (вообще должен создаваться автоматически, но я не знаю как там на безсистемдшных системах) и тогда с юзера можно будет запускать команды. Контейнеры по умолчанию от рута, это, опять же, норма

23 Mar 2023 at 22:43 | Open on mstdn.social
BPOH

@kantor лижбы он эти контейнеры не в рут папку куданибудь складывал и все эти скрипты туда не отрабатывал)

23 Mar 2023 at 22:49 | Open on mastodon.ml
kantor

@BPOH докеровские вольюмы и имеджи сидят в /var, если я правильно помню, так что нет, не должен

23 Mar 2023 at 22:50 | Open on mstdn.social
Moana Rijndael 🍍🍕

@kantor btw, с небольшими донастройками можно стартануть докер демона от имени юзера, aka rootless
Хз повышает ли это безопасность, мне просто нравится что не надо вводить sudo :ageblobcat:

@BPOH

23 Mar 2023 at 23:09 | Open on mastodon.ml
BPOH

@mo @kantor да это не критично там всего раз и оно на локалхосте крутится... На постоянке он всёравно не нужен, хотя вроде засыпает и из ОЗУ выпрыгивает, но при запросу 4гб кушает

23 Mar 2023 at 23:14 | Open on mastodon.ml
kantor

@BPOH
Пока 7B не впечатляет
23 Mar 2023 at 22:46 | Open on mstdn.social
BPOH

@kantor ну подождём когда 4гпт сольют :D ну а так чатилку поковырять можно но и 7В это даже не 30В попробуй 30-ку запустить)

23 Mar 2023 at 22:50 | Open on mastodon.ml
kantor

@BPOH на 30 у меня оператоса нет. Как я понял, во время генерации вся модель выгружается в оперативку, т.е. если 7B занимает 4,1, то все эти 4,1 резко оказываются в оперативке. Сейчас качаю 13B, по идее он должен быть получше. В целом наблюдаю, что на гуманитарные вопросы он отвечает несколько охотнее. Надо ещё поиграться с параметрами, возможно, для 7B top-k в 50 это маловато

23 Mar 2023 at 22:52 | Open on mstdn.social
BPOH

@kantor вот эту штуку тестил она меньше озу ест её даже на телефоне и на малинке запускали, только в режиме чата не завелась github.com/ggerganov/llama.cpp

23 Mar 2023 at 22:55 | Open on mastodon.ml
kantor

@BPOH контейнер из главного поста вокруг него и собран. То, что модель целиком выгружается в оперативку это нормально, да и на использование проца я не жалуюсь, лишь бы нормально работало. Надо будет ещё поискать на досуге, конечно, но фундаментально проблема решается докупкой оперативки, что я, наверное, сделаю

23 Mar 2023 at 22:57 | Open on mstdn.social
BPOH
kantor

@BPOH о как. У меня пока такой диалог
23 Mar 2023 at 22:58 | Open on mstdn.social
BPOH

@kantor Блин ну прикольно, на пару дней побаловаться, пока не выкатят какие нибудь ещё штуки для калькуляторов, считаю что то что мы можем на своих компах подобное запускать это уже чудо, а там пытливые умы в массах уже годноты напилят!

23 Mar 2023 at 23:01 | Open on mastodon.ml
kantor

@BPOH как мне кажется, я поковыряю параметры и буду на более-менее постоянной основе пользоваться этой штукой. Мне не нужен сильно продвинутый функционал, иногда бывает нужно быстро спросить что-то, что очень плохо поддаётся гуглингу — тогда эти модели и выручают. То, что оно есть в свободном доступе это, конечно, успех — надо на досуге ещё почитать и попробовать завести на cuda — так всяко быстрее будет.

23 Mar 2023 at 23:03 | Open on mstdn.social
BPOH

@kantor Буду от ждать поста с вердиктом, и экспериментами)

23 Mar 2023 at 23:04 | Open on mastodon.ml
Moana Rijndael 🍍🍕

@kantor если нужно _найти_ что-то, что ещё и не гуглится, спрашивать у языковой модели крайне плохая идея. Они обучены реалистично генерировать текст, без каких-либо гарантий или даже стремления к его корректности. Модель с покерфейсом выдаст тебе (крайне убедительно выглядящую!) чушь, и будешь потом разгребать последствия в том же гугле

@BPOH

23 Mar 2023 at 23:13 | Open on mastodon.ml
Moana Rijndael 🍍🍕

@kantor к чатжпт это к слову тоже относится. Выглядит убедительно, слог красивый но — ахинея полная
Шанс получить не ахинею увеличивается в зависимости от того, насколько популярную и тривиальную вещь ты спрашиваешь. Но тривиальные вещи расписаны вдоль и поперек на первой странице гугла

@BPOH

23 Mar 2023 at 23:16 | Open on mastodon.ml
BPOH

@kantor ну и альпака это чьё творение?

23 Mar 2023 at 22:52 | Open on mastodon.ml
Go Up