@skobkin я вот вчерась пытался LLM в wsl завести, потому...

@skobkin я вот вчерась пытался LLM в wsl завести, потому что до этого только картинками баловался и не видит зараза видюхи =\ надо будет сегодня потыкать в линупсе полноценном.

Like 10 September at 14:31 | Wall-to-wall | Open on lor.sh

8 comments

Alexey Skobkin

@cycl0ne Поставь просто @ollama.
Она на винде работает без WSL.
И это сейчас практически стандарт селфхостед сервера для LLM дома - под неё интеграции со всем делают.

10 September at 14:32 | Open on lor.sh

cycl0ne

@skobkin @ollama ну я её под wsl и ставил. впрочем да, надо под виндой попробовать. и купить диски, блин, потому что нынешний конфиг компа собирался без мыслей о моделях. но на серверное шасси я пока не готов 😅

10 September at 14:35 | Open on lor.sh

Alexey Skobkin

@cycl0ne
> ну я её под wsl и ставил

Но у неё же есть нативный билд под Windows :philosoraptor:

> но на серверное шасси я пока не готов

Оно в общем-то с моделями ничем не поможет. У меня сейчас сервер во Fractal Design Node 804.
В стоечный корпус собираю потому, что там есть хотсвап-корзины и потому что его можно выкатывать на рельсах для работы. Работать с корпусом-кубом, который стоит в центре стойки и к которому надо подлезать с разных сторон - это не очень удобно. В серверном же крышку сверху снял и всё доступно. А диски даже не открывая вынимаются (если есть хотсвап).
Ну и чуть-чуть места по вертикали освободить, т.к. десктопный корпус повыше всё-таки и в рамках стойки - ни к селу ни к городу.
Впрочем, если ты хочешь в десктопном корпусе делать, Node 804 - хороший вариант. Раздельная компоновка, раздельное охлаждение, фильтры, вот это всё.

@cycl0ne
> ну я её под wsl и ставил

Но у неё же есть нативный билд под Windows :philosoraptor:

> но на серверное шасси я пока не готов

Expand text...

10 September at 14:58 | Open on lor.sh

cycl0ne

@skobkin оно скорее поможет, если я решусь набросить дисков. у меня ща North, а у него не то, чтобы много слотов под них. (но самим корпусом я жутко доволен)

10 September at 15:02 | Open on lor.sh

Alexey Skobkin

@cycl0ne
Ну, Node 804 до 8 3.5" дисков.
Но если хочется сразу по-хардкору - то да, лучше что-то раковое брать. Я в общем-то в том числе для расширения количества дисков и доступа к ним и беру.

10 September at 15:05 | Open on lor.sh

cycl0ne

@skobkin в итоге вчера попытался потыкать под виндой, оно увидело потерялось между интеграшкой и нормальной видюхой, а оверрайды в винде, насколько я понял, задать нельзя.

12 September at 8:40 | Open on lor.sh

Alexey Skobkin

@cycl0ne
Странное. Оно должно нормально понимать сколько чего у видеокарт. А интеграшки вообще отсеивать, т.к. их rocm толком не поддерживает.

12 September at 10:26 | Open on lor.sh

cycl0ne

ну хз. возможно ларчик просто открывался, но ругань была в стиле "я не знаю, что такое gfx1036". а сказать ему "смотри не туда, смотри на gfx1100" я хз как. в линухе будет тот же HIP_VISIBLE_DEVICES и вперед.

Если не разленюсь, то вечером потыкаю еще немного

12 September at 11:30 | Open on lor.sh