Email or username:

Password:

Forgot your password?
Alexey Skobkin

Кстати, там @ollama починили свой тег ":rocm" для образов и один из недавних релизов был посвящён поддержке видеокарт AMD.

Я в общем-то ей пользовался ещё на экспериментальной и не очень хорошо работающей стадии, но теперь достаточно взять образ а тегом ":rocm" или фиксироваться на ":x.y.z-rocm" и прокинуть внутрь контейнера GPU:

git.skobk.in/skobkin/docker-st

Список поддерживаемых GPU можно посмотреть тут:
github.com/ollama/ollama/blob/

#LLM #Ollama #models #GPU #acceleration #ML #log #news

12 comments
Alexey Skobkin

@ollama
Ах да, там же ещё блогопост был!

ollama.com/blog/amd-preview

Alexey Skobkin

@ollama
Я по этому поводу даже задумался не взять ли поюзанный AMD MI50 в домашний сервер за недорого.

Остановило меня то, что я в последний момент заметил, что они рассчитаны на мощно продуваемые серверные корпусы и имеют пассивное охлаждение.

Хоть всё равно покупать и колхозить отдельный вентилятор для продува или вообще кастомное охлаждение 😢

Owl!🦉

@skobkin @ollama

Да вообще это не то чтоб проблема, для них кулера есть на алике. Ну или как минимум на ебее.

ebay.com/itm/225927767228

Alexey Skobkin

@lonelyowl
Судя по внешнему виду, он будет гудеть как пылесос.
Впрочем да, это тоже вариант.

Owl!🦉

@skobkin

Турбинки гудящие, да.
Впрочем, этот кулер судя по всему не официальный и напечатанный каким-то васяном. Полагаю, можно поискать аналогичные варианты с нормальными кулерами 🤔

Alexey Skobkin

@lonelyowl
> этот кулер судя по всему не официальный

Официально там вентилятора вообще быть не должно 🤣

> Полагаю, можно поискать аналогичные варианты с нормальными кулерами

Если ты имеешь в виду вентиляторами, то ан али что-то не находится. Находятся варианты с полностью переделанным кулером под водянку. В целом тоже вариант, хотя я не планировал в сервере юзать водяное охлаждение.

Owl!🦉

@skobkin

> Официально там вентилятора вообще быть не должно

А кто его знает. Вентиляторы есть не только на консьюмерских картах.

> В целом тоже вариант, хотя я не планировал в сервере юзать водяное охлаждение.

Как вариант, можно напечатать свой. Но это отдельный жанр пердолинга 🤔

Алсо, как минимум для p40 я видела на авито оригинальные кулеры, такая труба которая в сервер втыкается и продувает видюху. Я думаю, ее можно присобачить и к инстинкту, напечатав небольшой переходник.

Alexey Skobkin

@lonelyowl
У меня самого не на чем печатать, а у локальных ИП-шников большие детали будет делать достаточно дорого.

Но этот вариант я тоже отложу на задворки сознанияю.

Owl!🦉

@skobkin

Смотря что считать "большими", эти переходники размером с телефон.

avito.ru/novouralsk/tovary_dly

Alexey Skobkin

@lonelyowl
Ну это и не сильно дёшево. И у нас будет ещё чуть дороже, думаю. Хотя можно с Авито тоже, конечно...

Owl!🦉

@skobkin

О, оказывается на авите даже под ми50 эти есть прям кулера уже напечатанные

avito.ru/tolyatti/tovary_dlya_

Alexey Skobkin

@lonelyowl
А вот это - ушло в избранное. Спасибо 👍

Go Up