Ах да. Я ж ещё думал чего это у меня потребление памяти...

Ах да.

Я ж ещё думал чего это у меня потребление памяти выросло гигов на ~десять, но в детали не вдавался, так как она ещё не кончалась...

А ollama просто от безысходности грузила модели в обычную память и молотила на процессоре...

Like 25 September at 20:47 | Open on lor.sh

5 comments

burbilog

@skobkin да, регулярно такое случается -- не сумев запользовать видеокарту оно молча юзает процессор и понять это можно только по дичайшим тормозам

причем без вытаскивания чего-бы то ни было, просто от проглючившего драйвера видюхи. лечится ребутом, да.

25 September at 21:55 | Open on lor.sh

Alexey Skobkin

@burbilog
Ну, не только.
Ещё по логам, по мониторингу памяти.
В общем-то я посмотрев туда и полез посмотреть в amdgpu_top чтобы увидеть, что КАРТЫ-ТО НЕТ.

25 September at 21:57 | Open on lor.sh

Digitual :ablobcatwave:

@skobkin ничего себе поведение...

25 September at 22:10 | Open on lor.sh

Alexey Skobkin

@Parabrando
Если что, это абсолютно правильное и ожидаемое поведение. Ведь не все гоняют нейронки на GPU. Плюс большие сетки вроде 70B моделей в домашнюю карту просто не влезут.
Так что такой фоллбэк на CPU - это нормально. Это мне стоило проверять, что всё на месте после замены вентилятора.
А то могло бы быть и хуже: например, райзер мог выскочить из разъёма не до конца или сползти вбок и что-нибудь переполюсовать.

25 September at 23:34 | Open on lor.sh

Digitual :ablobcatwave:

@skobkin соглашусь, ламу многие на cpu юзают, а не на gpu. Себе ставил 3b. Но 70 для меня жирно.

25 September at 23:56 | Open on lor.sh