Gregory's Server
Случайно заметил, что мне LLM стали очень как-то лениво отвечать.
Уже пооткатывал разные версии ollama пока не дошёл до той, где точно всё работало хорошо получив такой же результат.
И потом внезапно заметил, что amdgpu_top мне показывает не тот GPU. Не дискретную графику, а встроенную в процессор.
Открыл сервер и понял, что судя по всему, когда менял подохший вентилятор на CPU, случайно вытащил райзер видеокарты из слота PCI-e.
🤦♂️
Ах да.
Я ж ещё думал чего это у меня потребление памяти выросло гигов на ~десять, но в детали не вдавался, так как она ещё не кончалась...
А ollama просто от безысходности грузила модели в обычную память и молотила на процессоре...