Dr. Quadragon ❌

@rayslava Скорость - примерно одно-два слова в секунду. Да, может быть, хотелось бы побыстрее, но не "невозможно".

Уверен, была бы видюшка пооборотистее, было бы вообще хорошо. Наверное, надо попробовать подружить ее со своей рыксой, но я не уверен, что она держит ROCm.

Like 30 October at 2:28 | Wall-to-wall | Open on mastodon.ml

9 comments

rayslava

@drq можешь поставить эксперимент вот с этой пепякой: https://github.com/vosen/ZLUDA
Заодно и расскажешь, как там прошло воскрешение проекта.
Моя видюха пока ко мне плывёт, поэтому сам проверить пока не могу

30 October at 2:30 | Open on lor.sh

Dr. Quadragon ❌

@rayslava Лол, прикольно. Это, считай, WINE для интелов и AMD

30 October at 15:32 | Open on mastodon.ml

rayslava

@drq йеп. Именно оно!

30 October at 15:33 | Open on lor.sh

Alexey Skobkin

@rayslava @drq
На твоей видюхе ROCm нативно работает.

31 October at 10:44 | Open on lor.sh

burbilog

@drq @rayslava насколько я понимаю, вопрос не то чтобы в производительности, сколько в объемах VRAM, чтобы модель туда целиком влезла. народ гоняет llama 70b на двух теслах p40, старых как говно мамонта, зато каждая по 24gb. даже запихуемо в обычный корпус, разве что охлаждение колхозить надо...

30 October at 6:16 | Open on lor.sh

Alexey Skobkin

@drq @rayslava
Так ollama и работает с ROCm.Я так и запускаю.

31 October at 10:45 | Open on lor.sh

Dr. Quadragon ❌

@skobkin Что видюха держит ROCm

@rayslava

31 October at 10:53 | Open on mastodon.ml

Alexey Skobkin

@drq @rayslava
Ну RX по-моему все или почти все должны уметь в ROCm.

Плюс в ряде случаев можно переменной среды форсить использование нужного ядра ROCm для "похожей" видеокарты так чтобы работало на твоей. Так некоторые встройки запускали 🤷

31 October at 11:56 | Open on lor.sh

SouceCalve

@skobkin @drq @rayslava моя 580 на 8гб дружит только со старым rocm, но в докере)

31 October at 12:12 | Open on mastodon.ml