Gregory's Server
@rayslava Попробовал Лламу 3.1 на 70 гигапараметров на машине помощнее моей - 7950X, 128 гигов памяти. Один из сервачков на работе взял погонять.
И знаешь, что? Вполне себе удобоваримо. Работать можно. И да, Оллама сразу в нем нашла графику, что не может не радовать.
@rayslava Скорость - примерно одно-два слова в секунду. Да, может быть, хотелось бы побыстрее, но не "невозможно".
Уверен, была бы видюшка пооборотистее, было бы вообще хорошо. Наверное, надо попробовать подружить ее со своей рыксой, но я не уверен, что она держит ROCm.