Gregory's Server@rayslava Actually, 8b runs fine, like ChatGPT level fine when it comes to speed. Same difference.
70b is much slower, but aside from that still does run okay. I'll try to experiment with more powerful and modern hardware, and let you know.
|
11 comments
 @rayslava Скорость - примерно одно-два слова в секунду. Да, может быть, хотелось бы побыстрее, но не "невозможно". Уверен, была бы видюшка пооборотистее, было бы вообще хорошо. Наверное, надо попробовать подружить ее со своей рыксой, но я не уверен, что она держит ROCm.  @drq можешь поставить эксперимент вот с этой пепякой: https://github.com/vosen/ZLUDA   |
@rayslava Попробовал Лламу 3.1 на 70 гигапараметров на машине помощнее моей - 7950X, 128 гигов памяти. Один из сервачков на работе взял погонять.
И знаешь, что? Вполне себе удобоваримо. Работать можно. И да, Оллама сразу в нем нашла графику, что не может не радовать.