Gregory's Server
@rayslava: будешь заводить llama.cpp на rocm, в 16 гигов VRAM хорошо влезают модели 13b-q4_K_M, 34b уже не влезает, квантование не по 4 бита не ложится на rocm и сетка начинает уже не галлюцинировать, а просто выдавать повторяющуюся рандомную строчку
@skobkin: Я и на CPU такое встречал 😃
@skobkin: Когда просьба написать код на Go заканчивалась куском кода на Go и истерикой вида "AaaaaaaaaaaaAAAAAAAAAAAAAaaaaaaaaaaaAAAAAAAA"
@skobkin: Можно понять, синтаксис у Go не очень.
@rayslava: ну у меня на некоторый код на Go такая же реакция была, да
@skobkin Я пока стесняюсь скармливать текстовым модельках запросы на код, тем более что в тех задачах, которые я сейчас решаю, этим моделькам может не хватить данных. Хотя, конечно, все ещё зависит от самой модели. Найти бы ещё такую моделью, что специально под код заточена.
@rayslava