угу, 13B моделька в gptq 4bit 64g чудом влезает в мои 12 гигов видюхи с аж 12 тысячами токенов контекста (которые в таком количестве вроде ни одна из скачанных мной не умеет обмысливать, но да лаааадно) и у меня остаётся аж 250мб видеопамяти!