гугол выпустил новую гемму и она похоже хороша. версия 9б работает даже без видяшки и весит всего 5гб. версия 27б похоже может работать на одной видяшке, весит всего 16гб (против ламы70б — 40гб)


9б через ollama вообще нормально общается, и достаточно быстро без видяшки, и потребление памяти почти никакое на фоне запущенных браузеров

27б пробовал пока только на сайте у гугла, ее вообще не отличишь от ламы70б
если она нормально будет работать на одной видяшке с 16гб рамы то это будет революция
такие видяшки можно купить занедорого
какие-нибудь послемайнерские без видеовыходов вообще за копейки