@skobkin@lor.sh ну тут или "дома" с 7-12b моделями или "все знания мира" с 700b моделью на класстере
У некоторых второе вполне заводится дома
Top-level
@skobkin@lor.sh ну тут или "дома" с 7-12b моделями или "все знания мира" с 700b моделью на класстере 16 comments
@skobkin@lor.sh так я же прямо сказал, что тут или или @Worst @Worst https://github.com/ggerganov/llama.cpp/pull/1684#issuecomment-1579252501 Попробуй Q4_K_M. И, естественно, instruct версии. @Worst @Worst |
@Worst
Ну вот я бы с радостью позапускал LLaMA 3.1 405B, например. Но текущие тулкиты, которые предназначены для удобного пользования с этим не очень справляются.
Хотя, если я ошибаюсь и что-то упустил - буду рад если ты ткнёшь меня туда, где написано как 405B модель запустить на видеокарте с 16G VRAM - пусть и с оффлоадом в RAM 🤷♂️