@mo
Ну хорошо, я не уверен можно ли чем нибудь нормально сжимать нейросетевые чекпоинты и токены, но если да, я почти уверен что быстро расжать их видеокартой из её собственной памяти будет быстрее чем напрягать проц и грузить всё из оперативки, не? Я плохо шарю за железо и где там какие скорости, но вроде звучит похоже на правду
@drq
@WildPowerHammer без потерь сильно вряд-ли. Наоборот, форматы стараются делать такими, чтобы их можно было вообще без парсинга мапить в раму (safetensors, к примеру)
Там же по сути дофига околорандомных чисел
А с потерями — квантизация
@drq