@drq вопрос в том, будет ли это сильно быстрее, чем...

WildPowerHammer's posts Post Back to profile

@drq вопрос в том, будет ли это сильно быстрее, чем оффлоад в обычную оперативку. Современные PCIe вроде довольно быстрые...

@WildPowerHammer

Like 4 December at 16:15 | Wall-to-wall | Open on mastodon.ml

5 comments

WildPowerHammer

@mo
Ну там же еще частота самой оперативки и прочие приколы...
Как минимум в моём чудном пека с rtx3060 и древней медленной оперативой наверняка это может иметь смысл
@drq

4 December at 16:22 | Open on mastodon.ml

Мя :sparkles_lesbian:

@WildPowerHammer ну просто суть zram в том, что он помогает не только в упоротых сетапах...

@drq

4 December at 16:24 | Open on mastodon.ml

WildPowerHammer

@mo
Ну хорошо, я не уверен можно ли чем нибудь нормально сжимать нейросетевые чекпоинты и токены, но если да, я почти уверен что быстро расжать их видеокартой из её собственной памяти будет быстрее чем напрягать проц и грузить всё из оперативки, не? Я плохо шарю за железо и где там какие скорости, но вроде звучит похоже на правду
@drq

4 December at 16:27 | Open on mastodon.ml

Мя :sparkles_lesbian:

@WildPowerHammer без потерь сильно вряд-ли. Наоборот, форматы стараются делать такими, чтобы их можно было вообще без парсинга мапить в раму (safetensors, к примеру)
Там же по сути дофига околорандомных чисел
А с потерями — квантизация

@drq

4 December at 16:30 | Open on mastodon.ml

WildPowerHammer

@mo
хмм.. это чекпоинты, а токены и для каких нибудь диффузеров что у них там? latent что то там?
Токены например скорее всего есть смысл жать когда их овер дофига
@drq

4 December at 16:33 | Open on mastodon.ml