Email or username:

Password:

Forgot your password?
All posts MrClon's posts Post Back to profile
MrClon

Дожили, конвертирование видео (VP9) упирается не в проц, а в IO. Правда это довольно неплохой проц (5700G) и крайне хреновое IO (sshfs, и два медленных харда один из которых ещё и нагружен другими задачами). Ну и конвертирование издёт 10 независимыми процессами (под разные разрешения и наборы кодеков)

14 Jan 2023 at 7:51 | Open on lor.sh
6 comments
Kurator Peaceful

@MrClon мне стало интересно и я полез в интернет. Люди говорят что использование nfs может дать лишних 20% производительности против sshfs.

blog.ja-ke.tech/2019/08/27/nas

sshfs стабильно работает ? Я всю жизнь думал что это игрушка дьявола для мелких передачей и не сильно на него рассчитывал

14 Jan 2023 at 8:51 | Open on toot.io
Александр
@MrClon @kurator88 Только настройка этой самой NFS тот ещё гемор, а под нагрузку её ещё и настраивать нужно.

Производительность sshfs по моему опыту сильно зависит от процессора. На быстрых системах работает неплохо, на тормозных чувствуется просадка куда сильнее. Вероятно, в данном случае именно этот эффект и наблюдается - даже если ресурсы не выбраны полностью, всё равно идёт конкуренция за проц.

Дома в итоге использую SMB. Тем более, что всё равно неплохо иметь совместимость с Виндой и телефонами.

Через публичные сети - ssh, так как не нужно пробрасывать дополнительные тоннели.

NFS в паре мест развернул, да - быстрее чутка, но если придётся переделывать, то нафиг её.
@MrClon @kurator88 Только настройка этой самой NFS тот ещё гемор, а под нагрузку её ещё и настраивать нужно.

Производительность sshfs по моему опыту сильно зависит от процессора. На быстрых системах работает неплохо, на тормозных чувствуется просадка куда сильнее. Вероятно, в данном случае именно этот эффект и наблюдается - даже если ресурсы не выбраны полностью, всё равно идёт конкуренция за проц.
14 Jan 2023 at 9:09 | Open on friends.deko.cloud
MrClon

@kurator88 sshfs работает вполне стабильно. Понятно что не самое оптимальное решение, но просто и удобно. У меня дома не такой хайлоад чтобы заморачиваться этим. Сильно подозреваю что узкое место это один из хардов. Тот на который идёт запись — медленный, ноутбучный и вообще походу сыпется (а запись идёт в 10 потоков между прочим). Тот с которого читают параллельно долбят кучей других запросов, плюс на его хосте явно недостаточно памяти для дискового кэша

14 Jan 2023 at 9:22 | Open on lor.sh
1lyaP

@MrClon Дык запили аналог ramfs/readyboost какойнить c кешем на быстрой флешке. Не?

14 Jan 2023 at 9:00 | Open on lor.sh
MrClon

@1lyaP юзал раньше bcache с NVMe SSD в качестве кэша. Какого-то драматического прироста производительности не заметил, за то SSD быстро сдох. Отношусь скептически к таким штукам.
Сетап сейчас в промежуточном состоянии недопроапгрейжености, всё ещё будет меняться. Один из хардов видимо скоро заменю, применительно к этой задаче возможно на SSD. В сервер (с которого читается файл) отсыплю памяти и проца, харды бы там тоже поменять надо, но боюсь руки не дойдут

14 Jan 2023 at 9:34 | Open on lor.sh
1lyaP

@MrClon Странно. SSD отлично подходят для кэша, любые enterprise flash, от HP до Huawei их используют. Мож с эмуляцией что-то не так?

14 Jan 2023 at 9:50 | Open on lor.sh
Go Up