Email or username:

Password:

Forgot your password?
H.O.F.

Linux. Столкнулся с траблой. При копировании большого объема данных (террабайты с винта на винт) скорость копирования медленно падает. В среднем с 30 Мб/с до 2-5Мб/с. Таким образом, для переноса 2Тб даты потребуются дни и недели.

Сначала ничего не понимал. Протестил разные шлейфы, утилиты для копирования cp, tar, rsync, gcp, но в итоге получал примерно один и тот же результат. На форумах пишут, что это известный баг ядра и связан он с механизмом кэширования.

После суток плясок с бубном, нашел максимально оптимальный механизм - копирование через локальную сеть через rsync. Получилось выжать 26 Мб/с.

Еще, на удивление, драйвер ntfs-3g выдает лучший результат.

#notg

16 comments
Semyon

@oleg_ru большие данные на винде прогоняю

H.O.F.

@syn Этож Бред какой-то... Самая распространенная в мире ОС, работающая на серверах с миллиардами петабайт данных по всему миру и такая засада... Мой логический разум до сих пор отказывается в это верить

Semyon

@oleg_ru што поделать. Каждая ось под свои задачи. Любя все опен сурс,местами использую и проприетарщину в виде винды

hardworm ☭

@oleg_ru подтверждаю наблюдение с rsync

Alexey Skobkin

@oleg_ru
Чот странное.
Уже начиная с "с 30 МБ", т.к. это мало для HDD.

Taciturn

@skobkin Может чудовищная фрагментация? Например если качать много торрентов без резервирования места такое бывает.
Или USB 2.0.

@oleg_ru

H.O.F.

@Taciturn пробовал USB3.0, SATA. Не в фрагментации дело. Венда копирует с норм скоростью, через сеть тоже получилось выжать что-то.

@skobkin

Alexey Skobkin

@oleg_ru @Taciturn
А что будет если, скажем, в консоли после такого проседания sync дёрнуть?

H.O.F.

@skobkin Секунд 30-60 отрабатывает @Taciturn

Alexey Skobkin

@oleg_ru @Taciturn
Я про скорость. Она увеличивается после этого или нет?

H.O.F.

@skobkin М, я немного тупанул с этим экспериментом, как появится возможность, повторю

@Taciturn

Alexey Skobkin

@Taciturn @oleg_ru
Ну теоретически может быть, конечно.
Но это надо прямо постараться чтобы такого добиться.
USB 2.0 может, конечно, но кто ж по нему будет HDD подключать...

Inari Uveh 🍄

@oleg_ru
Заинтриговал. Это на каких файловых системах проявляется?

H.O.F.

@inari я сначала пробовал на ext4, потом все же перешел на ntfs, с драйвером ntfs-3g вроде пошустрее работает.

κρ🦥μγ

@oleg_ru смотря какой hdd, если там smr, то просадки не вылечить.

Go Up