500мс для ssh это на самом деле много если использовать sftp. Много мелких файлов медленно копируют, чем больше задержка тем медленнее.