Так, погуглил по быстрому про использование rclone mount вместо sshfs, нашёл пару недостатков для себя:

Rclone не поддерживает симлинки (точнее, он их раскрывает автоматически, а как насчёт создавать симлинки в примонтированной ФС непонятно, я нередко это делаю). Sshfs отображает симлинки как они есть (опционально есть другие режимы).

Rclone не может писать в середину файла, ему приходится сперва скопировать весь файл. То есть это как, если я удалённо редактирую файл, он его будет скачивать целиком, потом заливать обратно? Ну такое, т.е. для RW монтирования мало пригодно. В частности, в доках про кэши у них тут.

Насчёт тормозов sshfs. Можно глянуть что у них там с компрессией, она включена по дефолту или нет, т.к. у ssh такая опция есть и её при подключении можно включить/отключить. Ещё про тормоза, надо смотреть о чём конкретно речь, а то например если тормозит навигация в файловом менеджере, то там может сам файловый менеджер томозит, когда при открытии директории читает атрибуты файлов, а то и превьюхи генерирует каждому ))