Email or username:

Password:

Forgot your password?
Joinny Hash

Пытаюсь найти какое-то адекватное решение для дедупликации #фото и синхронизации их.

До этого был #rsync и тут есть проблема. Центральной точки правды на тот момент не было, в итоге произошло частичное дублирование. rsync не учитывает переименование файлов, он понимает только добавление/удаление. Если делать удаление, то при расхождении изменений что-то да потеряется. А я структуру частенько перелопачиваю, прибираясь в архивах, сортируя фоточки по папочкам.

#git #lfs звучит наиболее подходящей здесь штукой, но насколько я понимаю его смысл в том, чтобы не тянуть при клонировании с сервера то, что не выбрано в текущей ветке, а при обращении к тому что за пределами зачекаутенного - подтягивать с сервера. Кажется на 200гб/50000 фото, которые ещё и все выбраны, такая система большой пользы не принесёт, а git только удвоит объём данных своей служебной папкой.

Если проблему решать несистемно, можно было бы отдельно провести дедупликацию одним и тем же алгоритмом на всех трёх компах, потом установить на них tree одной и той же версии, пробежаться vimdiff'ом по дереву и попытаться мержить различия. После того как два компа начнут совпадать - смержить третий. После этого признать один точкой правды и начинать синхронизацию всегда с "подпуливания с дозаписью с него" и лишь потом заниматься сортировками и "пушить" с rsync --delete.

А так - ввести какую-то строгую структуру давно пора. Мб выделить отдельную концепцию неразобранного входящика, которая синхронизируется иначе, а обычные фото всегда синкать с дозаписью (без --delete).

@kurator88 ты вроде недавно с чем-то походим возился, контрольные суммы и имена файликов сравнивал. Не напомнишь?)

5 comments
hardworm ☭

@strizhechenko @kurator88 сделать дедупликацию на основе fdupes.

Сам пришел к photos на synology. Можно поднять nextCloud или что-то такое.

Go Up