Email or username:

Password:

Forgot your password?
Шуро


Раз уж вышел очередной релиз Френдики, то по традиции там должна была сломаться загрузка фото через API. Проверим.

Держите вечер на набережной парка Фили.
#Москва #lang ru
31 comments
Шуро
Да ладно, не сломалось?!
Что дальше будет, планета Земля налетит на небесную ось?
Дед Пропихнутий

@shuro А, человек культуры :) Интересно, "дети" сегодня понимают такой референс?

Minoru

@shuro Сломалось, просто мы ещё не поняли как именно :)

Iron Bug
@shuro надо вот тоже заняться на досуге. я давно Френдику не обновляла. я забоялась, что они там какие-то мощные измерения выкатили, и не стала рисковать. решила подождать. может, завтра попробую накатить апдейт.
[DATA EXPUNGED]
Iron Bug
@shuro @strizhechenko там 49 гигов картинок и 12 гигов база с постами. мне как-то влом бэкапиться. я их, конечно, всё равно делаю. но с отчётливым пониманием, что оно может не подняться из бэкапов. более того, у меня тут уже один раз база накрывалась из-за апдейта mariadb. пришлось восстанавливать из бинарных логов, долго и мучительно. поэтому я придерживаюсь принципа: работает - не трожь.
[DATA EXPUNGED]
Iron Bug
@shuro @strizhechenko конечно чужое. я практически не генерю жирный контент. я вообще сторонник минимализма.
[DATA EXPUNGED]
Iron Bug
@shuro @strizhechenko а мне своё бэкапить и не нужно. оно у меня и так есть. если бы мне была нужна моя информация - она у меня на компе и так есть, без всяких сетей.
Iron Bug
@shuro @strizhechenko это за три года накопилось.
Iron Bug
@shuro @strizhechenko просто Френдика не умеет регулировать сохранение контента на уровне юзеров. я могу сохранять либо весь контент, либо вообще никакой. я не могу сказать Френдике сохранять картинки от юзера Васи, а от тех, кого он перепощивает, не сохранять. понятно, что идеального решения не существует и копирование информации - это общее зло всех распределённых сетей. но я насчёт этого в голове мысль держу, чтобы потом у себя реализовать выборочное сохранение контента.
[DATA EXPUNGED]
Iron Bug
@shuro @strizhechenko это не кэш. это копии. посты в сети имеют свойство исчезать.
Iron Bug
@shuro @strizhechenko я никогда не полагаюсь на сеть. всё, что я использую, у меня скопировано локально.
Iron Bug
@shuro @strizhechenko в принципе, наверное, можно написать скрипт, который пройдётся по базе, выловит линки по какому-то критерию, и похерит "ненужные" картинки. но это тоже непонятная фигня. так поудаляется неизвестно что, возможно, что что-то полезное тоже.
меня 49 гигов не колебут. это мало, на самом деле. музыка у меня, например, занимает десятки терабайт. и на фоне этого 49 гигов - это просто пшик.
Iron Bug
@shuro @strizhechenko у меня ещё и рейды везде стоят. так что это всё ещё и дублируется.
Шуро
@iron_bug @strizhechenko Из возможных для тебя плюсов: там сейчас нет постоянного кэша картинок уже, только оперативный, а кэш аватарок (который у меня жрёт гигов 15 по-моему) можно вообще отключить. Если отключишь, скорее всего, у тебя 49 гигов можно превратить в несколько.

Ещё исправили косяк с отображением сумм в долларах :)

Зато сломали часть API, в частности репосты, но для тебя это вряд ли актуально.

Ну и БД забэкапь, там существенно менялась структура, миграция у меня ни разу не ломала базу при апдейтах, но всё же.
@iron_bug @strizhechenko Из возможных для тебя плюсов: там сейчас нет постоянного кэша картинок уже, только оперативный, а кэш аватарок (который у меня жрёт гигов 15 по-моему) можно вообще отключить. Если отключишь, скорее всего, у тебя 49 гигов можно превратить в несколько.
Iron Bug
@shuro @strizhechenko а это не плюс. это минус. я как раз хочу всё сохранять. то, что мне сразу не нравится, я сразу же и удаляю. у меня включена настройка сохранять контент локально.
Шуро
@iron_bug @strizhechenko Ну посмотри, может, там сейчас это опционально. Но по-умолчанию он больше не кеширует картинки на диск.

Я пока так и не нашёл где это настраивается, если попадётся на глаза - дай знать.
Iron Bug
@shuro @strizhechenko вот если он не сохраняет контент - тогда мне это не надо. я, конечно, могу это исправить вручную, если что. но мне не хотелось бы в это погружаться. у меня и своих задач полно.
Iron Bug
@shuro @strizhechenko но это не кэш. люди почему-то сохранение путают с кэшированием. а это совсем разные вещи.
Шуро
@iron_bug @strizhechenko Скорее всего, я и путаю.

У меня был именно кэш, а локальное сохранение я там ещё тогда не нашёл где включить.
Iron Bug
@shuro @strizhechenko у Френдики изначально при установке есть вариант хранить контент в базе и хранить контент на винте (storage). я в базу картинки совать не стала, я их вынесла на винт, так удобнее. база не пухнет, картинки существуют отдельно и достаточно независимо. они там упорядочены в виде 16-ричного дерева по идентификаторам. достаточно удобная и простая система.
и там где-то в настройках можно копировать на свой сервер картинки их постов (видео и всякие прочие аттачи не копируются, и слава Ктулху). а вот картинки можно хранить локально в этом хранилище. там где-то есть галочка копирования контента. тащетма, вот. сам пост хранится в базе, в нём ссылки на файлы в хранилище. как-то так.
а кэш - это кэш. это работа с часто запрашиваемыми (обычно свежими) данными и оно просто по истечению срока удаляется с винта или из памяти. но я бы предпочла кэш на винте, чем распухание рамы. ПЫХ и так жирен и жрёт много ресурсов. если у него ещё и кэша не будет, он будет ваще дрочить сервер так, что мало не покажется. плюс ещё специфика Федивёрса и хреново написанные серверы и клиенты. трафик там очень мощный. и кэш поверх nginx, про который я когда-то писала пост, очень облегчил жизнь сервера.
в общем, кэша много не бывает.
@shuro @strizhechenko у Френдики изначально при установке есть вариант хранить контент в базе и хранить контент на винте (storage). я в базу картинки совать не стала, я их вынесла на винт, так удобнее. база не пухнет, картинки существуют отдельно и достаточно независимо. они там упорядочены в виде 16-ричного дерева по идентификаторам. достаточно удобная и простая система.
Iron Bug
@shuro @strizhechenko кстати, про кэш получилось как-то двусмысленно, но всё равно верно :)
Sascha replied to Iron

@iron_bug @shuro @strizhechenko Йожик: Как в одном месте смогло собрацо стока умных людей я удивляюсь! заповедник

Iron Bug
@shuro @strizhechenko отсутствие кэша, кстати, тоже плохо. у меня комп не выключается. и браузер тоже. и вот в нём открыта Френдика на вкладке и там 50 выборка в 50 постов. и если нет кэша, клиент начнёт долбить чужие 50 серверов и таки он их задолбает. потому что браузер кэширует не всё. а постоянно перезапрашивать контент с удалённых серверов - это моветон, за который, я считаю, надо отрывать руки.
Iron Bug
@shuro @strizhechenko я и так поставила апдейт пореже, чтобы он не дрочил сеть и серверы. но без кэша там будет всё значительно хуже. я не думаю, что они совсем убрали кэш. это было бы неправильно. но у меня всё равно сверху самого nginx'а кэш навёрнут на такой случай. и он как раз дэмпфирует вот эту долбёжку веб-морды к серверу.
Iron Bug
@shuro @strizhechenko а про аватары - да, они мелкие и занимают много места. потому что меньше сектора на диске не занять, а секторы там довольно большие. я не хочу использовать всякие ФС с пожатием данных. при работе с кучей файлов это будут тормоза и гемор. так-то 49 гигов там занято кучей довольно мелких картинок. это как сорцы: когда собираешь систему и у тебя терабайты сорцов. хотя если их пожать в архивы, их будет совсем немного.
Iron Bug
@shuro @strizhechenko а вот суммы в долларах бесили, да :) это ценное исправление.
Шуро
@iron_bug @strizhechenko Кстати, эта проблема с долларовыми суммами была весьма эпична - они не отображались, так как $1, $2 и т.п. на самом деле парсились как переменные. Если не отображались, то это переменная пустая была, а удачная сумма в долларах (совпадающая с переменной) могла вывалить полэкрана левых данных :))
Iron Bug
@shuro @strizhechenko так это понятно откуда ноги растут, это ПЫХ и удаление потенциально опасных инструкций. кстати, как бы они там уязвимости в связи с этим не внесли. там очень тонкая грань.
Iron Bug
@shuro @strizhechenko прол апдейты я знаю. мне надо будет отключить репликацию, остановить rsync хранилища и потом уже всё бэкапить и накатывать. и потом снова всё включать. может, завтра доберусь. а может, сегодня ещё успею поковыряться.
Iron Bug
@shuro @strizhechenko у меня ещё есть рептикация. это я перестраховалась насчёт ссянкций. сейчас можно ожидать чего угодно. но всё равно это требует много телодвижений. всё нужно првоерить, убедиться, что ничего не отвалилось.
Панк Чёртов

@shuro Вот и не угадал, загрузилась фотка :-)

Go Up