Email or username:

Password:

Forgot your password?
Alexey's posts Post Back to profile
Alexey Skobkin

Надо бы как-нибудь потыкаться в ZFS.

А то похоже, что она имлементит и аналог софтового рейда, и умеет в шифрование, и в целом достаточно интересная.

Если оно ещё и может нормально вести себя с дисками разного размера продолжая обеспечивать отказоустойчивость, то прям НАДО БРАТЬ.

Потому что сейчас с MDRAID если я захочу расширять массив и дальше, то мне нужно будет покупать всё такие же диски на 10 терабайт, а диски на 18 терабайт из той же серии выходят дешевле в соотношении цены за единицу памяти.

У кого-то есть опыт с ZFS? Есть что рассказать хорошего/плохого?

#Linux #ZFS #server #storage #log #thoughts #help

1 Jul 2022 at 19:39 | Open on lor.sh
20 comments
D:\side\

@skobkin слышал только, что оперативки кушает много, поэтому на совсем небольших хранилищах не вывозит.
Но я пока именно небольшими и обхожусь, поэтому так и не попробовал.

1 Jul 2022 at 20:49 | Open on mastodon.ml
Alexey Skobkin

@dside
"Небольших" - это сколько?
Полагаю, речь идёт про кэш ARC?

1 Jul 2022 at 21:12 | Open on lor.sh
D:\side\

@skobkin в моём случае небольшое это потребительский NAS с 2 Гб оперативки на борту без возможности апгрейда. Куча таких моделей на 2-4 дисковых места.

1 Jul 2022 at 21:30 | Open on mastodon.ml
Alexey Skobkin

@dside
А, понял.
Я раньше тоже на них смотрел, но понял, что либо мне там станет тесно очень быстро, либо придётся брать NAS за охуилиард денег.
В результате нахуевертил на коленке сервачок в кубическом корпусе с материнкой под Xeon с Aliexpress 🙂

1 Jul 2022 at 21:40 | Open on lor.sh
Раджа

@skobkin говорят, что ей надо много памяти.

2 Jul 2022 at 6:35 | Open on lor.sh
Alexey Skobkin

@radjah
Ну, с много памяти она прям лучше работать начинает, если я правильно понимаю.
Но это не то чтобы большая проблема - можно и накидать памяти. Диски всё равно сильно дороже.

2 Jul 2022 at 14:36 | Open on lor.sh
Taciturn

@skobkin > мне нужно будет покупать всё такие же диски на 10 терабайт, а диски на 18 терабайт из той же серии выходят дешевле
Но ведь можно начать с замены 10 на 18. А потом спокойно добавлять 18.

2 Jul 2022 at 10:12 | Open on lor.sh
Alexey Skobkin

@Taciturn
Тогда больше забот потому что диски на 10 нужно куда-то продавать.

Плюс пока все не поменяешь - расширения нет если не устраивать клоунаду с разделами сильно снижая производительность и надёжность.

Согласись, было бы гораздо удобнее если бы менять можно было реально постепенно.

2 Jul 2022 at 14:40 | Open on lor.sh
Taciturn

@skobkin Как это нет? Всё есть, я успешно делал.
Первая попавшаяся инструкция.
tjansson.dk/2015/12/growing-a-

2 Jul 2022 at 14:45 | Open on lor.sh
Alexey Skobkin

@Taciturn Эм, ну так это подразумевает, что ты все диски сразу меняешь, хоть и по одному.

Там же даже по твоей ссылке написано:
> Now all the disks have been replaced with larger 3TB disk, but the raid device is not using the space yet.

То есть он сначала поменял ВСЕ ДИСКИ, а потом наращивал размер рейда.

2 Jul 2022 at 14:48 | Open on lor.sh
Alexey Skobkin

@Taciturn
Тут ведь смотри в чём поинт.
У меня сейчас RAID 6 из пяти дисков.
Я могу его наращивать добавляя по одному диску на 10 ТБ.

Но диски на 10 ТБ сейчас уже не самые выгодные и было бы круто если бы я мог туда допихивать диски большего размера. Но по очевидным причинам это так не работает.

У ZFS, насколько я понял, можно пул расширять дисками других размеров, но всё равно не по одному (если нужно сохранять отказоустойчивость).

Там, конечно, есть наркоманские варианты побить все диски на несколько кратных размеров (см. картинку), но это долбанёт по производительности и надёжности. Я пока не настолько отчаялся.

@Taciturn
Тут ведь смотри в чём поинт.
У меня сейчас RAID 6 из пяти дисков.
Я могу его наращивать добавляя по одному диску на 10 ТБ.

Но диски на 10 ТБ сейчас уже не самые выгодные и было бы круто если бы я мог туда допихивать диски большего размера. Но по очевидным причинам это так не работает.

У ZFS, насколько я понял, можно пул расширять дисками других размеров, но всё равно не по одному (если нужно сохранять отказоустойчивость).
2 Jul 2022 at 14:53 | Open on lor.sh
Taciturn

@skobkin Технически ты вполне можешь добавлять диски на 18TB. Но использовать получится только 10. А много ли этих дисков?

2 Jul 2022 at 14:54 | Open on lor.sh
Alexey Skobkin

@Taciturn
Но тогда получится, что я куплю 10 ТБ в полтора раза дороже, чем мог бы 🙂

То что КОГДА-ТО оно превратится в 18 ТБ - не очень греет душу потому что в неопределённом будущем может быть выгоднее купить диски на ещё больший объём 😄

Проще действительно заморочиться и купить новые диски, собрать массив, а потом перелив данные продавать старые. Но это, как ты понимаешь, большие разовые вложения и непонятно за сколько уйдут старые диски.

2 Jul 2022 at 15:00 | Open on lor.sh
Раджа

@skobkin @Taciturn включай сжатие, авось превратятся 😁

2 Jul 2022 at 15:03 | Open on lor.sh
Alexey Skobkin

@radjah @Taciturn
Мы тут ещё не про ZFS, если что, а про MDRAID.

2 Jul 2022 at 15:03 | Open on lor.sh
Taciturn

@skobkin Не заметил про «все не поменяешь».

2 Jul 2022 at 14:48 | Open on lor.sh
Inari Uveh 🍄

@skobkin
не всё так радужно.
Но то что пишут жрёт много, ну это как посмотреть! если отключить приблуды всякие, типа там сжатия или дедупликации, шифрования... Каких-нибудь 8 гб ей норм. Но и на меньшем будет работать, хоть и не так бойко.
Гибкость расширения у неё на уровне напихать одинаковых дисков в массив. Уничтожение и пересоздание массива в пуле с переносом данных куда-то. Хотя там есть такие-то костыли и даже разрабы какие-то подвижки делают, но не вдавался... Обычно кто этим занимается, у тех нет проблем с дисками и проще переехать, новый массив создать.

Винегрет бомжа для дома с разнородными дисками это к Унрейд или Хренологии. Ну или DrivePool.

Сам ищу квази-рейд, но что-то пока это либо платное либо бесплатная дичь с непонятным будущим.
Но можно и с простым RAID самому ручками разбить большой диск и зазеркалить на него мелкие. Типа тоже будет эдакий matrix-raid. Но хотелось бы чего-то хотя бы полу-автоматизированного.

ZFS лучше намного MDRAID в плане сохранности данных, это вот точно.
Можно на ней переехать с 10 на 18 путём поступательного замещения. Вот когда все заменятся можно будет и расширить.

@skobkin
не всё так радужно.
Но то что пишут жрёт много, ну это как посмотреть! если отключить приблуды всякие, типа там сжатия или дедупликации, шифрования... Каких-нибудь 8 гб ей норм. Но и на меньшем будет работать, хоть и не так бойко.
Гибкость расширения у неё на уровне напихать одинаковых дисков в массив. Уничтожение и пересоздание массива в пуле с переносом данных куда-то. Хотя там есть такие-то костыли и даже разрабы какие-то подвижки делают, но не вдавался... Обычно кто этим занимается,...

2 Jul 2022 at 12:42 | Open on lor.sh
Alexey Skobkin

@inari
> Сам ищу квази-рейд

Ну, в зависимости от того, что тебе надо, можешь на mergerfs глянуть - это такой mhddfs сделанный более стабильно и гибко. Но оно работает на FUSE, из чего следует ряд особенностей.

2 Jul 2022 at 14:45 | Open on lor.sh
Inari Uveh 🍄

@skobkin
не плохо...
вот что-то такое и искал только с перламутровыми пуговицами)
Т.е. одновременно и голая ФС с файлами, чтобы если что отвалится, могло так же читаться... И при этом зеркалирование. И чтобы ещё сверху проверка целостности, хах)
Иначе, допустил, возьмёт zfs, где пусть в пуле 4 диска, 2 пары в raidz-1(хотя пар может быть сколько угодно). И два диска в одной паре выходят из строя и весь пул сыпется. Неприятненько 😐 хотя и частично восстановимо.

Такс... сейчас набрёл на SnapRAID (проверка данных и зеркалирование) + Aufs (организация пула). По описанию какой-то прям Unraid бесплатный))

цель - хранение редкоизменяемых данных среднего размера с доступом по самбе. Архив попросту говоря.

@skobkin
не плохо...
вот что-то такое и искал только с перламутровыми пуговицами)
Т.е. одновременно и голая ФС с файлами, чтобы если что отвалится, могло так же читаться... И при этом зеркалирование. И чтобы ещё сверху проверка целостности, хах)
Иначе, допустил, возьмёт zfs, где пусть в пуле 4 диска, 2 пары в raidz-1(хотя пар может быть сколько угодно). И два диска в одной паре выходят из строя и весь пул сыпется. Неприятненько 😐 хотя и частично восстановимо.

2 Jul 2022 at 17:07 | Open on lor.sh
Alexey Skobkin

@inari
> И при этом зеркалирование.

Не, зеркалирование ты тут сам обеспечиваешь.
Она просто тебе оверлеи делает и раскидывает файлы по дискам так как ты настроишь. То есть это обёртка над другими ФС, а не над блочными девайсами.

> И два диска в одной паре выходят из строя и весь пул сыпется.

Ну от такого по-моему и в ZFS что-то было аналогичное RAID 6.
Я тоже RAID 6 по такой же причине использую чтобы если чо не бежать роняя штаны за новым диском.

> цель - хранение редкоизменяемых данных среднего размера с доступом по самбе

У меня похожее, только ещё более смешанное:

- просто самба
- медиатека, которая как доступна по той же самбе, так и через медиасервер (emby)
- внешний сторедж для бекапов (в последствии наверное будет выделено в отдельный массив)

@inari
> И при этом зеркалирование.

Не, зеркалирование ты тут сам обеспечиваешь.
Она просто тебе оверлеи делает и раскидывает файлы по дискам так как ты настроишь. То есть это обёртка над другими ФС, а не над блочными девайсами.

> И два диска в одной паре выходят из строя и весь пул сыпется.

Ну от такого по-моему и в ZFS что-то было аналогичное RAID 6.
Я тоже RAID 6 по такой же причине использую чтобы если чо не бежать роняя штаны за новым диском.

2 Jul 2022 at 17:18 | Open on lor.sh
Go Up