Email or username:

Password:

Forgot your password?
Alexey's posts Post Back to profile
Alexey Skobkin

Первый оптический линк - есть 🎉

Воткну в домашний сервер Intel X520-DA2, пересобрал ядро с ixgbe, просунул ему в параметры allow_unsupported_sfp=1 и всё завелось!

#home #network #fiber #server #Intel #Linux #optics #log
31 January at 21:40 | Open on lor.sh
17 comments
Alexey Skobkin

Я, правда, умудрился проебланить при покупке на Авито этих сетевых карт.

Купил обе только с низкопрофильной планкой.
Видимо, будут висеть в порту на соплях пока не придут полноразмерные с Aliexpress 🤷‍♂️

31 January at 21:41 | Open on lor.sh
Alexey Skobkin

Ещё я, кстати, умудрился довольно забавно проебланиться с заказами SFP+ модулей.
Благо у меня есть оправдание: я делал это почти заснув.

Но в итоге я закал два модуля Huawei почему-то забыв, что вообще-то с каждой стороны нужно по одному модулю, а у меня две машины, которые я хотел соединить оптикой 🙄

31 January at 22:08 | Open on lor.sh
Alexey Skobkin

И да, несмотря на то, что линк между роутером (RB4011) и свитчем (CRS309) вроде как был когда я его недавно показывал, свитч в итоге не получал адреса и со второны роутера был недоступен. Или по крайней мере я до него достучаться не смог.

Пока решил это простейшим на текущий момент способом - воткнул свитч в другой свитч посредством SFP+ медного модуля на 10G витую пару - тут всё зацепилось отлично.

То ли это какие-то микротиковские заморочки, то ли я чего-то не понял.

Но в итоге эти же два модуля между CRS309 и сервером работают отлично.

В общем, надо будет разобраться кто там виноват.

И да, несмотря на то, что линк между роутером (RB4011) и свитчем (CRS309) вроде как был когда я его недавно показывал, свитч в итоге не получал адреса и со второны роутера был недоступен. Или по крайней мере я до него достучаться не смог.

Пока решил это простейшим на текущий момент способом - воткнул свитч в другой свитч посредством SFP+ медного модуля на 10G витую пару - тут всё зацепилось отлично.

31 January at 22:11 | Open on lor.sh
kurator88

@skobkin напомни пожалуйста свою мотивацию - just for fun ?

31 January at 22:12 | Open on soc.kurator.tech
Alexey Skobkin

@kurator88
Это во-первых, да!
Мне нравится этим заниматься. Это - интересно. Я не хочу работать админом или монтажником, но для себя мне это делать очень нравится.

А во-вторых, я заебался с тем как у меня работали медные 10Gbps - регулярно ловил падения линка на пустом месте.

Один из виновников (10G свитч от Tp-Link) был устранён, но это не решило проблему. Нет, он не был невиновен - у этого гада мог просто перестать работать какой-нибудь порт пока его не ребутнёшь. Так что даже если на короткое время линки ронял не он, то вот такое поведение - это недопустимо.

Следующие наиболее вероятные виновники - сетевые карты Tp-Link TX401. Скорее всего, если поменять их на какой-нибудь хороший Intel/Mellanox - жил бы и на меди, хоть и дороже.

А дальше я просто подумал, что медь, конечно, самому обжимать удобнее, но в остальном дальше идут только минусы:

- Очень горячие карты и модули
- Очень чувствительно к помехам, длине кабеля и категории - Cat 6a и жирнее, и хуже гнётся, и дороже, и обжимать дольше
- Чисто Ethernet 10G свитчей меньше, чем универсальных SFP+, а покупать свитч и набивать его модулями для медной сети - это вообще дорогое удовольствие - они до 5x в цене могут отличаться.
- Какие-то ещё более мелкие вещи, которые я уже забыл

И тут я вернулся к пункту 1 и подумал: "а почему бы не запилить оптику?".
Да, с ней поначалу сложнее разобраться. Но зато когда разобрался - у тебя и модули меньше жрут, и меньше греются, и дешевле. И если потом вдруг захочется угореть - выше скорость по оптике наращивать проще.

Главный минус лично для меня пока только один: просто кусачками и клещами оптику дома не обжать.
Это грустновато, но если это всё покажет себя стабильно, то я готов буду с этим мириться и покупать патчкорды чуть большей длины, а потом их сматывать колечком.

Медь у меня всё равно обязательно останется в большом количестве: 1G сегмент между комнатами - до телевизоров, принтеров и прочей фигни. 10G сегмент до точки доступа и ещё чего-то что будет иметь дырку шире, чем 1G.

Но мой главный обмен трафиком происходит между десктопом и сервером - ради этого я в общем-то на 10G и заводился когда-то. Вот их я на оптику и перевожу.

@kurator88
Это во-первых, да!
Мне нравится этим заниматься. Это - интересно. Я не хочу работать админом или монтажником, но для себя мне это делать очень нравится.

А во-вторых, я заебался с тем как у меня работали медные 10Gbps - регулярно ловил падения линка на пустом месте.

Один из виновников (10G свитч от Tp-Link) был устранён, но это не решило проблему. Нет, он не был невиновен - у этого гада мог просто перестать работать какой-нибудь порт пока его не ребутнёшь. Так что даже если на короткое...

31 January at 22:27 | Open on lor.sh
Alexey Skobkin

@kurator88
Если коротко, то, наверное 50%/50% сложилась фрустрация от того, что во время работы валится линк и вместе с ним отваливается VPN пока я могу где-то на сервере, где нет mosh/tmux сидеть или вечером мы сидим играем в рейтинговый матч, а меня нахуй выкидывает или я просто стою на месте 10-15 секунд пока вокруг творится хз что, и желание щупать интересные штуки.

Получился win-win симбиоз (по крайней мере, если новая сеть будет стабильнее).

@kurator88
Если коротко, то, наверное 50%/50% сложилась фрустрация от того, что во время работы валится линк и вместе с ним отваливается VPN пока я могу где-то на сервере, где нет mosh/tmux сидеть или вечером мы сидим играем в рейтинговый матч, а меня нахуй выкидывает или я просто стою на месте 10-15 секунд пока вокруг творится хз что, и желание щупать интересные штуки.

31 January at 22:35 | Open on lor.sh
kurator88

@skobkin

>Но мой главный обмен трафиком происходит между десктопом и сервером - ради этого я в общем-то на 10G

А что ты гоняешь и как часто, если не секрет ? kino.pub говорит что вот прямо сейчас ему хватает 15Мбит/сек чтобы показывать мне 4к видео

31 January at 22:36 | Open on soc.kurator.tech
Alexey Skobkin

@kurator88

На вскидку:

- Сорцы видео
- Бекапы (может целый системный раздел SSD бекапиться, например)
- Какие-то другие жирные файлы (дамп базы, etc)

Да, это всё бы убежало бы на сервер или оттуда и на гигабите, но на десятке - быстрее.

Если есть возможность не терпеть - зачем терпеть?

Когда я сидел на почти гигабитном интернете - те же обновления игр в Steam прилетали значительно быстрее.
Вечером так было заметно проще собраться поиграть - когда все занятые, а кто-то ещё и с семьёй - ожидание скачивания обновлений легко может перенести сессию на неделю.

Сейчас я в другом доме и тут только провайдеры с 100 Mbit/s и местами это больно.

Локально тоже подобные ситуации бывают. Поработать перед уходом над проектом видео (десятки гигабайт) и забекапить его на сервер приятнее будет на более быстрой сети.

@kurator88

На вскидку:

- Сорцы видео
- Бекапы (может целый системный раздел SSD бекапиться, например)
- Какие-то другие жирные файлы (дамп базы, etc)

Да, это всё бы убежало бы на сервер или оттуда и на гигабите, но на десятке - быстрее.

Если есть возможность не терпеть - зачем терпеть?

Когда я сидел на почти гигабитном интернете - те же обновления игр в Steam прилетали значительно быстрее.
Вечером так было заметно проще собраться поиграть - когда все занятые, а кто-то ещё и с семьёй - ожидание скачивания...

31 January at 22:45 | Open on lor.sh
kurator88

@skobkin вопрос был глупый потому что я по привычке сам всегда покупаю самый быстрый тариф из всех возможных. :blobcatgoogly:

Думаю теперь куда можно дома оптику запихнуть :blobcatgoogly:

31 January at 22:49 | Open on soc.kurator.tech
Alexey Skobkin

@kurator88
Понимаю и завидую.

Я сейчас немного страдаю пожив какое-то время ранее в арендованной квартире с 800 мегабитами от Ростелекома.

Уже даже проскакивали мысли не изъебнуться ли с тем чтобы разделять коннекты на роутере на два проводных аплинка чтобы эффективнее выжирать их хотя бы в торрентах и других мультипоточных скачиваниях.

Но останавливает то, что это сделает конфигурацию более комплексной и может отломать какие-то другие штуки, которые сейчас сконфигурены и чинить их будет неочевидно как - я всё-таки не профессиональный сетевик, а просто человек, который немного умеет в настройку сети.

@kurator88
Понимаю и завидую.

Я сейчас немного страдаю пожив какое-то время ранее в арендованной квартире с 800 мегабитами от Ростелекома.

Уже даже проскакивали мысли не изъебнуться ли с тем чтобы разделять коннекты на роутере на два проводных аплинка чтобы эффективнее выжирать их хотя бы в торрентах и других мультипоточных скачиваниях.

31 January at 22:53 | Open on lor.sh
kurator88

@skobkin есть speedify который умеет канал склеивать но это нужно ставить отдельную машину которая будет трафик роутить для всей домашней сети. Ну либо свой vps поднимать под это дело. Забыл как называется протокол в linux который бесплатно так умеет.

31 January at 23:04 | Open on soc.kurator.tech
Alexey Skobkin

@kurator88
Хз, что за протокол, но насколько я помню, такие штуки называются "link aggregation":
en.wikipedia.org/wiki/Link_agg

В целом у меня вот сейчас карточки Intel с двумя слотами под SFP+ модули и если вдруг понадобится, то с помощью аггрегирования можно будет нарастить скорость до 20 Gbps между десктопом и сервером. Правда, понятия не имею, как этого добиваться в Windows на десктопе 😄

31 January at 23:08 | Open on lor.sh
kurator88
Alexey Skobkin

@kurator88
А, этот.

Это Multipath TCP, более высокоуровневая штука. Но в контексте виртуалки где-то в ДЦ только такой вариант и возможен, да.
В ядро Linux уже достаточно давненько завезли.

Был запрос притащить это в MikroTik, но пока глухо, вроде.

31 January at 23:19 | Open on lor.sh
Go Up