Сразу хочу огорчить решивших, что я делюсь рецептом взлома провайдера и хвастаюсь самым быстрым домашним Интернетом. Но нет, эта статья — всего лишь мой скромный опыт создания у себя дома 10-гигабитной локальной сетки из подручных средств.
После спонтанной покупки на распродаже
2,5-гигабитного свитча XikeStor SKS3200M-4GPY2XF, я заменил им стоявший ранее гигабитный вариант. Но полностью заменить не получилось, т.к. банально не хватило одного порта RJ-45 — у стоявшего ранее их было 8, а у нового всего 4 и два SFP+. SFP я дома не держал, так что пришлось временно подключить оба свитча, что меня мало устраивало — нет смысла плодить сущности и создавать мешанину из проводов и блоков питания.
Самое дешёвое решение — достать за бесценок б/у гигабитный SFP-модуль — я сразу же отсёк, как травмирующее мою гиковско-сисадминскую натуру (не для того я покупал быстрый свитч, чтобы эксплуатировать его на том же гигабите), и занялся выбором 10-гигабитного варианта. Претендент на подключение дома на такой скорости всего один — самосборный сервачок.
Рассматривал три варианта:
1 — Кабель прямого подключения «Direct Attach Cable (или Copper)» (DAC-cable, твинакс-кабель) + в сервер сетевую карту с SFP-портом
2 — Два оптических модуля SFP + готовый оптический кабель + в сервер сетевую карту с SFP-портом
3 — Один медный модуль SFP RJ-45 + обычная медная витая пара, правда Cat6 или выше + в сервер сетевую карту RJ-45
1 вариант выглядел самым логичным — цены на DAC-кабели начинаются примерно от 1000 рублей за метровый вариант, но мне надо заметно более длинный, метров 10, и при такой длине цены уже не такие бюджетные. К тому же это наименее универсальный вариант в плане замены оборудования или его перестановки. В итоге этот вариант быстро отмёл.
2 вариант «по фен-шую» — с оптикой. Оптические кабели стоят не дорого, но: 1 — необходимость сразу двух SFP-модулей и невозможность подключить сюда ничего другого (читай — меньшая универсальность) заставили отказаться и от этого варианта.
3 вариант подкупает своей универсальностью — к этому порту в случае необходимости можно подключить любое другое сетевое устройство с витой парой, к тому же выбор медной витой пары заметно шире — можно взять как готовую, так и самому потренироваться на обжатии кабелей высокой категории…
В итоге, взвесив все «за» и «против», остановился на 3 варианте. Поскольку мне было не срочно, то не торопясь просматривал подходящие варианты как на АлиЭкспресс, так и в локальных магазинах или барахолках типа «Авито». В результате были куплены:
1. Б/у серверная сетевая карта Ethernet Intel X540-T2 Dual RJ45 Ports 10Gbs
https://aliexpress.ru/item/1005006332627101.html
2. SFP+ трансивер 10GbE RJ45
https://aliexpress.ru/item/1005003290311396.html
3. Сетевые кабели UGREEN Cat8
https://aliexpress.ru/item/1005007085105672.html
1. Сетевая карта
Про её б/у-шность у продавца в описании нет ни слова, но я то знал заранее ;-)
Информация о контроллере на сайте Intel:
ark.intel.com/content/www/us/en/ark/products/58954/intel-ethernet-converged-network-adapter-x540-t2.html
Коротко:
— два 10GbE/1GbE/100Mb порта RJ-45
— PCIe x8 v2.1
— год выпуска 2012
— драйвера под Windows 7-11, Windows Server 2008-2022, Linux, FreeBSD, VMware…
Полностью, кому интересно
Product Collection Intel® Ethernet Converged Network Adapter X540
Marketing Status Discontinued
Launch Date Q1'12
Vertical Segment Server
Cable Medium Copper
Cabling Type RJ45 Category 6 up to 55 m; Category 6A up to 100 m
Bracket Height Low Profile and Full Height
Networking Specifications
Port Configuration Dual
Data Rate Per Port 10GbE/1GbE/100Mb
Intel® Virtualization Technology for Connectivity (VT-c) Yes
Speed & Slot Width 5.0 GT/s, x8 Lane
Controller Intel® Ethernet Controller X540
Package Specifications
System Interface Type PCIe v2.1 (5.0 GT/s)
Intel® Virtualization Technology for Connectivity
On-chip QoS and Traffic Management Yes
Flexible Port Partitioning Yes
Virtual Machine Device Queues (VMDq) Yes
PCI-SIG* SR-IOV Capable Yes
Advanced Technologies
iWARP/RDMA No
Intel® Ethernet Power Management No
Intel® Data Direct I/O Technology Yes
Intelligent Offloads Yes
Storage Over Ethernet iSCSI, FCoE, NFS
Предложений на АлиЭкспрессе много, конкретно это выбрал из-за достаточно большого для такого специфического товара количества продаж и высокого рейтинга. Если смотреть фото покупателей из отзывов, то можно заметить, что сетевые карты отличаются друг от друга даже в одном лоте. Объяснение простое — сетевухи из б/у-шных серверов. Я за свою отдал 1097 руб., новая такая стоила каких-то заоблачных денег, да и сейчас в магазинах за неё просят минимум на порядок больше.
Карта упакована в защитный блистер. Этикетка на нём:
Сама плата:
Два порта RJ-45:
Конкретно мне досталась карта из сервера китайского бренда Inspur, дата производства — 2016 год.
Для установки требуется разъём PCIe аж x8. Такой «большой» нужен, т.к. пропускная способность PCIe второй версии — 4 гигабит/с на x1, а у сетевой карты два 10-гигабитных порта. В настольных компьютерах такой встречается не часто, как правило, единственный подходящий — x16 занят видеокартой. Но т.к. я планировал установить её в сервер, то дискретной видюхи в нём нет и x16 на материнке как раз свободен.
2. SFP+ трансивер
Очень хотел найти такой, который бы поддерживал скорости не только 1 и 10 гигабит, но и промежуточные «новые» стандарты — 2.5 и 5. В отзывах покупателей натыкался, что конкретно эта модель их поддерживает.
Этот трансивер видел в продаже у многих продавцов, у этого взял по той же причине — достаточно большого для такого специфического товара количества продаж и высокого рейтинга, хотя были и немного более дешёвые предложения. 10 гигабит по витой паре итак не самое популярное решение, а уж с поддержкой режимов 2.5 и 5 и подавно. Б/у таких пока ещё не бывает, так что за свои хотелки пришлось выложить аж 2435 руб.
На выбор предлагаются модули, прошитые под любые Vendor-Lock.
Прислали упакованным в безымянный пакетик:
Сам модуль закутан в толстый слой вспененного полиэтилена и обмотан скотчем:
Внешний вид:
RJ-45:
3. Сетевые кабели UGREEN Cat8
Такая высокая категория для 10 гигабит не нужна, достаточно и 6 при длине кабеля до 55 метров или 6a — до 100 метров. Но на прошедшей в августе распродаже «на миллион» всплыл этот лот. Зашёл чисто из любопытства и удивился подозрительно низкой цене за такие кабели, но UGREEN вполне приличная компания, так что причин усомниться в достоверности информации у меня не было. На выбор предлагались варианты длиной от 0,5 до 20 метров и категории 6 или 8. Заказал парочку — 5 и 15 метров, т.к. у них была самая низкая цена за метр длины. Через час зашёл повторно и увидел, что пропал вариант 10 метров. А меньше, чем за сутки остался только 0,5м Cat6. Подумал, что надо было брать больше…
Сейчас по данной ссылке товар закончился, а недавно предлагали купить обжималку — даже UGREEN пользуется подменой товара у раскрученного лота, чтобы рейтинг зря не пропадал. Нашёл парочку альтернативных ссылок:
https://aliexpress.ru/item/1005005852280891.html
https://aliexpress.ru/item/4001219267343.html
Упаковка:
Её содержимое:
Рекламная макулатура — это понятно, а вот содержимое пакетика удивило:
До сих пор не встречал, чтобы в комплекте с сетевыми кабелям шёл крепёж. Как и не встречал, чтобы разъёмы витай пары были защищены специальными колпачками:
Маркировка кабеля:
Категория — 8, тип — U/FTP, что означает, что каждая отдельная пара экранирована фольгой для защиты от перекрёстных помех, но общий экран отсутствует. Наглядно показано на данной рекламной картинке:
Кабель плоский и достаточно гибкий — при покупке думал, что будет жёстче.
Скорости проверял на работе, где в локальной сети есть другое оборудование 10GbE.
Начал с сетевой карты. Опозналась в компьютере нормально, после установки драйвера появились два новых сетевых интерфейса:
Тест первый.
15-метровым кабелем UGREEN подключил к свободному 10-гигабитному порту в сервере HP Proliant с сетевой картой HP Ethernet 10Gb 2-port 561FLR-T Adapter. Линк сразу установился на ожидаемых 10 гигабитах.
Скорости в iPerf в 1, 5 и 10 параллельных потоков:
Придраться можно разве что к скорости в 1 поток — до 10 гигабит почему-то сильно не дотягивает.
А теперь о том, о чём умалчивает спецификация в базе Intel ARK — сетевой чип явно не из холодных, большой радиатор на нём стоит не просто так. При работе разогревается так, что дотрагиваться до него больно. Как смог подлез с термокамерой:
55 градусов на плате, правда в корпусе fulltower со снятой боковой стенкой. Для работы требуется хороший обдув — что нормально для сервера, может стать проблемой в десктопе.
Тест второй.
Устанавливаю SFP модуль в свитч XikeStor:
Тем же кабелем UGREEN подключаю к нему компьютер из первого теста. Модуль опознался, линк поднялся на 10 гигабитах:
Второй SFP порт DAC-кабелем подключаю к другому свитчу:
Опять запускаю iPerf до сервера в сети в 1, 5 и 10 параллельных потоков:
Скорость процентов на 20 ниже значений, типичных для 10 гигабит, хотя и данный результат совсем неплох.
В отзывах читал, что данные модули греются заметно меньше, чем «оригинальные», при этом не конкретизируя, какие оригинальные имеются в виду. Поскольку потребление свитча не большое, то смог рассчитать потребляемую модулем мощность.
1 — свитч без SFP-модуля
2 — свитч с подключенным модулем
3 — свитч с модулем и подключенным к нему кабелем Ethernet
4 — свитч с подключенными модулем и DAC-кабелем при запущенном iPerf
Итого получается примерно 2,5 Вт. С одной стороны это вроде и не много, но с другой — заметно больше, чем требуется для DAC-кабеля. И модуль всё равно достаточно сильно нагревается.
Для проверки совместимости с разным сетевым оборудованием, попробовал подключать его к Zyxel XGS1250-12 и сетевой карте HP Ethernet 10Gb 562SFP+ Adapter. Проблем в обоих случаях не возникло.
Тест третий.
Проверка поддержки «промежуточных» значений скоростей. 5 гигабитного оборудования у меня нет, а вот 2.5 имеется «в ассортименте». К модулю, установленному в свитч XikeStor подключил компьютер с 2.5 GbE и опять запустил iPerf в 1, 5 и 10 параллельных потоков:
Скорость явно ограничена потолком для 2.5-гигабитной сетевухи.
Вместо выводов
Всё купленное мною оборудование нормально работает и соответствует заявленным параметрам. Хотя, зараза, сильно греется.
Мнение главного сисадмина
Заявила, что ей некогда страдать всякой фигнёй и временно переквалифицировалась в орнитолога — сидит целыми днями на подоконнике и наблюдает за сбивающимися в стаи птицами, готовящимися к перелёту
Практическая ценность данного «апгрейда»
Вообще, для NAS на HDD без RAID, она заканчивается на 2.5 GbE, да и то разницу лучше всего видно с секундомером в руках. На 10 GbE скорость заметно раньше упрётся в производительность дисковой подсистемы, или, что заметно обиднее, в тормозной SMB-CIFS протокол. Чтобы получить ускорение, надо в NAS использовать SSD, но до такого я дома ещё не дорос. Так что единственным практическим применением стала установка на сервер OpenSpeedTest. Да и то сделать так, как на работе:
я не могу, пока второй 10-гигабитный порт свитча свободен, так что дома только так, зато можно одновременно с 4 устройств:
Пруфы покупок
А если кто-то считает, что это всё не имеет смысла, а мне просто нечем заняться, то я замечу, что данное моё хобби, граничащее с профдеформацией, ничем не хуже коллекционирования фонариков, ручек или ножей, и обходится куда дешевле аудиофилии:
Некоторые вообще домой уже
40 гигабит давно ставят ;-)
Вместо эзернета взял SFP+ DAC кабели, карты меланокс и дешевый свич. В итоге вышло 10к рублей вообще за все. А сейчас цены упали и можно собрать этот же набор тысяч за 8,5-9.
Работает стабильно, жрет очень мало (sfp+ карты мало жрут а dac вообще ничего), не жалуюсь.
Смысл в 10 гбит дома правда очень размытый, все же 2,5гбит еще дешевле, работает на любых кабелях, жрет мало, и все еще очень быстро (для зеркала из пары HDD скорости достаточно).
https://aliexpress.com/item/1005004955377760.html
Для проверки ставьте на оба хоста юбунту, например. В ней iperf прекрасно показал утилизацию 10Гбит в любых сочетаниях оптика/медь в один или несколько потоков, да еще в дуплексе. Винда рядом не стояла. :) В последней юбунте можно загрузиться с образа в режиме «попробовать» и загрузить iperf из репозитория штатного. Можно даже не ставить, просто загрузочную флешку и вперед.
https://aliexpress.ru/item/1005006215135094.html
Для больших расстояний можно взять оптику, у меня дешман на 10 метров за 1100 рублей https://aliexpress.ru/item/1005005245367801.html, греется очень слабо, скорость не режет.
У меня в своё время этот сетап отрос, когда я в очередной раз добрался до ретуши, что для меня подразумевает фотошоп. Так как повседневная система — линукс, а фотошопу пришлось мостить винду, надо было как-то решать вопрос с доступностью данных под обеими ОС. В итоге выпихнул всё кроме сосбвтенно ОС на NAS через 10 гигабит, с локальными винтами разница вообще не чувствуется.
Cat8 я тоже взял, но какой то неизвестной марки, пока используется как обычный, полет норм.
следующий момент энергопотребление… а если учесть желательную автономность минимум в сутки «нормального» дома, то необходимость 10 гигабит сразу существено снижается…
думаю гигабита еще лет 5 точно всем хватит для домашнего использования, многие до сих пор сидят на сотке и не понимают зачем оно больше дома нужно…
пока еще это не стало массовым трендом и все вдруг побежали закупаться оборудованием…
P.S. комментаторы выше опередили…
Цитата, приписываемая мне: «Дома 100мб сетки хватит всем для любых задач»
Лично я в похожей ситуации взял оптику — SFP+ стоят существенно дешевле (брал локально, на рубли это порядка 500 рублей за штуку), волокно мультимод — и подавно копейки. И меланоксы, да. Свитч микротик CRS309-1G-8S+IN, но конкретно для моего сетапа он вообще лишний, так как скорость нужна только для NAS и основной машины, можно было тупо напрямую соединить. Хотя приятно, конечно, что есть 8 SFP+ портов на всё про всё…
DAC на десять метров — это извращение, а вот такое — https://aliexpress.com/item/1005006215135094.html — вполне вариант.
куда же делось любимое сисадминское «работает — не трогай»?
А всё подряд крутить и апгрейдить — это для души.
На километр примерно. Чтобы туда патчкордики FC-LC воткнуть.
А то у меня дом большой…
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.