Про ЦОДы никак нельзя сказать «все как обычно», и 2020 год это еще раз доказал. Поскольку объем данных, поступающих в ЦОДы, продолжает расти, повышаются и требования к каналам их передачи, а архитекторы сетей должны постоянно думать, как оставаться на шаг впереди новых требований.

Оглядываясь назад в 2014 год, когда Консорциум 25G Ethernet предложил технологию по передаче 25 Гбит/с одним потоком (lane) — и 50 Гбит/с двумя потоками, — мы понимаем, что была создана важная развилка в «дорожной карте» отрасли, открывающая путь решениям с более низкой стоимостью передачи данных (в пересчете на один бит), легкому переходу на 50G, 100G и более высокие скорости.

В 2020 году технология 100G вышла на массовый рынок, стимулируя использование все большего числа оптических волокон, а гипермасштабируемые и крупные облачные ЦОДы столкнулись с неизбежностью перехода на уровень 400G. Поскольку появление потребности коммутаторов и серверов в подключениях 400G и 800G неизбежно, физический уровень также должен способствовать более высокой производительности для непрерывной оптимизации пропускной способности сети.

Способность развивать инфраструктуру физического уровня в ЦОДе, в конечном счете, является ключом к тому, чтобы идти нога в ногу со спросом на низкую задержку, высокую пропускную способность и надежное подключение. Взглянем на главные тенденции, чтобы понять, как менеджерам ЦОДов лучше планировать переход на 800G, не забывая про грядущий «взрыв» объемов данных, который принесет 5G!

Часть 1: Адаптация к росту числа волокон

Объем цифрового трафика, поступающего в ЦОДы, продолжает расти. В то же время новое поколение приложений, развитие которых стимулируется достижениями в области 5G, искусственного интеллекта и межмашинного взаимодействия, требует минимизации задержки до уровня одной миллисекунды. Эти и другие тенденции формируют новые вызовы к инфраструктуре ЦОДов, заставляя сетевых специалистов переосмыслить то, как оставаться на шаг впереди.

Традиционно существует четыре основных способа удовлетворить растущие требования к снижению задержки и увеличению объема трафика в сети:

снизить уровень потерь сигнала в канале связи;
сократить длину канала;
увеличить скорость передачи сигнала;
расширить размер сетевой «трубы».

В какой-то степени ЦОДы сегодня используют все эти подходы, но основное внимание — особенно в гипер-ЦОДах – уделяется увеличению числа оптических волокон. Исторически магистральные кабели содержали 24, 72, 144 или 288 волокон. Сегодня в таких кабелях используется уже 1728, 3456 или даже 6912 волокон – более чем в 20 раз больше, чем ранее.

Более высокое количество волокон в сочетании с компактной конструкцией кабеля особенно полезно при организации соединений между ЦОДами — Data Center Interconnect (DCI). Магистральные кабели DCI с более чем 3000 волокон стали уже типовыми для соединения гипер-ЦОДов, и операторы планируют удвоить эту емкость в ближайшем будущем. Внутри ЦОДа наибольшие требования предъявляются к магистральным кабелям, которые проходят между коммутаторами ядра сети или от телекоммуникационныхкомнат (meet-me room) до коммутаторов spine, установленных в рядах стоек.

Независимо от того, требует ли конфигурация ЦОДа подключения типа «точка-точка» или «коммутатор-коммутатор», увеличение количества волокон очень важно для обеспечения более высокой пропускной способности и емкости там, где это необходимо.

Огромное количество оптоволокна создает две большие проблемы для ЦОДов. Во-первых, как развернуть кабели быстро и эффективно: как намотать на катушку, как снять с катушки, как протянуть между конечными точками, как уложить в кабель-каналы? Как только кабели будут проложены, встает вторая задача: как разобрать их на волокна и организовать подключения коммутаторов и серверов?

Рулонные ленточные волоконно-оптические кабели

Развитие оптических технологий стало ответом на потребность в более производительных каналах передачи данных. В частности, эволюция методов укладки волокон в кабеле позволяет ЦОДам использовать больше волокон без необходимости увеличения занимаемого кабельной проводкой пространства. Рулонные ленточные волоконно-оптические кабели стали одним из самых последних звеньев в цепочке инноваций.

Рулонный ленточный кабель частично основан на более ранней разработке, ленточном кабеле с центральной трубкой. Представленный в середине 1990-х годов, главным образом для внешних сетей (OSP), ленточный кабель с центральной трубкой содержал ленточные сборки до 864 волокон в одной центральной буферной трубке. В таком кабеле волокна группируются и непрерывно соединяются по всей его длине, что увеличивает жесткость конструкции. Хотя это мало влияет на развертывание в сетях OSP, внутри ЦОДов жесткий кабель нежелателен из-за серьезных ограничений по геометрии прокладки.

В рулонном ленточном кабеле волокна скрепляются периодически, образуя структуру, напоминающую паутину. Такая структура делает ленту более гибкой, позволяя загружать до 3456 волокон в один двухдюймовый (примерно 5 см) канал, что вдвое превышает плотность укладки кабелей с традиционной упаковкой волокон. Это также позволяет уменьшить радиус изгиба, что облегчает работу с новыми кабелями в ограниченных пространствах ЦОДа.

Внутри кабеля прерывисто связанные волокна приобретают физические характеристики свободно уложенных волокон, которые легко изгибаются, что также облегчает прокладку в ограниченном пространстве. Кроме того, в рулонных ленточных кабелях не используется гель, что позволяет сократить время, необходимое для подготовки к сращиванию, и, следовательно, снизить трудозатраты. При этом прерывистое скрепление обеспечивает выравнивание волокон, необходимое для сращивания сразу множества волокон в ленте.

Уменьшение диаметра кабеля

В течение десятилетий почти все оптические волокна для систем связи имели номинальный диаметр 250 мкм. С ростом спроса на кабели меньшего диаметра ситуация начала меняться. Многие конструкции кабелей достигли практических пределов уменьшения диаметра при использовании стандартного волокна. Но волокно меньшего диаметра позволяет добиться дополнительных снижения размеров кабеля. Волокна с 200-мкм покрытием в настоящее время используются в рулонных ленточных кабелях и в кабелях для прокладки в микроканалах.

Важно подчеркнуть, что буферное покрытие — это единственная часть волокна, которая была изменена. В 200-мкм волокнах сохранен диаметр сердцевины/оболочки 125 мкм, как в обычных волокнах, для совместимости при сращивании. После снятия буферного покрытия процедура сращивания для 200-мкм волокна такая же, как и для его 250-мкм аналога.

Новые чипсеты еще больше усложняют задачу

Все серверы, расположенные в стойках одного ряда, обычно сконфигурированы для поддержки заданной скорости подключения. Но в современных сетях с архитектурой «фабрика» крайне редко все серверы в ряду работают с максимальной линейной скоростью одновременно. Отношение требуемой пропускной способности восходящего канала (например, от сервера к коммутатору доступа) к выделенной пропускной способности нисходящего канала (например, от уровня агрегации к коммутатору доступа) известно как коэффициент конкуренции, или переподписки. В некоторых сегментах сети, например, на межкоммутаторных линках, этот коэффициент может достигать значений 7:1 или 10:1. Более высокий коэффициент выбирается для снижения затрат на коммутаторы, но при этом повышает вероятность перегрузки сети.

Проблема избыточной подписки становится более существенной при построении больших серверных сетей. По мере увеличения пропускной способности каналов между коммутаторами число подключений к коммутатору уменьшается. Это требует объединения нескольких слоев сетей leaf-spine для достижения требуемого количества серверных подключений. Однако каждый уровень коммутаторов увеличивает стоимость решения, энергопотребление и задержку. Эти проблемы подстегнули эволюцию микросхем ASIC для коммутаторов. В декабре 2019 года компания Broadcom начала поставки новейшего коммутатора StrataXGS Tomahawk 4, обеспечивающей Ethernet-коммутацию 25,6 Тбит/с в одной микросхеме ASIC. Это произошло менее чем через два года после появления Tomahawk 3, который работал со скоростью 12,8 Тбит/с.

Эти микросхемы ASIC увеличили не только скорость передачи данных одним потоком, но и количество поддерживаемых портов. Таким образом ЦОДы получили возможность лучше контролировать коэффициент переподписки. Коммутатор, построенный на основе микросхемы TH3, способен поддерживать работу 32 портов 400G. Каждый из них может быть разбит на восемь портов 50G для подключения серверов. В свою очередь эти порты могут быть сгруппированы для формирования соединений 100G, 200G или 400G. Причем каждый порт может использовать одну, две, четыре или восемь пар волокон в пределах одного и того же форм-фактора QSFP.

Понятно, что полезно минимизировать или вообще устранить избыточную подписку. Коммутатор на базе TH3 может подключать до 192 серверов, сохраняя при этом уровень переподписки 3:1 и восемь портов 400G для подключения leaf-spine. Он может заменить шесть коммутаторов предыдущего поколения.

Новые коммутаторы TH4 будут иметь 32 порта по 800G. Линейная скорость ASIC (скорость одного потока) увеличилась до 100G. Сейчас разрабатываются новые электрические и оптические спецификации для поддержки линий по 100G. Новая экосистема на основе линейных скоростей 100G позволит оптимизировать инфраструктуру под требования новых рабочих нагрузок, таких как машинное обучение и искусственный интеллект.

Эволюция роли поставщика кабельной инфраструктуры

В этой динамичной и более сложной среде роль поставщика кабельной продукции приобретает новое значение. В свое время волоконно-оптические кабели рассматривались, скорее, как простой продукт, а не инженерное решение, но сейчас это уже не так. Когда так много поставлено на карту, поставщики кабельной продукции стали технологическими партнерами, столь же важными для успеха ЦОДа, как его архитекторы и системные интеграторы.

Владельцы и операторы ЦОДов все больше полагаются на производителей кабельных систем, на их опыт в области терминирования и сращивании волокон, выборе оптимальной производительности приемопередатчиков, тестировании и многом другом. Эта возросшая роль требует от производителей развивать более тесные рабочие отношения с теми, кто участвует в инфраструктурной экосистеме, а также с органами по стандартизации.

По мере того как появляются все новые стандарты, определяющие увеличение скорости в одном потоке, производитель кабельных систем начинает играть все большую роль в реализации технологической «дорожной карты» развития ЦОДа. В настоящее время стандарты, касающиеся систем 100GE/400GE и развивающихся технологий 800G, включают в себя головокружительный набор альтернативных решений. В рамках каждого варианта существует несколько подходов, включая дуплексную и параллельную передачу, а также передачу со спектральным уплотнением. Проектирование кабельной инфраструктуры должно учитывать все эти многочисленные варианты.

В поисках баланса

По мере роста количества волокон объем свободного пространства в ЦОДах будет продолжать сокращаться. Необходимо рассматривать все компоненты, включая серверы и шкафы, чтобы обеспечить большую производительность на меньшей площади.

Пространство далеко не единственный ресурс, утилизацию которого следует повысить. Комбинируя новые конфигурации волокон, такие как рулонные ленточные кабели с уменьшенными размерами, и передовые методы модуляции, сетевые специалисты получают в свое распоряжение множество эффективных инструментов. И надо уметь ими пользоваться.

Если ориентироваться на темпы технологического ускорения, особенно в облачных гипер-ЦОДах, то лучше хорошенько пристегнуться. По мере того как требования к пропускной способности и предложению услуг увеличиваются, а задержка становится все более критичной для конечного пользователя, все больше волокон будет «проникать» в сеть.

Гипермасштабируемые и облачные ЦОДы находятся под растущим давлением, чтобы обеспечить сверхнадежную связь для все большего числа пользователей, устройств и приложений. Способность развертывать и обслуживать все большее количество волокон — важное условие для удовлетворения этих потребностей.

Цель состоит в том, чтобы достичь баланса, обеспечивая каждый элемент ЦОДа нужным количеством волокон, гарантируя при этом хорошее техническое обслуживание и управляемость, а также поддерживая будущий рост. Определите свой курс и положитесь на такой надежный навигатор, как компания CommScope.

Часть 2: 400G: выбор оптических трансиверов

Главным показателем успеха любой компании является ее способность адаптироваться к изменениям в окружающей среде. Назовем это живучестью. И если вы не можете приспособиться к новым условиям, клиенты покинут вас.

Для облачных ЦОДов способность адаптироваться и выживать проверяется каждый год по мере увеличения требований к пропускной способности, емкости и задержке при миграции на более высокие скорости передачи данных в сетевой инфраструктуре. В течение последних нескольких лет мы наблюдали, как скорость соединений в сетях ЦОДов увеличивается с 25G/100G до 100G/400G. За каждым скачком к более высокой скорости следует короткое плато, которое дает менеджерам ЦОДов возможность подготовиться к следующему прыжку.

Сейчас ЦОДы готовятся к прыжку «на высоту» 400G. Какая же оптическая технология лучше всего подходит для этого?

Оптические трансиверы 400GE

Рынок оптических решений для 400G определяется балансом стоимости и производительности.

В 2017 году CFP8 стал форм-фактором модулей 400GE первого поколения, которые предназначались, в основном, для маршрутизаторов и транспортных клиентских интерфейсов систем спектрального уплотнения DWDM. Размеры модуля CFP8 немного меньше, чем размеры модуля CFP2, при этом используются схемы электрического ввода-вывода CDAUI-16 (16x25G NRZ) и CDAUI-8 (8x50G PAM4). Впоследствии для модулей 400G второго поколения стали использоваться форм-факторы QSFP-DD и OSFP.

Разработанные для коммутаторов ЦОДов с высокой плотностью портов, эти модули размером с большой палец позволяют обеспечивать емкость 12,8 Тбит/с в пространстве 1RU (32 порта 400GE) и поддерживают только схему CDAUI-8.

Хотя CFP8, QSFP-DD и OSFP являются модулями, подключаемыми в горячем режиме, это не относится ко всем модулям приемопередатчиков 400GE. Некоторые из них монтируются непосредственно на главной печатной плате, что обеспечивает более высокую плотность портов. Несмотря на это преимущество, индустрия Ethernet продолжает отдавать предпочтение подключаемой оптике для систем 400GE; такие решения легче обслуживать, и они обеспечивают возможность масштабирования по принципу «плати по мере роста».

Начните с конца

Для любого, кто работает в отрасли ЦОДов более-менее продолжительное время, переход на 400G — это еще один шаг на пути эволюции этих объектов. Уже существует группа MSA, работающая над системами 800G с использованием восьми трансиверов по 100G. CommScope — член группы 800G MSA – вместе с другими компаниями в рамках IEEE ищет решения, которые поддерживали бы подключение серверов по многомодовому волокну с передачей 100G на каждой длине волны. Эти разработки должны выйти на рынок в 2021 году, за ними, возможно в 2024 году, последуют системы с пропускной способностью 1,6T.

Хотя детали, связанные с переходом на все более высокие скорости, часто обескураживают, их обсуждение помогает представить процесс в перспективе. По мере развития сервисов ЦОДов скорость подключения систем хранения данных и серверов также должна увеличиваться. Чтобы поддерживать более высокие скорости, требуются подходящие среды передачи.

При выборе оптических модулей, которые наилучшим образом отвечают потребностям вашей сети, начните с конца. Чем точнее вы сможете предвидеть необходимые сервисы и сетевую топологию, необходимую для их предоставления, тем лучше сможете подготовить сеть для поддержки будущих приложений.

Часть 3: 400G: уплотнение и архитектура кампусной сети

400G – новые требования к кабельной проводке

Необходимость в более высокой пропускной способности сети приводит к увеличению числа волокон. Пятнадцать лет назад большинство оптоволоконных магистралей в ЦОДе использовали не более 96 волокон, включая применяемые для резервирования.

Сегодня 144, 288 и 864 волокна в кабелях стали нормой, а гипер- и облачных ЦОДах уже переходят на 3456-волоконные кабели. Несколько производителей в настоящее время предлагают 6912-волоконные кабели, а на горизонте — 7776-волоконные.

Новая конструкция и увеличение плотности

Кабели с большим числом волокон занимают много ценного пространства в кабель-каналах, а их больший диаметр создает проблемы с обеспечением должной производительности в связи с ограничениями на минимальный радиус изгиба. Чтобы бороться с этими проблемами, производители кабелей переходят на рулонные ленточные кабели и 200-мкм волокно.

Если в традиционных ленточных кабелях 12 волокон связаны по всей длине кабеля, в рулонном ленточном кабеле они соединяется прерывисто — что позволяет скручивать такие кабели, а не сворачивать в одной плоскости. В среднем этот тип конструкции позволяет помещать 3456 волокон в двухдюймовый кабель-канал, тогда как плоская конструкция — только 1728 волокон в том же пространстве.

200-мкм волокно сохраняет стандартную 125-мкм сердцевину, которая полностью совместима с уже имеющейся и новой оптикой; разница заключается в том, что типичное 250-мкм защитное покрытие уменьшено до 200 мкм. В паре с рулонной ленточной конструкцией уменьшенный диаметр волокна позволяет производителям кабельных систем сохранять размер кабеля неизменным, удваивая количество волокон по сравнению с традиционным плоским ленточным кабелем с волокнами 250 мкм.

Такие технологии, как рулонный ленточный кабель и 200-мкм волокно, развертываются гипер-ЦОДами для поддержки постоянно растущего спроса на связь между дата-центрами. В ЦОДе, где расстояния между коммутаторами leaf и серверами намного меньше, а плотность соединений — выше, основное внимание уделяется капитальным и эксплуатационным затратам на оптические модули.

По этой причине многие ЦОДы ориентируются на более дешевые приемопередатчики с лазером VCSEL, которые работают по многомодовым волокнам. Другие выбирают гибридный подход —используют одномодовые волокна на верхних уровнях ячеистой сети, а многомодовые – для подключения серверов к коммутаторам нижнего уровня (leaf). По мере того как все больше объектов внедряют технологию 400GE, а 50G- и 100G-оптические соединения с серверами становятся нормой, сетевые менеджеры будут нуждаться в обоих типах волокна: одномодовом и многомодовом.

80 км для DCI: когерентная технология или непосредственное детектирование

По мере нарастающей тенденции создания региональных кластеров ЦОДов, потребность в высокопроизводительных и недорогих соединениях (DCI) между ЦОДами становится все более актуальной. Появляются новые стандарты IEEE, которые описывают множество более дешевых вариантов, реализующих принцип plug-and-play для соединений «точка–точка».

Трансиверы, основанные на традиционной четырехуровневой амплитудно-импульсной модуляции (PAM4) для прямого детектирования, обеспечивают связь до 40 км при обеспечении непосредственной совместимости с недавно представленными коммутаторами 400G. Но имеются и другие разработки, которые нацелены на обеспечение аналогичной функциональности при использовании традиционных транспортных каналов со спектральным уплотнением DWDM.

Там, где требуется дальность с 40 км до 80 км и больше, когерентные системы с расширенной поддержкой «дальнобойной» оптики, скорее всего, захватят большую часть соответствующего рынка высокоскоростной связи.

Когерентная оптика преодолевает ограничения, связанные с хроматической и поляризационной дисперсиями, что делает ее идеальным выбором для более протяженных линий связи. Такие решения традиционно были сильно кастомизированы (и дорогостоящи), требуя специальных «модемов» в отличие от оптических модулей plug-and-play.

По мере развития технологий когерентные решения, вероятно, станут более компактными и менее дорогими. В конце концов, относительная разница в стоимости может уменьшиться до такой степени, что более короткие каналы связи также смогут получить выгоду от применения этой технологии.

Целостный подход к непрерывной миграции на более высокие скорости

Переход к более высоким скоростям в ЦОДе — это пошаговый процесс; по мере развития приложений и сервисов скорость работы систем хранения и серверов также должна увеличиваться. Принятие шаблонного подхода к выполнению повторяющихся периодических обновлений поможет сократить время и затраты, необходимые для планирования и реализации изменений. CommScope рекомендует целостный подход, при котором коммутаторы, оптика и волоконные кабели работают как единая скоординированная инфраструктура передачи данных.

В конечном счете, то, как все эти компоненты будут работать вместе, определит способность сети надежно и эффективно поддерживать новые и будущие приложения. Задача сегодня — внедрение 400G; завтра — 800G или даже 1,6Т. Фундаментальное требование к высококачественной волоконно-оптической инфраструктуре остается неизменным, даже несмотря на то, что сетевые технологии продолжают меняться.

Часть 4: Не проспите – приближается 800G!

Оптические продукты, поддерживающие 100G, уже вышли на рынок в массовом порядке, а продукты для 400G ожидаются в текущем году. Но объемы трафика продолжают расти, и давление на инфраструктуру ЦОДов только усиливается.

Балансировка на трех опорах

В ЦОДах общая производительность ИТ-инфраструктуры – это вопрос «сдержек и противовесов» между серверами, коммутаторами и физическими подключениями. Развиваясь, каждый компонент заставляет другие становиться быстрее и дешевле. В течение многих лет технология коммутации была основным драйвером развития. С появлением микросхем Broadcom StrataXGS Tomahawk 3 менеджеры ЦОДов могут повысить скорость коммутации и маршрутизации до 12,8 Тбит/с и снизить стоимость одного порта на 75%. Значит ограничивающим фактором становится процессор, верно? Нет, не так. В 2020 году NVIDIA представила свой новый чип Ampere для серверов. Оказывается, процессоры, используемые в игровых продуктах, идеально подходят для искусственного интеллекта и машинного обучения.

Узкое место перемещается в сеть

С появлением коммутаторов и серверов с поддержкой 400G и 800G, давление сместится на физический уровень. Стандарт IEEE 802.3bs, утвержденный в 2017 году, открыл путь системам 200G и 400G Ethernet. Однако институт IEEE только недавно завершил оценку перспектив 800G и более высоких скоростей. Учитывая время, необходимое для разработки и принятия новых стандартов, мы, возможно, уже отстаем.

Производители кабелей и оптики должны быстрее двигаться вперед, поскольку отрасль стремится к переходу от 400G к 800G, 1,2Т и далее. Ниже рассмотрены некоторые из важных тенденций.

Коммутаторы в движении

Начнем с того, что конфигурации серверных рядов и кабельные архитектуры постоянно развиваются. Коммутаторы, выполняющие функции агрегации, перемещаются из верхней части стойки (архитектура ToR) в середину ряда (MoR) и подключаются к сетевой фабрике (fabric) через коммутационную панель СКС. Теперь переход на более высокие скорости предполагает простую замену коммутационных шнуров, обеспечивающих подключение серверов, а не более длинных линий связи между коммутаторами. Такая архитектура также устраняет необходимость установки между коммутатором и серверами 192 активных оптических кабелей (AOC).

Изменение форм-фактора трансиверов

Новые конструкции подключаемых оптических модулей дают сетевым проектировщикам дополнительные возможности. Реализующие технологию 400G трансиверы с форм-факторами QSFP-DD и OSFP используют восемь каналов по 50G с модуляцией PAM4. При развертывании в 32-портовой конфигурации модули QSFP-DD и SFP обеспечивают скорость 12,8 Тбит/с в устройстве высотой 1RU. Трансиверы OSFP и QSFP-DD поддерживают не только уже имеющиеся оптические модули 400G, но и будущие 800G. Используя оптику 800G, коммутаторы достигнут производительности 25,6 Тбит/с на 1U.

Новые стандарты 400GBASE

Для реализации коротких каналов 400G на многомодовом (ММ) волокне имеются различные варианты коннекторов. Стандарт 400GBASE-SR8 позволяет использовать 24-волоконный коннектор MPO (лучше подходит для унаследованных приложений) или однорядный 16-волоконный MPO, который считается наиболее предпочтительным вариантом для подключения серверов в облачных платформах. Другой вариант, 400GBASE-SR4.2, предусматривает использование однорядного коннектора MPO-12 с двунаправленной сигнализацией, что делает его отличным выбором для реализации соединений между коммутаторами. 400GBASE-SR4.2 — это первый стандарт IEEE, использующий двунаправленную сигнализацию на ММ-волокнах, и он предусматривает применение кабелей OM5. Волокно OM5 расширяет многоволновую поддержку для таких приложений, как BiDi, позволяя сетевым архитекторам на 50% увеличивать дальность каналов (по сравнению с OM4).

Но достаточно ли быстро мы движемся перед?

Эксперты прогнозируют, что оптика 800G будет необходима в течение следующих двух лет. В сентябре 2019 года была сформирована группа MSA 800G Pluggable для разработки новых решений, включая недорогой многомодовый модуль 8x100G SR8 для пролетов от 60 до 100 м. Цель состоит в том, чтобы поставить на рынок недорогое решение 800G SR8, которое позволило бы ЦОДам получить экономически эффективные продукты для серверных приложений. Подключаемый модуль 800G, помимо прочего, обеспечит возможность увеличения радиуса работы коммутатора.

Тем временем целевая группа IEEE 802.3db работает над недорогими решениями на базе VCSEL-лазеров для передачи 100G на одной длине волны и уже продемонстрировала возможность достижения при такой передаче дальности 100 м на ММ-волокне OM4. В случае успеха эта работа позволит отказаться от подключения серверов в стойке по DAC-кабелям и перейти к архитектуре MoR/EoR с коммутаторами повышенного радиуса действия. Это обеспечит недорогое оптическое подключение и расширит долгосрочную прикладную поддержку устаревших кабелей с ММ-волокнами.

Итак, где мы сейчас?

Организации по стандартизации и индустрия плотно взаимодействуют, создавая перспективные разработки, которые могут привести ЦОДы к скоростям 400G и 800G. Однако устранение технологических барьеров — это только половина проблемы. Другая — это выбор правильного времени для внедрения. С циклами обновления инфраструктурного оборудования каждые два—три года и новыми технологиями, «поступающими» в сеть со все ускоряющейся скоростью, операторам ЦОДов становится все труднее правильно рассчитать время модернизации – а ошибка обходится очень дорого.

Чтобы ее не совершить, надо учесть много факторов. Такой технологический партнер, как CommScope, поможет вам лучше сориентироваться в меняющихся условиях и принять решение, которое наилучшим образом отвечают вашим долгосрочным интересам.

Часть 5: MTDC на периферии сети

«Периферийные вычисления» (edge computing) и «периферийные ЦОДы» (edge-ЦОДы) — это термины, которые в последнее время стали более распространенными в ИТ-индустрии.

Мультиарендные дата-центры (MTDC) теперь «живут» на периферии, чтобы извлечь выгоду из своего сетевого местоположения. Чтобы понять, как и почему, нам сначала нужно определить термин edge.

Что такое edge и где он находится?

Термин edge (дословно с англ. край, граница, периферия) несколько вводит в заблуждение, поскольку определяемые им объекты расположены ближе к ядру сети, чем может показаться из названия, и существует не одно определение этого термина, а два.

Первое определение заключается в том, что edge — это решения, расположенные на территории клиента для поддержки приложений, которым требуется сверхнизкая задержка. Примером может служить производственный комплекс, которому требуется сеть для поддержки полностью автоматизированной робототехники, подключенной по 5G.

Второе определение — это периферия сети по отношению к ее ядру. В этом случае акцент также делается на обеспечение низкой задержки, необходимой для таких приложений, как облачная поддержка автоматизированных автомобилей и игр с высоким разрешением. Такой edge находится на периферии сети, где должны процветать коммерческие ЦОДы, рассчитанные на большое число арендаторов (MTDC).

Гибкий и адаптивный

ЦОДы MTDC, которые являются гибкими и готовыми к размещению различного оборудования клиентов, могут в полной мере воспользоваться своим расположением на границе сети, а также близостью к районам с плотным населением. Одни клиенты таких ЦОДов хорошо знают свои потребности и устанавливают в них соответствующее оборудование. Другие, переводящие свои операции из локальной среды в MTDC, нуждаются в экспертном руководстве для поддержки своих приложений. Чтобы стать успешным, MTDC должен приспособиться к обоим сценариям.

Гибкость необходима не только на этапе первоначальной настройки; подключения в MTDC также должны быть гибкими и на второй день после ввода в эксплуатацию и в последующем. Чтобы обеспечить такую гибкость, необходим структурированный подход к кабельной проводке. Рекомендуемая архитектура для обеспечения гибкости в рамках клиентской зоны основана на архитектуре «leaf—spine». При использовании магистральных кабелей с большим количеством волокон, таких как 24-волоконный MPO, участки кабелей между коммутаторами leaf и spine могут оставаться фиксированными.

По мере того как оптические сетевые технологии переходят от дуплексной к параллельной схеме (а затем обратно), необходимо обеспечить возможность замены модулей и представления оптических подключений (на уровне стойки с коммутаторами leaf или spine). Это избавляет от необходимости заменять магистральные кабели.

При реализации сети «leaf–spine» необходимо принять во внимание дополнительные соображения для гарантии того, что MTDC сможет легко приспособиться к будущим скоростям и росту требований к пропускной способности в каждой клиентской зоне. Чтобы достичь этого, нужно обратить внимание на серверные шкафы и их компоненты — дополнения и изменения на этом уровне должны осуществляться просто и быстро.

Часть 6: Изменение роли ЦОДов с приходом 5G

В течение десятилетий ЦОДы находились в центре сети или рядом с ним. Для предприятий, операторов связи, кабельных операторов, а потом и для поставщиков услуг, таких как Google и Facebook, ЦОД всегда был «сердцем» ИТ.

Появление облака только подчеркнуло центральное значение ЦОДов. Но грядут перемены.

По мере внедрения технологий 5G и IoT, ИТ-менеджеры сосредотачивают свое внимание на периферии и растущей потребности размещать больше вычислительных мощностей ближе к конечным пользователям. При этом роль ЦОДов меняется.

По данным Gartner ("What Edge Computing Means for Infrastructure and Operations Leaders; Smarter with Gartner"; October 3, 2018), к 2025 году 75% данных будут создаваться и обрабатываться на периферии (edge) — по сравнению с 10% в 2018 году.

Объемы данных на периферии будут стремительно расти. Только один автономный автомобиль способен выдавать в среднем по 4000 Гбайт данных за час езды.

Архитекторы сетей и ИТ-специалисты сейчас изо всех сил пытаются понять, как лучше всего поддержать стремительный рост объема трафика на периферии, а также спрос со стороны приложений на низкую задержку, не торпедируя инвестиции в существующие ЦОДы.

Большие инвестиции в наращивание сетевых соединений, предающих трафик в направлении «восток—запад», и одноранговых (peer-to-peer) резервирующих друг друга edge-узлов являются частью ответа, как и наращивание вычислительной мощности там, где создаются данные. Но как насчет ЦОДов? Какую роль они будут играть?

Влияние AI/ML

Будущее использование гипермасштабируемых и облачных ЦОДов определяется их огромной мощностью для обработки и хранения данных. По мере того как активность на периферии увеличивается, эта мощность будет необходима для запуска алгоритмов, позволяющих обрабатывать растущий объем данных. В мире, наделенном возможностями «Интернета Вещей» (IoT), важность искусственного интеллекта (AI) и машинного обучения (ML) нельзя недооценивать. И роль ЦОДов в том, чтобы обеспечить максимально эффективное использование этих новых технологий.

Алгоритмы, необходимые для использования преимуществ AI/ML, требуют обработки огромных объемов данных. Базовые ЦОДы начали развертывать более мощные процессоры, объединенные с тензорными процессорами (TPU) и другим специализированным оборудованием. Кроме того, для этого требуются очень высокоскоростные сети большой емкости с передовым уровнем коммутаторов для подключения блоков серверов, работающих над одной и той же задачей.

С другой стороны, алгоритмы AI/ML должны работать там, где они могут оказать наибольшее влияние на бизнес. Например, для корпоративных приложений искусственного интеллекта, таких как распознавание лиц, требования к сверхнизкой задержке диктуют, что они должны быть развернуты локально, а не в центре сети. Но любая схема работы должна периодически корректироваться: так, данные, собранные на границе, затем могут передаваться в центральный ЦОД для обновления и уточнения алгоритмов.

Цикл обратной связи AI/ML — это один из примеров того, как ЦОДы должны будут работать, чтобы поддерживать более обширную и разнообразную сетевую экосистему, а не доминировать в ней. Для крупнейших игроков в сегменте гипер-ЦОДов адаптация к распределенной среде совместной работы будет нелегкой. Они хотят убедиться, что, если вы запускаете AI/ML или другие процессы на периферии, вы будете делать это на их платформе, хотя и не обязательно на их объектах.

Такие провайдеры, как AWS, Microsoft и Google, в настоящее время продвигают ИТ-стойки со своими платформами на объекты клиентов, включая корпоративные ЦОДы, узлы связи и даже небольшие серверные. Это позволяет клиентам создавать и запускать облачные приложения на своих объектах, используя платформу провайдера. Поскольку эти платформы также встраиваются во многие системы операторов связи, клиент также может запускать свои приложения в любом месте присутствия такого оператора. Эта модель, все еще находящаяся в зачаточном состоянии, обеспечивает большую гибкость для клиента, позволяя провайдерам контролировать периферию.

Между тем, есть и модели, предполагающие более открытый и инклюзивный подход. Например, Vapor IO выстроила бизнес-модель, предполагающую хостинг ЦОДов со стандартизированными вычислительными, сетевыми ресурсами и ресурсами хранения данных. Небольшие клиенты —например, поставщик игровых сервисов — могут арендовать буквально одну виртуальную машину в ЦОДе Vapor IO рядом со своими клиентами и запускать свои приложения на платформе этой компании. Для малого бизнеса, пытающегося распространить свои сервисы на периферию, это очень привлекательная модель.

Фундаментальные вызовы

По мере того как концепция сетей следующего поколения оказывается в центре внимания, отрасль должна решать конкретные проблемы внедрения. Мы неплохо представляем, как будет развиваться сетевая инфраструктура внутри ЦОДа: серверные соединения будут «разогнаны» до 50 Гбит/с и далее до 100 Гбит/с, пропускная способность коммутаторов вырастет до 25,6 Тбит/с, а переход на потоки 100 Гбит/с приведет нас к использованию подключаемых модулей 800G.

Менее ясно, как будет выглядеть инфраструктура между центром и периферией — в частности, что должны представлять собой архитектура DCI, а также городские и дальнемагистральные линии связи, а также связность одноранговых edge-узлов с высокой степенью избыточности. Еще одна проблема заключается в разработке средств оркестровки и автоматизации, необходимых для управления и маршрутизации огромных объемов трафика. Эти вопросы становятся все более актуальными по мере того, как отрасль движется к созданию сетей с поддержкой 5G/IoT.

Общая картина

Что мы знаем точно, так это то, что работа по созданию и внедрению сетей нового поколения потребует скоординированных усилий.

Базовые ЦОДы, чья способность предоставлять недорогие, большие ресурсы для вычислений и хранения данных не может быть дублирована на периферии, безусловно, будут играть важную роль. Но по мере того, как «обязанности» внутри сети становятся более распределенными, работа конкретного ЦОДа будет подчиняться логике функционирования более крупной экосистемы.

Чтобы связать все воедино, необходим более быстрый и надежный физический уровень, начинающийся в ядре сети и простирающийся до самых ее дальних краев. Современная эта кабельная и коммуникационная платформа — основанная на технологиях PAM4, когерентной оптике и упакованная в компактные кабели с ультра-большим числом волокон — обеспечит непрерывную связность с высокой производительностью передачи данных.

Часть 7: Из кампуса в облако. Связность для MTDC

Сегодня невероятное время для тех, кто работает в индустрии ЦОДов и, в частности, в мультиарендных ЦОДах (MTDC). За последнее время был достигнут значительный прогресс в части механических, электрических и охлаждающих систем ЦОДов. Теперь основное внимание уделяется развитию подключений на физическом уровне, которые позволяют арендаторам быстро и легко масштабироваться, переходя на облачные платформы и обратно.

Внутри MTDC клиентские сети быстро расширяются по горизонтали (на восток и запад), чтобы справиться с растущим спросом на ресурсы хранения и обработки данных. Когда-то разрозненные зоны ЦОДа теперь связаны между собой, чтобы «идти в ногу» с такими приложениями, как IoT, дополненная реальность и искусственный интеллект. Однако характеристики физических подключений – как самих дата-центров, так и внутри них — часто отстают от новых требований.

Чтобы устранить эти пробелы в связности, поставщики MTDC используют виртуальные сети для подключения к облакам. Однако проектирование кабельных архитектур для подключения внутри различных облаков (публичных, частных и гибридных) и между ними является сложной задачей. Ниже приведены лишь некоторые из многочисленных тенденций и стратегий, используемых MTDC для создания масштабируемого подхода к реализации таких подключений.

Подключение кампуса MTDC

Проблемы облачных подключений начинаются на уровне внешней сети (OutSide Plant, OSP). Мультиволоконные кабели позволяют обеспечить полную связность (mesh) между имеющимися и будущими зданиями. Перед входом на объект внешние (OSP) кабели могут быть сращены с внутренними (ISP) волокнами в специальном NEMA-боксе.

Другой вариант – сращивание волокон уже внутри здания, в зоне ввода (Entrance Facility, EF) в шкафе (Fiber Entrance Cabinet, FEC) с поддержкой большого количества волокон.

На рисунке показан проект кампуса высокой доступности с резервированием между DC 1 и DC 2–4.

По мере строительства дополнительных зданий в кампусе они подключаются к DC 1. Конечным результатом является то, что сетевой трафик между любыми двумя уровнями в любом здании может быть направлен через кампусную сеть, что повышает доступность и снижает вероятность простоя.

Между зданиями все чаще прокладывают высокоплотные рулонные ленточные кабели. Уникальная структура, похожая на паутину, делает ленту более гибкой, позволяя загружать 3456 волокон или даже более в существующие кабель-каналы. Такие кабели обеспечивают вдвое большую плотность по сравнению с традиционными. В числе их других преимуществ:

компактность и меньший вес упрощают доставку, инсталляцию и вывод кабельных субблоков;
отсутствие предпочтительного направления изгиба снижает риск ошибки установки;
легкое разделение и идентифицируемая маркировка облегчают подготовку/сращивание и установку соединителей;
меньший диаметр позволяет снизить допустимый радиус изгиба, что важно при укладке в боксы, подводке к панелям, прокладке через препятствия.

Улучшения в зоне EF

В зоне EF, где волокно OSP соединяется с волокном ISP, высокие требования к управляемости кабельной инфраструктуры привели к значительным улучшениям в конструкциях шкафов FEC и оптических кроссов (Optical Distribution Frame, ODF).

Часто упускают из виду, что вводной шкаф FEC является стратегическим пунктом администрирования волоконно-оптической инфраструктуры. Однако способность точно идентифицировать, обезопасить и повторно использовать многоволоконную емкость, и делать это оперативно, очень важна для обеспечения подключение по всему кампусу.

Варианты шкафов включают в себя напольные и настенные конструкции, а также конструкции для монтажа в стойку. Такие шкафы способны масштабироваться, поддерживая более 10 тыс. волокон. Другие преимущества включают в себя:

большую плотность лотков для массового сращивания волокон;
обеспечение упорядоченного перехода от OSP- к ISP-кабелю;
возможность разделить кабель с большим числом волокон на блоки с меньшим их количеством.

Шкафы ODF также прошли долгий путь эволюции с тех пор, как они были впервые разработаны для телекоммуникационных и вещательных сетей. Например, шкафы ODF теперь можно объединить в ряд, чтобы поддерживать более 50 тыс. волокон. Предлагаемые CommScope ODF-шкафы FLEX, FACT и NG4 служат хорошей демонстрацией того, как далеко продвинулась эта технология. Они обеспечивают превосходное управление коммутационными шнурами на передней стороне и позволяют использовать шнуры одной длины для подключения любых двух портов. Это упрощает как управление инвентаризацией, так и процедуры инсталляции.

В этих шкафах предусмотрены возможности для соединения претерминированных кабелей с большим числом волокон. Это особенно важно по мере того, как спрос на кабели с предустановленными соединителями на одном конце продолжает расти.

Подключения к облакам

Доступ к облачным провайдерам в кампусе MTDC становится все более критичным по мере того, как ИТ-приложения перемещаются из локальной среды в публичные и частные облака. Облачные провайдеры и крупные предприятия требуют, чтобы принятые в разных странах строительные и противопожарные нормы, типы соединителей и количество волокон соответствовали задачам их сетевой инфраструктуры, что позволило бы им быстро и согласованно масштабироваться независимо от набора навыков конкретного инсталлятора.

Конечно, требования к облачному подключению будут варьироваться в зависимости от типа арендатора. Например, традиционные предприятия, использующие частное и гибридное облако, требуют базового подключения для своей зоны в ЦОДе. Во многих случаях это означает использование одиночных дуплексных перемычек, по необходимости, для подключения провайдеров к стойке арендатора.

Чтобы подключить зону (блок) арендатора к телекоммуникационной комнате MMR (meet-me-room), MTDC теперь развертывают одномодовое волокно с шагом 12 и 24 волокон. Как только арендатор съехал, демонтаж не потребует тяжелого извлечения кабеля. MTDC может повторно использовать «последний метр» в реконфигурированном белом пространстве, просто свернув его и повторно развернув для подключения другой зоны (блока). Структурированные кабели внутри клиентских зон — как правило, менее 100 шкафов (но бывает и больше) — обеспечивают масштабируемое подключение к частным и публичным провайдерам.

Использование кабелей, содержащих более 24 волокон, может обеспечить значительно большую плотность и меньше расходов на техническое обслуживание при аналогичных трудозатратах.

Поставщики облачных услуг, с другой стороны, имеют обширные и очень изменчивые требования к подключению. Количество волокон, ведущих к их зонам (в MTDC), как правило, намного выше, чем для корпоративных арендаторов, и иногда зоны облачных провайдеров могут быть связаны непосредственно друг с другом. Эти поставщики развертывают новые кабели физической инфраструктуры несколько раз в год и постоянно оценивают и совершенствуют свою конструкцию с учетом капитальных затрат.

В частности, они тщательно изучают экономическую эффективность всех компонентов — от оптических приемопередатчиков и активных сборок (АОК) до типов волокон и претерминированных компонентов.

Как правило, кабельные каналы облачного провайдера в MTDC используют большее число волокон и разнообразные маршруты прокладки для повышения отказоустойчивости. Цель состоит в том, чтобы обеспечить предсказуемые «строительные блоки» с различной плотностью и занимаемой площадью. Единообразия может быть трудно достичь, потому что, вопреки здравому смыслу, по мере того как трансиверы становятся более специализированными, найти правильное соответствие оптики и разъемов часто становится сложнее, а не проще.

Например, современные трансиверы имеют различные требования к типам разъемов и бюджету потерь. Дуплексные разъемы SC и LC больше не поддерживают все варианты оптических трансиверов.

Новые, более плотные, специфичные для приложений соединители, такие как SN, теперь развертываются в облачных сетях. Поэтому выбор трансиверов с наибольшей интероперабельностью между форм-факторами разъемов и количеством волокон имеет наибольший смысл.

Оставайтесь на связи, будьте в курсе событий

По всему кампусу MTDC потребность в соединении различных зданий и обеспечении связи с облаками, что жизненно важно для арендаторов, приводит к изменениям в сетевой архитектуре — как внутри, так и снаружи. Этот материал – только введение в сложную и обширную тему.

Для получения дополнительной информации о тенденциях рекомендуем ознакомиться с вебинаром CommScope «Подключение к облаку: масштабируемый подход к облачным соединениям в MTDC» (Connecting into the Cloud: Enabling a scalable approach to cloud interconnections in your MTDC). И чтобы быть в курсе быстро меняющихся событий, полагайтесь на CommScope. Наша работа — знать, что будет дальше.

Что дальше?

События развиваются стремительно, а будут – еще быстрее!

2020-й для всех стал годом непредсказуемости и адаптации, но перед лицом непредвиденных проблем ЦОДы расширялись и росли, чтобы удовлетворить новые требования. И этот рост продолжится в 2021-м и в последующие годы.

Появление таких технологий, как 5G и искусственный интеллект, является ключевым шагом на пути расширения ЦОДов, который заложит основу для внедрения технологий 800G, 1,6T и многого другого! По мере того как сети наращивают поддержку 5G и IoT, ИТ-менеджеры сосредотачивают свои усилия на периферии и растущей потребности в размещении там большего объема мощностей. От рулонных ленточных кабелей до оптических приемопередатчиков 400GE – производители разрабатывают перспективные решения, которые помогут проложить путь к будущей бесшовной сквозной связности.

Независимо от того, являетесь ли вы игроком, ориентированным на периферийные решения, гиперскейлером, провайдером MTDC или системным интегратором, для вас появляется все больше возможностей, поскольку отрасль продолжает расти. Мы в CommScope всегда смотрим на то, что будет происходить дальше и что находится на переднем крае постоянно развивающегося ландшафта ЦОДов.

Свяжитесь с нами, если хотите обсудить варианты при подготовке к переходу на более высокие скорости.

Об авторах

Джеймс Янг — директор подразделения корпоративных ЦОДов CommScope, курирующий стратегию в данной области, а также осуществляющий руководство командами специалистов, занимающихся разработкой продуктов и работой на объектах. Ранее Джеймс занимался, в частности, продажами и маркетингом решений Tyco Electronics/AMP в Канаде. Он имеет степень бакалавра наук в Университете Западного Онтарио, сертификаты RCDD (Communication Distribution Designer) и CDCP (Data Center Design Professional).

Кен Холл — архитектор ЦОДов для Северной Америки, отвечающий за технологическое и интеллектуальное лидерство компании, а также за планирование высокоскоростной миграции для корпоративных и связанных с ними дата-центров. Кен работает в CommScope и других приобретенных ею компаниях уже 32 года в области глобального управления программами и проектами, технических продаж, маркетинга и отраслевых стандартов.

Джейсон Баутиста - Будучи архитектором решений для гипермасштабируемых и мультиарендных ЦОДов, Джейсон отвечает в CommScope за развитие соответствующего рынка. Он следит за тенденциями на рынке ЦОДов, чтобы помогать разрабатывать стратегии развития продуктов, решения и программы для клиентов. Г-н Баутиста имеет более чем 19-летний опыт работы в сетевой индустрии, он занимал различные позиции в области разработки продуктов, маркетинга и поддержки широкого спектра сетей и клиентов по всему миру.

Мэтт Бальдассано - Г-н Бальдассано поддерживает в CommScope северо–восточный регион в качестве технического директора по корпоративным решениям и специализируется на связности ЦОДов. Он занимал должности менеджера по развитию бизнеса и инженера по техническому маркетингу в бизнес-подразделении по ЦОДам компании CommScope. Мэтт получил степень бакалавра компьютерных наук в Университете Сент-Джонса и степень магистра технологий в Университете передовых технологий.