AVD: VXLAN

1. Обзор документа

В данном документе описаны принципы работы сетевых фабрик ЦОД с использованием технологии VXLAN/EVPN. Приведены рекомендации по планированию, настройке и диагностике таких фабрик при использовании коммутаторов Aquarius.
Документ предназначен для сетевых архитекторов, которые отвечают за планирование сетевой инфраструктуры ЦОД, а также для сетевых инженеров, занимающихся ее развертыванием, диагностикой и развитием. Предполагается знание сетевых технологий, включая коммутацию на уровнях L2 и L3. Документ следует использовать совместно с документацией на программное и аппаратное обеспечение коммутаторов Aquarius, доступной на портале https://net.aq.ru.
Информация, изложенная в данном руководстве, отражает текущее представление об оптимальном внедрении в типовых корпоративных сценариях. Приведенные варианты топологии, логической структуры и конкретных настроек не являются единственными и не обязательно являются наилучшими или корректными для всех условий.
Настоящее руководство является «живым» документом, который будет дополняться и изменяться по мере выпуска новых функций программного обеспечения AqNOS, а также по мере расширения перечня сценариев использования и накопления практического опыта. В текущем виде оно может не охватывать всех аспектов, которые необходимо учитывать при внедрении.

2. Обзор технологии VXLAN для построения сетей ЦОД

2.1 Общие сведения о VXLAN и MP-BGP EVPN

В этом документе рассматриваются архитектуры, использующие наложенные сети VXLAN с уровнем управления MP-BGP EVPN. Традиционно такие сети называют «фабриками», и этот термин будет использоваться в дальнейшем. Ниже по отдельности рассмотрены технологии VXLAN и MP-BGP EVPN.

2.2 Принципы оверлейной (наложенной) сети VXLAN

Наложенные сети (или «оверлейные» сети, overlay) реализуют принцип туннелирования трафика через опорную сеть (underlay). Пакет наложенной сети (Ethernet) инкапсулируется во входном узле внутри пакета опорной сети и передается к выходному узлу, где выполняется декапсуляция. В центрах обработки данных доминирующей технологией оверлейных сетей является VXLAN (Virtual eXtensible Local Area Network, RFC 7348). С точки зрения VXLAN, кадры Ethernet передаются через опорную IP-сеть (IPv4 или IPv6) путем их помещения в датаграмму протокола UDP.

На рисунке 1 показана структура VXLAN-пакета:

Рисунок 1 - Структура VXLAN-пакета.

Опорная сеть обычно работает на основе Ethernet, фактически по опорной сети происходит передача Ethernet-пакета внутри другого. Далее в тексте Ethernet и IP-заголовок опорной сети будут называться «внешним» (outer), а Ethernet-заголовок наложенной сети — «внутренним» (inner). Внешний Ethernet-заголовок изменяется на каждом участке маршрутизации по принципам IP-сетей, в то время как внутренний заголовок остается неизменным от входного до выходного узла туннеля.
Использование оверлейных сетей в VXLAN позволяет передавать пакеты Ethernet в неизменном виде через IP-сеть, фактически расширяя сегменты второго уровня поверх маршрутизируемой инфраструктуры. Это дает возможность миграции виртуальных машин, работы отказоустойчивых вычислительных кластеров и синхронизации систем, которым требуется связность на уровне L2. При этом опорная сеть остается маршрутизируемой, обеспечивая быструю сходимость при сбоях, отсутствие необходимости в отдельных механизмах для предотвращения петель и эффективную балансировку трафика по альтернативным «путям с одинаковой стоимостью» (Equal Cost Multipathing – ECMP). Кроме того, в VXLAN для идентификации различных логических сегментов используется 24-битное поле VNI (VXLAN Network Identifier), что теоретически позволяет транспортировать через единую сеть до 16 миллионов изолированных друг от друга VXLAN-сегментов.

2.3 Необходимость плоскости управления (control plane)

Важно отметить, что VXLAN регламентирует только передачу Ethernet-кадров через туннели поверх IP-сети. Вопросы установления туннелей и определения, какой именно туннель обеспечивает доступ к конкретному MAC-адресу, не описаны в стандарте. Согласно RFC 7348, основным методом считается выучивание ассоциаций между MAC- и IP-адресами конечных узлов на основе прослушивания трафика (data-plane learning). При этом также упоминается возможность использования плоскости управления (control-plane) для распространения информации об адресах, подключенных к сети.
Data-plane learning соответствует механизму, применяемому обычными коммутаторами Ethernet, и наследует некоторые их недостатки: опора на широковещательные пакеты, централизованная маршрутизация, отсутствие контроля и возможности применения политик. Для эффективного развертывания VXLAN-фабрик в сетях ЦОД рекомендуется использовать решение, основанное на плоскости управления, что позволяет сократить опору на широковещание и повысить управляемость и стабильность сети.

2.4 MP-BGP EVPN как плоскость управления для VXLAN

Основным решением для организации плоскости управления является технология EVPN, опирающаяся на распространение служебной информации через протокол MP-BGP. С точки зрения MP-BGP, EVPN является одним из «семейств адресов» (address family, AF), а передаваемую EVPN информацию называют префиксами или маршрутами, даже если они не соответствуют классическому определению маршрутов. Важно, что использование плоскости управления на основе EVPN поддерживает передачу информации не только о MAC-адресах подключений, но также об IP-адресах подключений и подсетей. Это, совместно с общими механизмами MP-BGP для управления распространяемой адресной информацией (route targets), позволяет создавать наложенные сети со связностью на уровнях L2 и L3, то есть обеспечивать растягивание не только L2-сегментов, но и VRF (фактически строить L2+L3 VPN). При этом маршрутизация может выполняться непосредственно на каждом узле VTEP, без необходимости передачи трафика к централизованным устройствам. Поддержка распределенной маршрутизации — ключевое отличие VXLAN/EVPN от более простых оверлейных решений. Следует отметить, что, с точки зрения коммутатора, маршрутизация в наложенной сети всегда выполняется в VRF.

3. Элементы типичной VXLAN/EVPN-фабрики

Cеть с использованием оверлейных технологий состоит из верхнего (overlay) и нижнего (underlay) уровней, целесообразно рассматривать ее организацию на каждом из этих уровней по отдельности.

На рисунке 2 показана наложенная и опорная сеть.

Рисунок 2 - Наложенная и опорная сеть 

3.1 Опорная (underlay) сеть

Основная задача нижележащей (опорной) сети — обеспечить связность между коммутаторами, необходимую для работы как плоскости передачи данных, так и плоскости управления наложенной сети. При этом к опорной сети предъявляются требования высокой производительности и быстрого восстановления при отказе соединений или отдельных коммутаторов. Наиболее распространенной топологией, удовлетворяющей этим требованиям, является Spine-Leaf. В данной схеме внешние подключения осуществляются к оконечным коммутаторам (Leaf), а связь между ними — через набор промежуточных коммутаторов, образующих «хребет» (Spine). Все коммутаторы Leaf подключены ко всем коммутаторам Spine, и наоборот. Как правило, Leaf коммутатор реализует механизм распределения (балансировки) трафика по альтернативным путям с одинаковой стоимостью (ECMP), проходящим через различные Spine коммутаторы.

К преимуществам топологии Spine-Leaf относятся:

• Масштабируемая производительность. Общая пропускная способность «хребта» (Spine) сети с N коммутаторами увеличивается в N раз по сравнению с одним коммутатором и может наращиваться по мере необходимости;
• Отказоустойчивость. При отказе одного из N коммутаторов Spine или одного из соединений теряется лишь 1/N часть общей производительности. Благодаря наличию в таблицах коммутации N параллельных маршрутов переключение трафика происходит очень быстро;
• Простота проектирования, внедрения и развитие сети. Производительность, приходящаяся на каждый коммутатор Leaf, зависит от числа Spine-коммутаторов и скорости соединений между ними и может быть увеличена путем добавления дополнительных Spine. Максимальное количество Spine ограничено числом аплинков на Leaf-коммутаторе. Число серверных подключений определяется количеством Leaf-коммутаторов (и портов на них) и масштабируется путем добавления Leaf-коммутаторов. Максимальное число Leaf-коммутаторов определяется количеством доступных портов на Spine-коммутаторе.

Требования к опорной сети и варианты ее построения рассматриваются подробнее в следующих разделах документа. 

3.2 Наложенная (overlay) сеть

Наложенная сеть, с точки зрения передачи данных (data plane), основана на VXLAN-туннелях поверх IP-сети, а с точки зрения плоскости управления (control plane) — на MP-BGP EVPN. В связи с этим основные функции наложенной сети включают:

• Функции терминирования туннеля (инкапсуляции и декапсуляции туннельного трафика). В терминологии VXLAN точка терминирования туннеля называется VTEP (VXLAN Tunnel Endpoint)
• Соотнесение информации о получателе пакета (MAC и/или IP адресе) с туннелем, в который должен быть направлен пакет. Используемые для этого в VXLAN/EVPN сети таблицы заполняются, для локальных подключений к VTEP, за счет прослушивания трафика (изучения MAC и IP), для удаленных – за счет получения информации по EVPN
• Передача широковещательных (broadcast), групповых (multicast) и адресованных неизвестному получателю (unknown unicast) пакетов наложенной сети. Для обозначения совокупно всех перечисленных типов часто используется термин BUM-трафик (Broadcast, Unknown Unicast, Multicast). Существует два основных способа доставки BUM трафика в VXLAN сетях:
  • Передача его в виде группового (multicast) трафика в IP сети. Достоинством такого подхода является то, что необходимую репликацию (размножение) трафика выполняет сама транспортная сеть. Недостатком является то, что для этого сеть должна поддерживать маршрутизацию multicast, что поддерживается не всем сетевым оборудованием, и требует отдельного набора компетенций для планирования, настройки и диагностики сети.
  • Передача его в виде необходимого числа обычных unicast пакетов IP в опорной сети, адресованных другим VTEP, относящимся к данному сегменту. При этом репликацию выполняет входной VTEP, через который пакет попадает в наложенную сеть, поэтому такой метод часто называется входной репликацией (ingress replication)

• Функции взаимодействия по MP-BGP. Помимо оконечных устройств, отправляющих и получающих информацию по MP-BGP, логический дизайн обычно включает в себя промежуточные узлы. В случае использования единого номера автономной системы эти узлы называются «отражателями маршрутов» (route reflector), и выполняют распространение информации по MP-BGP между всеми коммутаторами без необходимости организации полносвязного набора сессий. Более подробно варианты логического дизайна MP-BGP обсуждаются ниже.

3.3 Типовой дизайн VXLAN/EVPN-фабрики Spine/Leaf

С учетом сказанного выше, простейший типовой дизайн сети на основе VXLAN/EVPN выглядит следующим образом: на рисунке 3 показана структура VXLAN/EVPN-фабрики Spine/Leaf.

Рисунок 3 - Структура VXLAN/EVPN фабрики Spine/Leaf

Ключевые компоненты фабрики включают:

• Leaf коммутаторы выступают точкой подключения всего оконечного оборудования (серверов и т.д), а также внешних сетевых соединений, несущих трафик к серверам. С точки зрения VXLAN сети они являются VTEP-ами (иногда также используется термин «VXLAN шлюз»). С точки зрения MP-BGP они являются оконечными узлами, и могут использовать как полносвязный (full mesh) набор сессий для обмена информацией, так и устанавливать сессии только к «отражателям маршрутов» (как правило, двум, из соображения отказоустойчивости). Leaf коммутаторы, как правило, не соединяются между собой напрямую, исключением из этого правила может выступать организация пар по технологии MLAG для обеспечения зарезервированных подключений серверов.
• Spinе коммутаторы обеспечивают связь между Leaf коммутаторами. В простейшем сценарии они не выполняют операций инкапсуляции/декапсуляции туннельного трафика, и могут вообще «не знать» о его существовании, их функцией является только маршрутизация IP. С точки зрения MP-BGP на Spine коммутаторы, как правило, возлагается роль «отражателей маршрутов» (route reflector, RR). К Spine коммутаторам, как правило, подключаются только Leaf коммутаторы (исключением могут являться, например, модульные фабрики, которые предполагается рассмотреть в будущих версиях данного документа), и они не соединяются между собой.

4. Опорная сеть (underlay)

4.1 Ключевые требования

В число ключевых требований к опорной сети входят:

• Высокая производительность на уровне всей сети и отдельных соединений. Желательно, чтобы скорость соединений внутри опорной сети превышала скорость оконечных подключений к Leaf коммутаторам.
• Быстрая сходимость, что требует эффективно работающих протоколов динамической маршрутизации, и поддержки быстрого переключения трафика на альтернативные соединения при отказе.
• Поддержка передачи пакетов увеличенного размера (jumbo frames). Поскольку VXLAN инкапсуляция предполагает добавление дополнительного заголовка, то опорная сеть должна поддерживать передачу фреймов размера, увеличенного на 50 байт относительно исходного (если в опорной сети используются пакеты с заголовками 802.1Q, то на 54 байта). Например, если сервер передает фреймы размером до 9000 байт, то, при условии использования нетегированных портов, коммутаторы сети должны поддерживать передачу фреймов размером как минимум до 9050 байт.

Реализация перечисленных требований зависит от используемого оборудования и схемы сети, частично – от используемых протоколов и настроек.

4.2 Базовая архитектура Spine/Leaf

В качестве базовой сетевой архитектуры для VXLAN/EVPN используется топология Spine/Leaf. Принципы ее работы и преимущества уже были описаны выше. Текущая версия документа описывает построение сетей, масштаб которых соответствует возможностям одного «блока» Spine/Leaf. Расширение архитектуры для увеличения масштаба внедрения в пределах ЦОД, а также для связи сетей нескольких ЦОД, предполагается осветить в будущих версиях руководства.

4.3 Логическая организация и протоколы маршрутизации

Логическая организация опорной сети включает выбор протокола динамической маршрутизации и набор его настроек. Основными вариантами являются BGP и современные IGP протоколы (OSPF, IS-IS). Оба варианта могут успешно использоваться в опорной сети VXLAN/EVPN фабрик, у каждого из них есть свои преимущества – в том числе, и с точки зрения наличия в организации соответствующих эксплуатационных практик. BGP как протокол маршрутизации в крупных ЦОД сейчас достаточно популярен(см., в частности, RFC 7938), но, применительно к задачам построения фабрики VXLAN/EVPN, он обладает рядом особенностей, усложняющих его внедрение. В текущей версии документа мы будем в дальнейшем рассматривать вариант, опирающийся на использование протокола OSPF в единой «бэкбонной» области (area 0), но, где возможно, упомянем отличия и особенности, возникающие при использовании BGP в качестве протокола маршрутизации в опорной сети.

5. Наложенная сеть: инкапсуляция и сигнализация

5.1 Инкапсуляция VXLAN

В наложенной сети выделяются задачи плоскости данных (инкапсуляция/декапсуляция VXLAN) и плоскости управления (сигнализация с использованием адресного семейства EVPN протокола MP-BGP).
Инкапсуляция VXLAN уже была кратко описана выше, но необходимо подробнее остановиться на нескольких важных деталях.
В качестве адресов источника и получателя во внешнем IP-заголовке могут использоваться любые адреса, обеспечивающие достижимость между VTEP. Рекомендуется использовать адрес логического интерфейса (loopback) интерфейса, поскольку такой адрес достижим независимо от состояния конкретных физических интерфейсов, а, значит, в случае отказа одного из соединений в сети, на уровне наложенной сети (в EVPN) не возникает необходимости в распространении и отработке информации об изменениях – все отрабатывается протоколом маршрутизации в опорной сети.
В качестве порта назначения протокола UDP всегда используется выделенный для VXLAN номер 4789 (следует отметить, что в некоторых более ранних реализациях применялся номер 8472). При этом номер порта источника может изменяться, и это играет важную роль для эффективного функционирования сети. если номер порта источника также был бы фиксирован, то, с точки зрения опорной сети, весь трафик между данной парой VTEP являлся бы единым L4-потоком и всегда направлялся логикой хеширования по одному пути из всех возможных. Чтобы избежать этого, номер порта источника используется в VXLAN как «метка энтропии». В него переносится информация из внутреннего заголовка, которая позволяет, по возможности, отобразить различные потоки в наложенной сети в разные потоки опорной сети.

5.2 EVPN-сигнализация

Сигнализация в VXLAN/EVPN фабрике служит для распространения необходимой информации, прежде всего – о подключениях к фабрике: MAC адресах, IP адресах и IP подсетях. Для этого используются различные типы префиксов в адресном семействе EVPN, набор поддерживаемых типов зависит от особенностей реализации в EVPN фабрике конкретного производителя. В ОС AqNOS применяются три ключевых типа префиксов, описанных ниже.

5.2.1 Тип 2 (Route Type 2)

Используется для передачи информации о подключенных к фабрике оконечных адресах. если в фабрике или конкретном VNI используется только коммутация 2-го уровня, маршруты 2-го типа несут только информацию о MAC адресах. если фабрикой выполняется маршрутизация IP, для каждого оконечного устройства, имеющего IP адрес, передается два маршрута 2-го типа: первый только с MAC адресом, второй с MAC адресом и c IP адресом.

5.2.2 Тип 5 (Route Type 5)

Используется для передачи информации о доступных через фабрику IP подсетях. Применяется только в случае, если фабрика выполняет маршрутизацию IP. Данный тип маршрутов используется в двух разных сценариях. Во-первых, они могут соответствовать внешним, по отношению к фабрике, подсетям – например, в корпоративной сети, в Интернете и т.д. Во-вторых, они могут соответствовать подсетям самой фабрики, это необходимо для формирования ARP запросов при обращении к IP адресам в подсетях фабрики, которые пока что ей неизвестны как маршруты 2-го типа.

5.2.3 Тип 3 (Route Type 3)

Этот тип маршрутов используется для распространения информации о VTEP-ах, относящихся к конкретному сегменту (VNI), и используется для репликации BUM трафика.

Каждый анонс несет в себе информацию об адресе, через который доступен соответствующий объект (next hop), логических сегментах (VNI), признаках MAC/IP VRF с которыми связаны анонсы и др. Точный набор атрибутов зависит от типа префикса и сценария его использования. Схема назначения Route Distinguisher (RT) и Route Target (RD) является, вообще говоря, предметом выбора проектировщика, но стандарты RFC 7432 и RFC 8365 описывают рекомендации по их использованию, и требования к ним в случае автоматического назначения, которым мы стараемся следовать в примерах конфигураций в данном документе.

5.3 MP-BGP в фабрике: IBGP и EBGP

Передача информации адресного семейства EVPN в фабрике использует общую MP-BGP инфраструктуру сети, и оперирует теми же терминами, что и обычное взаимодействие по BGP, включая AS номера, BGP сессии между устройствами и так далее. Для внедрения MP-BGP в фабрике возможно два принципиальных варианта – IBGP (при котором коммутаторы используют один и тот же номер автономной системы), либо EBGP (при котором номера автономной системы на разных коммутаторах, вообще говоря, отличаются). Оба варианта имеют право на существование, и некоторые соображения по их поводу рассмотрены ниже, но для внедрения в пределах одного блока Spine/Leaf архитектуры проще вариант с использованием IBGP.
По правилам работы BGP информация, полученная из одной IBGP сессии, не передается в другую. Поэтому для при использовании IBGP необходимо использование либо полносвязного набора сессий между всеми VTEP (что малоприемлемо даже для небольших внедрений), либо использование «отражателя маршрутов» (route reflector), который, как правило, располагается на Spine коммутаторе (для отказоустойчивости – на двух). если же используется EBGP, то для передачи EVPN информации через Spine-коммутаторы на них необходимо в настройке адресного семейства BGP EVPN указать команду retain route-targets all , чтобы обеспечить на них прием и распространение информации, не помещаемой Spine коммутатором в локальные таблицы.

6. Подключения к VXLAN/EVPN-фабрике

6.1 Общая модель подключения

В VXLAN-фабрике все внешние подключения осуществляются к Leaf-коммутаторам, выполняющим функцию VTEP. Это касается серверов, сервисных устройств (МСЭ, балансировщиков и т. д.) и внешних сетей.
Модель подключения оконечных устройств к VXLAN/EVPN-фабрике на коммутаторах Aquarius использует отображение VLAN коммутатора в VNI VXLAN фабрики. Таким образом, управление подключениями сохраняет привычный синтаксис и семантику, а отличия возникают только в разделах конфигурации, связанных с VXLAN. При этом соотношение VLAN и VNI является локальным для коммутатора, то есть разные коммутаторы могут отображать один и тот же VNI в разные VLAN, а также отображать одни и те же VLAN в разные VNI – хотя, на практике, такой подход следует использовать с осторожностью, чтобы сократить риск ошибок.

6.2 Подключение серверов и технология MLAG

Для поддержки резервирования на стороне сети используется технология MC-LAG (Multi-Chassis Link AGgregation), также часто называемая MLAG, позволяющая внешним устройствам (например, серверам) строить агрегированные подключения сразу к паре коммутаторов доступа. 

На рисунке 4 показан пример MLAG-пары и вариантов подключения к ней.

Рисунок 4 - MLAG пара и подключения к ней. 

Детали работы и настройки MLAG выходят за рамки данного документа, но, применительно к работе фабрики, очевидно, что возникает вопрос о том, как соотнести организацию VXLAN-туннелей между конкретными коммутаторами с тем, что при использовании MLAG сервер должен быть доступен сразу через два коммутатора, образующих MLAG-пару. Реализация в AqNOS решает эту задачу с использованием подхода, называемого anycast VTEP, при котором два коммутатора в MLAG-паре используют один и тот же IP-адрес VTEP (привязанный к логическому интерфейсу), доступность которого анонсируется обоими устройствами в протокол динамической маршрутизации опорной сети. Пока оба коммутатора в MLAG-паре работоспособны, трафик, адресованный подключенным к паре серверам, балансируется сетью между ними за счет наличия альтернативных маршрутов с одинаковой стоимостью. При отказе одного из них весь трафик идет через оставшийся в работе коммутатор. Следует отметить, что этот процесс полностью обрабатывается опорной сетью и не влияет на работу уровня наложенной сети. Важно также, что с точки зрения MP-BGP устройства в MLAG-паре являются независимыми и используют для построения сессий разные адреса.

6.3 Border Leaf и подключение к внешним сетям

Подключения фабрики к внешним сетям также выполняются Leaf-коммутатором, который, в этом случае, иногда называют термином Border Leaf. В его задачи входит передача трафика между VXLAN-туннелями и внешними маршрутизируемыми соединениями, а также обмен маршрутной информацией между фабрикой и внешними ресурсами. В простейшем случае реализация функции Border Leaf сводится к настройке в протоколе BGP для соответствующего VRF редистрибуции из протокола динамической маршрутизации или статических маршрутов, возможно, с применением необходимых фильтров (route map).

7. Особенности использования коммутаторов Aquarius с ОС AqNOS для построения VXLAN/EVPN-фабрики

7.1 Рекомендуемые модели для Spine и Leaf

На рисунке 5 показан коммутатор AQ-N6000-32C, рекомендованный для уровня Spine. Он оснащен 32 портами, поддерживающими скорость 100 Гбит/с (16 из них также поддерживают 40 Гбит/с и могут быть разбиты в режиме 4×10 Гбит/с или 4×25 Гбит/с). При использовании в фабрике соединений 40/100 Гбит/с обеспечивается подключение до 32 коммутаторов Leaf-уровня.

Рисунок 5 - Коммутатор AQ-N6000-32C 

Для уровня Leaf основной моделью является N6000-48Y8C. На рисунке 6 показан этот коммутатор, имеющий 48 портов SFP28 (1/10/25 Гбит/с), используемых для подключения серверов и другого оконечного оборудования, и 8 портов QSFP28 40/100 Гбит/с. Обычно два порта QSFP28 используются для соединения коммутаторов в MLAG-паре, что оставляет доступными для подключения к Spine-уровню до 6 восходящих QSFP28-портов (аплинков), что дает возможность использовать в фабрике до 6 Spine-коммутаторов. Следует отметить, что при задействовании всех 48 SFP28-портов доступа на скорости 25 Гбит/с и 6 QSFP28-аплинков на скорости 100 Гбит/с коэффициент переподписки от серверов к аплинкам составляет 2:1, что считается очень хорошим показателем.

При необходимости подключения к фабрике высокопроизводительных серверных систем, СХД и т. д., в качестве Leaf-коммутатора может использоваться упомянутая выше модель N6000-32C. При этом число портов, задействованных для связи со Spine-уровнем, определяется требуемыми показателями переподписки.

Хотя для продуктивного использования в современных ЦОДах скорость 1 Гбит/с обычно недостаточна, такие подключения иногда требуются для портов управления, а также для BMC подключений серверов и т. д. В этом случае в качестве Leaf-коммутатора может применяться модель N3000-48T4Y2C. На рисунке 7 показан этот коммутатор, имеющий 48 витопарных портов 1 Гбит/с, 2 порта QSFP+ 40 Гбит/с и 4 порта SFP28 10/25 Гбит/с. Для поддержки VXLAN-функциональности на ней необходима дополнительная лицензия Professional.

Рисунок 7 - Коммутатор N3000-48T4Y2C 

7.2 Ключевые функции ОС AqNOS

Все перечисленные модели работают под управлением единой сетевой ОС AqNOS и при наличии соответствующих лицензий имеют идентичный набор функций, необходимых для VXLAN/EVPN. В дальнейшем описании не будет акцентироваться внимание на конкретных моделях, подразумевая под ними коммутаторы Aquarius семейств 3000–6000 с лицензией Professional.

7.3 Настройки опорной сети и MTU

С точки зрения протоколов опорной сети доступны как протоколы IGP (OSPF, IS-IS), так и BGP. Следует отметить, что в AqNOS номер автономной системы задается единым для всего коммутатора и применяется ко всем адресным семействам. Поэтому, если при планировании внедрения выбирается BGP в качестве протокола маршрутизации в опорной сети используется EBGP (то есть на разных коммутаторах назначены разные номера автономных систем), тогда и EVPN будет работать по EBGP.
Рекомендуется организовывать опорную сеть на базе физических L3-интерфейсов («no switchport»). На них необходимо выполнить следующие настройки:
1.    Разрешить обработку VXLAN-трафика командой:

2.    Разрешить передачу IP-пакетов увеличенного размера:

7.4 Репликация BUM-трафика

Репликация в наложенной сети VXLAN в AqNOS осуществляется в режиме «ingress replication», при котором используется EVPN-анонсы 3-го типа. Поэтому нет необходимости предусматривать поддержку многоадресного (multicast) трафика в опорной сети.

8. Планирование и внедрение VXLAN/EVPN-фабрики

8.1 Базовые моменты

Перед проектированием и внедрением VXLAN/EVPN-фабрики следует определить несколько основных аспектов:

• Число и тип используемых коммутаторов уровней Leaf и Spine, определяющиеся требованиями по оконечным подключениям и целевым показателям по переподписке;
• Структура MLAG пар, VLAN интерфейсы для синхронизации в MLAG и адресация на них;
• Тип протокола динамической маршрутизации в опорной сети. Как уже упоминалось, данная версия валидированного дизайна предполагает использование протокола OSPF;
• Тип настройки MP-BGP для распространения EVPN информации. Данная версия валидированного дизайна предполагает использование IBGP, то есть общего номера AS на всех коммутаторах, и размещение route reflector на двух Spine коммутаторах. если предполагается взаимодействие по BGP с внешними сетями, номер автономной системы должен выбран с учетом требований такого сопряжения;
• Адресация в опорной сети. Желательно, чтобы под адресное пространство опорной сети был выделен единый суммаризируемый адресный диапазон, что позволит упростить настройку протоколов маршрутизации. Размер адресного пространства должен учитывать, с запасом на будущее расширение, необходимое количество соединений между участниками фабрики (как соединения Spine-Leaf, так и в MLAG парах), а также виртуальные интерфейсы (loopback). Структура адресации, по возможности, должна позволять по виду адреса легко идентифицировать его функцию и расположение в сетевой топологии;
• Правила формирования VXLAN VNI. Как уже упоминалось, VXLAN использует в качестве идентификатора L2 и L3 сегментов 24-битное поле VNI, что соответствует более чем 16 миллионам значений. Как правило, для L2 и L3 VNI используются непересекающиеся диапазоны, которые позволяют быстро определить, к какой категории относится номер VNI и (в случае L2 VNI) с каким номером VLAN его предполагается связывать (в простом сценарии, использующем единую схему отображения VXLAN на VLAN). Например, для L2 VNI могут использоваться номера вида 2xxxx, где xxxx – номер VLAN, а для L3 VNI могут использоваться номера, начиная с 30000. При необходимости возможна и более сложная структура выбора VNI – например, с группированием по подразделению, номеру заказчика и т.д.
• Правила формирования идентификаторов, связанных с MP-BGP (Route Distinguisher/Route Target).

8.2 Пример модельного внедрения

На рисунке 8 показана схема тестовой фабрики, на которой демонстрируются конфигурационные блоки и общие настройки.

Рисунок 8 - Схема тестовой фабрики 

В данной фабрике используется:

• 3 Leaf коммутатора, из которых Leaf3 является одиночным, а Leaf1 и Leaf2 объединены в MLAG пару
• Используются два Spine, оба являются Route Reflector, на всей фабрике используется номер AS 65000
• Под внутреннее адресное пространство выбран диапазон 172.20.0.0/16 (такой большой диапазон выбран для наглядности структуры адресов)
• VLAN 101 «растянут» между всеми Leaf, а VLAN 102/103 присутствуют только на MLAG паре или только на Leaf3, соответствено. Такая модельная конфигурация позволяет проверить и связность через фабрику на 2 уровне, и маршрутизацию между локализованными сетями
• На фабрике используется один клиентский VRF (VRF1), к поторому относятся подсети, связанные с VLAN 101-103

9. Примеры конфигураций оборудования

9.1 Структура конфигурации Leaf (на примере Leaf1)

Ниже описаны основные разделы конфигурации Leaf-коммутатора, включающей L2 и L3 сервисы, VXLAN инкапсуляцию, EVPN пиринг, настройки опорной сети, MLAG-домен и клиентские подключения.

L2 сервисы

L3 сервисы

VXLAN инкапсуляция

EVPN пиринг

Связность в опорной сети

Настройка MLAG домена

Клиентские подключения

9.2 Структура конфигурации Spine (на примере Spine1)

Ниже описаны основные разделы конфигурации Spine-коммутатора, выполняющего роль Route Reflector для EVPN и узла опорной сети. Конфигурация включает настройки BGP EVPN для управления маршрутами и OSPF для обеспечения связности в underlay-сети.

EVPN-пиринг

Связность в опорной сети

9.3 Примеры целостных конфигураций оборудования

Ниже приводятся конфигурации сетевых устройств (Leaf1, Leaf2, Leaf3, Spine1, Spine2), соответствующие топологии, описанной в предыдущих разделах. В данных фрагментах отражены только ключевые параметры; реальный порядок строк может отличаться от того, в каком порядке коммутатор выводит конфигурацию.

Leaf1

Leaf2

Leaf3

Spine1

Spine2

10. Глоссарий

VXLAN (Virtual eXtensible Local Area Network)

Технология наложенных (оверлейных) сетей, которая обеспечивает передачу Ethernet-кадров поверх IP-сети путем инкапсуляции. Использует 24-битное поле VNI и позволяет создавать до 16 миллионов логически изолированных сетевых сегментов.

EVPN (Ethernet VPN)

Механизм управления оверлейными сетями на основе MP-BGP. Обеспечивает обмен служебной информацией (MAC-адресами, IP-адресами, маршрутами) в рамках адресного семейства L2VPN EVPN.

MP-BGP (Multiprotocol BGP)

Расширение базового протокола BGP, позволяющее одновременно работать с несколькими «семействами адресов», включая EVPN.

Underlay / Overlay

• Underlay: IP-сеть (L3), обеспечивающая базовую связность между Spine- и Leaf-коммутаторами.

• Overlay: наложенная сеть (в документе — VXLAN), «поверх» underlay-сети.

VTEP (VXLAN Tunnel Endpoint)

Узел (обычно Leaf-коммутатор), который отвечает за инкапсуляцию и декапсуляцию VXLAN-трафика и управляет распределением MAC/IP-адресов в наложенной сети.

MAC (Media Access Control) / IP (Internet Protocol) адрес

Уникальные идентификаторы на канальном (MAC) и сетевом (IP) уровнях соответственно.

ECMP (Equal Cost Multipathing)

Механизм распределения трафика между несколькими маршрутами с одинаковой метрикой (стоимостью), повышающий производительность и отказоустойчивость сети.

VNI (VXLAN Network Identifier)

24-битный идентификатор VXLAN-сегмента (L2 или L3), позволяющий маркировать разные логические сети внутри единой физической инфраструктуры.

Data-plane learning

Механизм изучения MAC-адресов на основе анализа проходящего трафика. Аналогичен принципу работы традиционных Ethernet-коммутаторов.

Control-plane (плоскость управления)

Компонент, отвечающий за централизованный обмен служебной информацией между устройствами. В контексте VXLAN/EVPN реализуется через MP-BGP.

Spine–Leaf

Архитектура центра обработки данных (ЦОД), где все Leaf-коммутаторы подключены к каждому Spine-устройству. Обеспечивает масштабируемость, балансировку и отказоустойчивость.

MLAG (Multi-Chassis Link Aggregation)

Технология объединения портов нескольких коммутаторов в логический канал для повышения надежности (также известна как MC-LAG).

Anycast VTEP

Подход, при котором два (или более) коммутатора (чаще всего в MLAG-паре) используют единый IP-адрес VTEP и совместно анонсируют его в опорную сеть, что облегчает балансировку трафика и повышает отказоустойчивость.

Border Leaf

Leaf-коммутатор, отвечающий за подключение VXLAN/EVPN-фабрики к внешним сетям. Выполняет маршрутизацию трафика между «оверлейной» (VXLAN) и внешними маршрутизируемыми соединениями.

BGP (Border Gateway Protocol)

Протокол динамической маршрутизации. В документе упоминается как основа для underlay (EBGP/IBGP) и EVPN (MP-BGP).

IBGP / EBGP

• IBGP (Internal BGP): Работает внутри одной автономной системы (AS).
• EBGP (External BGP): Используется для связи между разными AS.

Route Reflector (RR)

Функция BGP, устраняющая необходимость полносвязной топологии. RR ретранслирует маршруты между клиентами.

Autonomous System (AS)

Номер (идентификатор) домена маршрутизации BGP, в пределах которого работает IBGP. При EBGP у каждого домена — свой номер AS.

Route Distinguisher (RD) и Route Target (RT)

Механизмы маркировки и управления распространением маршрутов в MP-BGP (в частности, в EVPN). RD обеспечивает уникальность маршрутов, RT определяет политики импорта/экспорта маршрутов в VRF.

VRF (Virtual Routing and Forwarding)

Логическая таблица маршрутизации/переключения, изолирующая трафик разных сетей в пределах одного коммутатора (L3 изоляция).

BUM-трафик (Broadcast, Unknown Unicast, Multicast)

Категория трафика, требующая репликации на все (или выбранные) узлы в VXLAN (чаще всего решается через ingress replication или multicast в underlay).

Ingress Replication

Способ доставки BUM-трафика, при котором исходный VTEP формирует несколько копий пакета и отправляет их каждому заинтересованному VTEP по unicast-соединениям.

Loopback интерфейс

Логический интерфейс, используемый для адресации VTEP и установки BGP-сессий. Не зависит от состояния физических портов.

Jumbo frames

Кадры Ethernet с увеличенным MTU. Рекомендуются из-за накладных расходов на инкапсуляцию.

SFP28, QSFP28, QSFP+

Типы портов/трансиверов коммутаторов для скоростей 10/25 Гбит/с (SFP28), 40/100 Гбит/с (QSFP+/QSFP28).

LACP (Link Aggregation Control Protocol)

Протокол, автоматизирующий процесс объединения нескольких физических каналов в один логический (LAG), обеспечивает балансировку и отказоустойчивость.

AqNOS

Операционная система (Network Operating System) коммутаторов Aquarius, поддерживающая VXLAN/EVPN и другие сетевые функции.

BMC (Baseboard Management Controller)

Контроллер, встроенный в сервер, обеспечивающий мониторинг и управление на уровне аппаратуры (вне основной ОС).

11. Источники дополнительной информации: документация и стандарты

Для более детального изучения рекомендуются следующие источники:
1.    Портал по телекоммуникационным продуктам Aquarius
Содержит официальную документацию на программное и аппаратное обеспечение коммутаторов Aquarius, а также технические руководства и примеры конфигураций.
2.    Virtual eXtensible Local Area Network (VXLAN) — RFC 7348
Стандарт IETF, описывающий базовый механизм инкапсуляции Ethernet-пакетов поверх IP-сети.
3.    BGP MPLS-Based Ethernet VPN — RFC 7432
Документ, определяющий основу EVPN (Ethernet VPN) с использованием BGP.
4.    A Network Virtualization Overlay Solution Using EVPN — RFC 8365
Спецификация, рассматривающая использование EVPN в качестве контрольной плоскости для оверлейных сетей.
5.    Integrated Routing and Bridging in EVPN — RFC 9135
Описывает механизмы объединения маршрутизации и коммутации в EVPN.
6.    IP Prefix Advertisement in EVPN — RFC 9136
Специфицирует распространение IP-префиксов через EVPN.
7.    EVPN Interoperability Modes (draft-ietf-bess-evpn-modes-interop-02)
Текущий проект спецификации (draft), описывающий различные режимы совместимости EVPN.
8.    Use of BGP for Routing in Large-Scale Data Centers — RFC 7938
Одна из практик применения BGP в качестве протокола внутренней маршрутизации (IGP) для масштабных сетей ЦОД.