1 of 24

История решения одной задачи �с помощью TRILL

Владимир Романенко

Старший сетевой инженер, Selectel

Игорь Алов

Технический директор,

Игорь: Сегодня, мы с Владимиром, поделимся опытом пятилетней давности, который, по нашему мнению, и сегодня для многих компаний и небольших интернет операторов может быть актуальным, особенно если речь идет об увеличении пропускной способности между разными точками присутствия (офисы, датацентры) используя разные, по скорости, интерфейсы.

Вова: Всем привет. Меня зовут Владимир и сейчас я работаю сетевым инженером в компании Selectel.

Пожалуйста, поднимите руки те, кто присутствовал на прошлом нашем митапе… Здорово.

Наверняка вы помните, что в прошлый раз мы вручали плюшевых тирексов за 3 самые интересные истории об эпик фейлах случившихся с нашими гостями. Это выступление расскажет вам о неслучившемся эпик фейле в далеком 2016 году и как нам с Игорем в этом помог TRILL. Сразу хочется обозначить, что из презентации вы не узнаете каких-то ньюансов работы протокола, а так-же чего-то про его плюсы и минусы. Надеюсь вам будет весело и вы не повторите наших ошибок в своей практике.

2 of 24

Опрос

3 of 24

It was 2016

4 of 24

Топология сети

SPB <30*10G>MSK

MSK <25*10G> KYIV

5 of 24

Трансиверы 2016

Fast Ethernet
Gigabit Ethernet (SFP)
2.5G Ethernet & 5G Ethernet
10G Ethernet (SFP+)
25G Ethernet
40G Ethernet (QSFP)
100G Ethernet (CFP, CFP2, QSFP28)
200G-400G Ethernet (QSFP56, QSFP-DD)

SFP

QSFP

CFP

Вова: На дворе 2016 год и основными портами на нашем оборудовании были SFP+ в которые мы включали и клиентов и магистральные линки. 100/1000Мбит были только под клиентов. 40Г использовались только для стекирования коммутаторов.

В то время 100Г ещё не были широко распространены, но у большинства вендоров были готовые решения на его основе. И наши расчеты показали, что в долгосрочной перспективе 100Г каналы одним портом будут обходиться дешевле чем 10*10Г каналов. В общем бизнес сказал - надо пробовать.

Тут мы подходим к главной задаче которую нужно было решить нашему те отделу.

6 of 24

Опрос

7 of 24

Предложение вендора

Установить плату с 100G портами�
Включить 100G-LR4 модули�
Физический порт 100G превратить �в 10x10G

Игорь: Первый вопрос, на который всем нам предстояло ответить - “А как подружить 100G с LACP созданным из наборов портов 10G?” Ведь у большинства вендоров объединение портов в LACP с разной скоростью не допускается. Недолго думая, мы решили транслировать данный вопрос вендору, так как никто другой, кроме вендора, по нашему мнению, не может знать лучше шасси которые мы используем. Мы достаточно быстро от вендора получили информацию о том, что “в оборудовании есть команда которая, логически может представить интерфейс 100G как 10 интерфейсов 10G, и проблем в этом случае с добавлением в LCAP таких интерфейсов не будет”.��Заручившись поддержкой вендора, компания сделала заказ интерфейсных карт для используемых шасси, заказала модули согласованные с вендором. Рассчитали сроки поставки, временной лаг, который обычно требуется на тестирование и ввод эксплуатацию оборудования, добавили небольшой запас по времени, и устнвоили срок, в который у нас “железно” все заработает. Данный, срок нам необходим был для того что, заблаговременно подготовить новые кроссовки, новые каналы, отказаться от старых арендуемых каналов. ( стандартный процесс оптимизации затрат, который присутствует у любой компании).

8 of 24

Наши действия

Заказали платы и модули. Срок поставки 1 июля.
Подписали контракт на 2*100G канала на несколько лет.
Написали отказ от 10*10G каналов на 1 сентября.

Игорь: Первый вопрос, на который всем нам предстояло ответить - “А как подружить 100G с LACP созданным из наборов портов 10G?” Ведь у большинства вендоров объединение портов в LACP с разной скоростью не допускается. Недолго думая, мы решили транслировать данный вопрос вендору, так как никто другой, кроме вендора, по нашему мнению, не может знать лучше шасси которые мы используем. Мы достаточно быстро от вендора получили информацию о том, что “в оборудовании есть команда которая, логически может представить интерфейс 100G как 10 интерфейсов 10G, и проблем в этом случае с добавлением в LCAP таких интерфейсов не будет”.��Заручившись поддержкой вендора, компания сделала заказ интерфейсных карт для используемых шасси, заказала модули согласованные с вендором. Рассчитали сроки поставки, временной лаг, который обычно требуется на тестирование и ввод эксплуатацию оборудования, добавили небольшой запас по времени, и устнвоили срок, в который у нас “железно” все заработает. Данный, срок нам необходим был для того что, заблаговременно подготовить новые кроссовки, новые каналы, отказаться от старых арендуемых каналов. ( стандартный процесс оптимизации затрат, который присутствует у любой компании).

9 of 24

Виден свет в конце тунеля?

Получили платы расширения
Получили новенькие модули 100G
Установили модули в платы
Сделали кроссировки
Линк между Москвой и Санкт-Петербургом поднялся
Волшебная команда вендора не сработала

Игорь: Мы получили модули, и с некоторой задержкой к нам пришли интерфейсные карты. Не смотря на задержку с поставкой, времени у нас должно было хватить для того чтобы, произвести настройку, протестировать, и запустить в продакшен наши новые 100G каналы, тем более у нас есть поддержка от вендора который нам гарантировал работу.��В конечном итоге, потратив еще какое то время, на разбор проблем с оптической трассой на которой мы собирались запустить 2x100G, у нас осталось две недели чтобы закончить тесты, и завершить наш проект.

Однако мы сильно удивились, когда “волшебная” команда, предложенная вендором, ломала работу 100G модулей, а так же в разы уменьшала FIB шасси до неприемлемо малых значений). Речь идет о той самой команде, введя которую, по заверению вендора, мы должны были получить из одного физического интерфейса 100G получить 10x10G логических. Естественно Вендору мы передали, что предложенное им “заклинание”, не сработало.��У нас оставалось меньше недели, и сказать что мы были недовольны стечением обстоятельств - это значит ничего не сказать. Время поджимало, со стороны вендора, просвета не было видно. Чуть позже вендор обновил на сайте техническую документацию, согласно которой, фокусы с модулями типа LR4 работать не будут (о чем мы кстати известили вендора).

10 of 24

Решение

LACP#1: 2x100G
LACP#2: 20x10G
ECMP (Equal Cost Multipath)

11 of 24

Выбираем overlay-технологию

MPLS

Популярно, многие ISP используют эту технологию L2VPN, L3VPN
Много документации
Был опыт работы�

VxLAN

Разговоры есть, но в массах почти никто не использует
Связано с виртуалками?
Мало документации�

TRILL

А кто с этим работал?

Игорь: Стало предельно понятно, что к нам надвигается непоправимый апокалипсис, и с этим что то надо делать. Одно из решений, которое мы у себя выработали на тот момент - это применить одну из оверлейных технологий, сделать LAG группы одинаковой пропускной способности (20x10G + 2x100G), и равномерно утилизировать их используя уже протокол ECMP на верхнем уровне, а затем уже в рамках LAG группы будет работать классический LACP. Технологии, которые были доступны на шасси (это MPLS, VXLAN и TRILL), учитывая, что с последними двумя у нас ни у кого не было опыта работы, а с MPLS/VPLS так сложилось что я знаком со времен работы в МТС в достаточном объеме, то мы выбрали MPLS, естественно получив на это благословение вендора вместе с бесплатной лицензией, которая шла “в подарок за эпикфейл”.

12 of 24

MPLS

Переговоры с вендором
Благословение от вендора
Схема собрана
Запустили в прод

Игорь: За пару дней, мы собрали MPLS между двумя коммутаторами, проверили балансировку, проверили резервирование, задержку переключения. Все по парамтерам, как нам казалось тогда, было близким к идеальным.

Мы запустили трафик, радуемся как все работает. Радуемся как у нас все хорошо работает. однако радость была недолгая.

Вова: Помните, что мы решали задачу расширения магистрали Санкт-Петербург - Москва? И MPLS мы запускали на этом пролете.

13 of 24

MPLS работает, но что не так?

SPB <[enable mpls]>MSK

MSK <[balancing fail]> KYIV

14 of 24

MPLS работает, но что не так?

LACP Балансировка Round-Robin

15 of 24

Так ли хорош алгоритм RR в LACP?

Out of Order Delivery�

Packet Reordering
Jitter
TCP Retransmission
Increase Bandwidth

16 of 24

MPLS работает, но что не так?

SPB <[disable mpls]>MSK

MSK <[balancing ok]> KYIV

17 of 24

ASIC Load Balance (Five Tuple)

IP SRC
IP DST
PORT SRC
PORT DST
PROTOCOL

Игорь: Проведя немного экспериментов, было выдвинуто предположение, что ASIC коммутатора, когда применяет hash функцию для балансировки трафика, накладывает ее не на конкретные поля пакета (ip src/dst, proto port src/dst), а накладывает на определенные байты (смещение) сначала ethernet пакета, т.е. коммутатору абсолютно все равно, что там находятся за данные. Конечно же в стандартном (обычном) ethernet пакете, сразу же после ethernet заголовка идут параметры IP пакета, и проблем не возникает, однако в случае применения VPLS, после ethernet заголовка следует MPLS заголовок, в котором передаются как минимум две метки туннельная метка и сервисная метка (так как это не транзитный роутер). Хэш функция, которая отвечает за балансировку просто не может работать корректно, так как на вход будет поступать все время одни и те же данные независимо от того трафик с какими five tuple был инкапсулирован. Некоторые вендоры используют механизм рециркуляции пакетов, другие добавляют специальную MPLS метку которая используется для балансировки трафика, в нашем же случае ничего такого не было. Через пару дней после создания тикета, вендор подтверждает, что решение о балансировка трафика, который должен будет пройти через коммутатор и выйти в другой LCAP канал, принимается непосредственно на входе трафика в коммутатор, и процессе прохода трафика через внутренние шины шасси решение остается неизменным.

18 of 24

ASIC Load Balance (wireshark)

Ethernet без MPLS

Ethernet с MPLS заголовками

IP SRC & DST

Ожидание

Реальность

19 of 24

Пробуем что-то другое?

Разговор с вендором
Благословение на использование протокола TRILL
Обновление шасси с перерывом сервиса
Запуск
Вроде, работает? Работает!

20 of 24

Почему с TRILL заработало?

Есть смещение полей IP
Hash функция частично попадает на изменяемые данные

Осталось два байта от IP адреса для Hash функции

21 of 24

Настройка TRILL это просто

system-view�<...>

trill� carrier-vlan <carrier-vlanid>

trill-name <symbolic-name>

nickname <nicknamevalue>� ce-vlan { vlan-id1 [ to vlan-id2 ] }�interface <interface-type interface-number>� port link-type trunk

trill enable� trill cost <cost>

commit

22 of 24

Судьба TRILL

Он все-таки был заменен на VxLAN�

Коммутаторы, на которых работал TRILL, морально устарели, �и их модернизация была экономически не обоснована�
Другое оборудование на сети не умело в TRILL

23 of 24

Заключение

Вендор не всегда прав, а контракт не всегда спасает�
Баг, наверное, исправили или выпустили новые платы �
Рабочий способ объединения интерфейсов разной пропускной способности

Никогда не запускайте новую технологию без проверки в лабе�
Не забывайте обновлять ПО. Хотя бы перед запуском новой технологии;)

24 of 24

Владимир Романенко

Старший сетевой инженер, Selectel

Игорь Алов

Технический директор,

Остались вопросы?�Обращайтесь!