Аппаратная МАРК-ИТТ

Как-то всё у меня не складывалось выложить фото из нашей аппаратной, а тут в плане исследования движка WordPress решил написать эту статью с использованием нового движка… хотя, конечно, это слабо оправдание лени 😉 кстати, есть и аудио-вариант этого описания в подкасте NI-6-7.mp3
Начнём с общего вида основного ряда стоек:

В самой левой части кадра находится пара кабинетов АТС Definity, которая используется для оказания услуг местной телефонной связи. Далее идёт стойка с BRASами — это такие маршрутизаторы куда терминируются PPPoE соединения клиентов, т.е. это те железки, которые видны как сервис MARK_PPPoE у клиентов. Их так много во многом из-за того, что мы живём долго и развиваемся по мере роста местного рыка. Вот они чуть крупнее:


сверху Cisco 7301, а ниже Cisco 7201, последних с каждым месяцем становится всё больше, с момента фотосессии их уже две прибавилось… синие патч-корды идут к ядру сети, а серые к магистральной сети, т.е. с одной стороны внутренняя сеть, а сдругой тсороны внешняя, так вот оно всё физически разграничено… голубые проводки справа — это консоли управления, которые выведены на отдельный терминальный севрер (Cisco 2511, которая используется у нас с 1994-го года!!!)
Далее идут стойки с серверами, ядром сети, магистральной сетью и кросс:

Вот стойка с основными серверами задействованными в производстве (production). Ничего заумного в ней нет, просто сервера и системы хранения (большие RAID-массивы)


Далее стойка я ядром сети, которое можно рассмотреть более внимательно:


В верхней части стойки стоит Cisco SCE2020 и её оптический байпасс (оптический обход железки на случай её выхода из строя или на время вывода её из эксплуатации, т.е. оптический коммутатор, который просто переключает волокна мимо SCE). SCE используется для приоретизации трафика, т.е. она в режиме реального времени анализирует проколы вплоть до 7-го уровня модели OSI и в зависимости от того как классифицирован пакет обрабатывает его. Именно она понимает, что такое торренты, игровой трафик, Web-сёрфинг и на ней выставляются полосы для внешнего трафика клиентов. Сразу под ней находится основной маршрутизатор izhevsk21 (Cisco Catalyst 6509 с парой Sup720), который выполняет функции ядра сети, шасси мы использовали от коммутатора, а суть его два высокопроизводительных маршрутизатора Sup720 (они так называются за то, что имеют производительность 720Gbps). Само шасси пассивно (это просто корзина с разводкой проводов) а все активные компоненты продублированы (блоки питания, маршрутизаторы и портовые платы тоже). Ниже находятся вспомогательные неинтересные железки, которые там живут до момента умощнения ядра, потом они из этой стойки передут.
Следующая стойка — это магистральная сеть, точнее часть магистральной сети, которая находится в нашей аппаратной. Сама сеть состоит из массы устройств разбросанных по гророду и объединённых между собой уже более чем в десяток колец.

В верхней части находится телефонная часть, IP-MUX, оптический MUX и даже последний модем. Ниже находится АТС М-200, под ней корзина с медиа-конверторами (их осталось уже совем мало, так как большинство линков приходят прямо в коммутаторы, но честь линков до сих пор вынесена на медиа-конверторы, хотя это временное явление). Ну и ниже находится ещё один Catalyst 6509, который собственно собирает почти все городские кольца, сервера и BRASы.
Далее кросс, ну тут уж совсем ничего интересного…

Кроме того в аппаратной стоят вспомогательные серверы для разработки и экспериментов

Далее стоят сервера клиентов, но их фото я решил тут не публиковать, так тчо прейдём к системам кондийионирования электрическтва и воздуха в аппаратной.

В аппаратной поддерживается температура 19 градусов 4-мя кондиционерами, которые работают с резервированием, т.е. не все сразу а по очереди. Для обеспечения температуры 22 градуса вполне достаточно 2-х кондиционеров, так что мы можем спокойно проводить ТО кондиционеров выводя их из работы парами.
К аппаратной подведено два независимых фидера (от двух трансформаторов) и они заведены на АВР (автоматический включатель резерва), далее источник бесперебойного питания обеспечивает питанием все стойки в аппаратной, а наиболее ответственные узлы имеют дополнительные ИБП.

Справа от ИБП стоит отдельная стойка с аккумуляторами, которые обеспечивают до 45-ти минут автономной работы аппаратной, на них и на полках лежат запасные части для аварийной замены.
Ну вот примерно так оно выглядит… буду рад ответить на вопросы…