ПРЯМАЯ РЕЧЬ
ЦУМС Запад
Новый этап эволюции мониторинга и управления сетью «Ростелекома»
14 марта 2023 г. в Краснодаре состоялось знаковое не только для нашей компании, но и для всей отрасли событие. «Ростелеком» запустил Центр управления и мониторинга сети (ЦУМС Запад). Он объединил 33 локальные площадки, отвечающие за западную часть России, а также магистральные каналы в Европу и Азию. С его вводом вырастет скорость реагирования на сетевые инциденты и аварийные ситуации, улучшится управляемость сети, а также повысится качество предоставляемых компанией цифровых сервисов и услуг.
Об открытии центра много писали в прессе. Мы же хотим обсудить это событие с другой, внутренней точки зрения. Что с появлением центра изменилось для сотрудников компании? Как система работает изнутри? Как идея воплотилась в реальность? Об этом и многом другом мы поговорили с Василием Серманом, директором по мониторингу и оперативно-техническому управлению сетями связи.
— Василий, как родилась идея создать такой центр?
— Появление Центра управления и мониторинга сетью — это следующий эволюционный этап трансформации блока технической инфраструктуры. Функции, разрозненные между макрорегиональными филиалами, собраны на один уровень в центр компетенции, что позволило избавиться от бюрократических и избыточных связей и сократить операционные затраты. Персонал, объединённый одним типом подобных задач, перешёл в единое подразделение и выполняет их конвейерным способом. В результате унифицируются бизнес-процессы, внедряется их автоматизация для всей функции по вертикали, а не для конкретного региона. Безусловно, это влияет на рост производительности труда.
А началось всё в далёком 2015 г., когда мы впервые успешно реализовали пилотный проект по переходу на двухуровневую модель, т. е. перераспределили задачи управления с регионального на макрорегиональный уровень. Далее в 2019 г. мы реализовали программу по переходу ещё пяти макрорегиональных филиалов по централизации функций от РЦУСС к МРЦУСС. И тоже успешно. Затем пришла идея создать два Центра управления и мониторинга сетью компании. Первый из них уже запустили в Краснодаре, сейчас завершаем работу над вторым в Новосибирске.
— Расскажите, как строился центр?
— Сейчас, когда всё уже закончилось красивой историей, мы вспоминаем с командой самое начало. Иногда казалось, что вызовы нам бросает весь мир! Разморозку финансирования мы получили лишь в конце I квартала 2022 г., и было понятно, что оставшиеся 10 месяцев придётся очень поторопиться. Это как бег с препятствиями: только преодолеваешь один барьер, как уже необходимо штурмовать следующий.
Здание, где размещается ЦУМС, внесли в воронку продаж — пришлось вытаскивать; потом обосновывать необходимость приспособления под задачи мониторинга и управления сетью помещения, где ранее уже был сделан ремонт. После осуществления проектирования поставщики оборудования пришли с запросом выполнить 100 % предоплату и поставку из-за рубежа с неприемлемыми сроками. Пришлось заново передоговариваться и торговаться. Финальной вишенкой на торте стала задержка на границе оборудования медиастены, которое поставлялось нам из Китая. Здесь на помощь пришли коллеги из ФЭБ, которые под гарантийные обязательства помогли провести оплату аванса в 2022 г., медиастену в итоге вытащили в конце декабря. Дальше с АХД и подрядчиками, всем персоналом ЦУМС собирали рабочие места. Переезд заслуживает отдельного рассказа. Сказать, что это был муравейник, — ничего не сказать! В итоге благодаря вовлечённости всех участвующих — сотрудников ЦУМС, коллег смежных подразделений — мы всё успели и сдали проект в срок.
— Василий, как родилась идея создать такой центр?
— Появление Центра управления и мониторинга сетью — это следующий эволюционный этап трансформации блока технической инфраструктуры. Функции, разрозненные между макрорегиональными филиалами, собраны на один уровень в центр компетенции, что позволило избавиться от бюрократических и избыточных связей и сократить операционные затраты. Персонал, объединённый одним типом подобных задач, перешёл в единое подразделение и выполняет их конвейерным способом. В результате унифицируются бизнес-процессы, внедряется их автоматизация для всей функции по вертикали, а не для конкретного региона. Безусловно, это влияет на рост производительности труда.
А началось всё в далёком 2015 г., когда мы впервые успешно реализовали пилотный проект по переходу на двухуровневую модель, т. е. перераспределили задачи управления с регионального на макрорегиональный уровень. Далее в 2019 г. мы реализовали программу по переходу ещё пяти макрорегиональных филиалов по централизации функций от РЦУСС к МРЦУСС. И тоже успешно. Затем пришла идея создать два Центра управления и мониторинга сетью компании. Первый из них уже запустили в Краснодаре, сейчас завершаем работу над вторым в Новосибирске.
— Расскажите, как строился центр?
— Сейчас, когда всё уже закончилось красивой историей, мы вспоминаем с командой самое начало. Иногда казалось, что вызовы нам бросает весь мир! Разморозку финансирования мы получили лишь в конце I квартала 2022 г., и было понятно, что оставшиеся 10 месяцев придётся очень поторопиться. Это как бег с препятствиями: только преодолеваешь один барьер, как уже необходимо штурмовать следующий.
Здание, где размещается ЦУМС, внесли в воронку продаж — пришлось вытаскивать; потом обосновывать необходимость приспособления под задачи мониторинга и управления сетью помещения, где ранее уже был сделан ремонт. После осуществления проектирования поставщики оборудования пришли с запросом выполнить 100 % предоплату и поставку из-за рубежа с неприемлемыми сроками. Пришлось заново передоговариваться и торговаться. Финальной вишенкой на торте стала задержка на границе оборудования медиастены, которое поставлялось нам из Китая. Здесь на помощь пришли коллеги из ФЭБ, которые под гарантийные обязательства помогли провести оплату аванса в 2022 г., медиастену в итоге вытащили в конце декабря. Дальше с АХД и подрядчиками, всем персоналом ЦУМС собирали рабочие места. Переезд заслуживает отдельного рассказа. Сказать, что это был муравейник, — ничего не сказать! В итоге благодаря вовлечённости всех участвующих — сотрудников ЦУМС, коллег смежных подразделений — мы всё успели и сдали проект в срок.
Декабрь 2022 г. ЦУМС в процессе строительства.
— На что ориентировались, когда проектировали центр? Почему точкой на Западе выбрали именно Краснодар?
— Во-первых, мы изучили лучшие мировые и российские практики организации подобных центров. Яркие зарубежные примеры, где есть NOC (Network Operation Center): China Telecom, NTT DoCoMo, AT&T, British Telecom, DeutscheTelecom. Из отечественных компаний стоит выделить Координационный центр Правительства РФ и Центр управления кризисными ситуациями МЧС РФ. Все они объединены одной концепцией кинотеатра, ядром которого является экран, в нашем случае — медиастена с контроллером, позволяющая отражать множество дашбордов, выполнять масштабирование контента и управление им, проводить видеоконференции и видеотрансляции.
При строительстве ЦУМС Запад в его основу мы старались заложить самые передовые технологии. При этом каждый элемент рабочего места сотрудника нацелен на сокращение времени, затрачиваемого на выполнение рутинных задач. Это позволяет сосредоточиться и больше внимания уделять более сложным случаям.
— Во-первых, мы изучили лучшие мировые и российские практики организации подобных центров. Яркие зарубежные примеры, где есть NOC (Network Operation Center): China Telecom, NTT DoCoMo, AT&T, British Telecom, DeutscheTelecom. Из отечественных компаний стоит выделить Координационный центр Правительства РФ и Центр управления кризисными ситуациями МЧС РФ. Все они объединены одной концепцией кинотеатра, ядром которого является экран, в нашем случае — медиастена с контроллером, позволяющая отражать множество дашбордов, выполнять масштабирование контента и управление им, проводить видеоконференции и видеотрансляции.
При строительстве ЦУМС Запад в его основу мы старались заложить самые передовые технологии. При этом каждый элемент рабочего места сотрудника нацелен на сокращение времени, затрачиваемого на выполнение рутинных задач. Это позволяет сосредоточиться и больше внимания уделять более сложным случаям.
“
Почему был выбран Краснодар?
Во-первых, это растущий город, куда идёт активная миграция профессионального населения из других регионов страны. Во-вторых, здесь уже была выполнена централизация на уровень МРЦУСС, а также имелся соответствующий множеству критериев объект недвижимости. Конечно, стоит отметить и высокий уровень компетенций персонала в этой локации.
Во-первых, это растущий город, куда идёт активная миграция профессионального населения из других регионов страны. Во-вторых, здесь уже была выполнена централизация на уровень МРЦУСС, а также имелся соответствующий множеству критериев объект недвижимости. Конечно, стоит отметить и высокий уровень компетенций персонала в этой локации.
Март 2023 г. Торжественное открытие ЦУМС.
— Василий, расскажите об основных параметрах центра. В чём его преимущество перед аналогичными в других компаниях? Можно ли их вообще сравнивать?
— Сегодня в зону ответственности ЦУМС Запад входит 42 региона из Центрального, Северо-Западного, Приволжского, Южного и Северо-Кавказского федеральных округов. Центр контролирует сетевую инфраструктуру протяжённостью более 108 тыс. км, а также около 3 тыс. основных серверов и серверов телематики, более 775 тыс. узлов сетей компании и свыше 5 млн единиц оборудования клиентов. Состояние каждого узла оценивается в диапазонах от 30 секунд до 5 минут, а суммарное количество обследуемых параметров превышает 25 млн. В общей сложности работу центра обеспечивают 215 человек.
— Сегодня в зону ответственности ЦУМС Запад входит 42 региона из Центрального, Северо-Западного, Приволжского, Южного и Северо-Кавказского федеральных округов. Центр контролирует сетевую инфраструктуру протяжённостью более 108 тыс. км, а также около 3 тыс. основных серверов и серверов телематики, более 775 тыс. узлов сетей компании и свыше 5 млн единиц оборудования клиентов. Состояние каждого узла оценивается в диапазонах от 30 секунд до 5 минут, а суммарное количество обследуемых параметров превышает 25 млн. В общей сложности работу центра обеспечивают 215 человек.
“
Главное преимущество нашего центра — в полном георезервировании, масштабах охвата сети, количестве обслуживаемых клиентов и технологичности (новое оборудование и современные ИТ-системы). Без преувеличения можно сказать, что по масштабам нам нет равных.
— Каков основной функционал и с кем взаимодействует центр?
— В периметр задач ЦУМС входят важнейшие эксплуатационные процессы: управление сбоями, изменениями на сети, производительностью по всем типам сетей и всем сервисам компании. Решение этих задач требует взаимодействия со всеми продуктовыми, эксплуатирующими и сервисными подразделениями. Кроме того, в зону ответственности ЦУМС входит круглосуточное оперативное взаимодействие со всеми регуляторными органами и профильными министерствами, а также информирование об аварийных ситуациях на сети.
— В периметр задач ЦУМС входят важнейшие эксплуатационные процессы: управление сбоями, изменениями на сети, производительностью по всем типам сетей и всем сервисам компании. Решение этих задач требует взаимодействия со всеми продуктовыми, эксплуатирующими и сервисными подразделениями. Кроме того, в зону ответственности ЦУМС входит круглосуточное оперативное взаимодействие со всеми регуляторными органами и профильными министерствами, а также информирование об аварийных ситуациях на сети.
“
С появлением Центра управления и мониторинга сети данная работа начала выполняться в три раза оперативнее по единому процессу.
— Что это такое зонтичная система комплексной обработки событий (СЕР, Complex Event Processing) и какую роль она выполняет?
— CEP выполняет ключевую роль! Дело в том, что мониторинг сети осуществляется с использованием множества систем управления и мониторинга, каждая из которых обеспечивает наблюдение за своим сегментом сети. Сейчас таких систем более 300 штук, большая часть из них в данный момент не объединена общей системой сбора и корреляции аварийных событий. Из-за разрозненности данных сотрудникам мониторинга приходится отслеживать аварии одновременно в десятках окон, определять их первопричины и вручную заводить инциденты на устранение. СЕР как раз помогает быстро находить корневую причину аварийной ситуации.
— CEP выполняет ключевую роль! Дело в том, что мониторинг сети осуществляется с использованием множества систем управления и мониторинга, каждая из которых обеспечивает наблюдение за своим сегментом сети. Сейчас таких систем более 300 штук, большая часть из них в данный момент не объединена общей системой сбора и корреляции аварийных событий. Из-за разрозненности данных сотрудникам мониторинга приходится отслеживать аварии одновременно в десятках окон, определять их первопричины и вручную заводить инциденты на устранение. СЕР как раз помогает быстро находить корневую причину аварийной ситуации.
“
Внедрение системы комплексной обработки событий СЕР поможет не только собирать аварии из всех систем мониторинга в «одно окно», но и осуществлять автоматическую корреляцию множества событий в единый инцидент.
Кроме того, внедрение CEP позволит автоматизировать документирование аварий и информирование ответственных. В условиях централизации подразделений мониторинга и оперативно-технического управления без данного инструмента не обойтись.
— Говорят, что вместе с открытием центра изменится и ИТ-ландшафт функции мониторинга и управления сетью. Что это значит на практике?
— Сегодня функция мониторинга и управления сетью является частью систем операционной поддержки и значимым элементом общей ИТ-архитектуры компании. При этом трансформация ИТ-ландшафта производится в соответствии со стратегией OSS, направленной на переход от географической сегментации информационных систем к функциональной. Таким образом, ориентируясь на собственные разработки, мы обращаемся к федеральным функциональным компонентам, нацеленным на качественное выполнение ограниченного набора функций.
Примером такой трансформации, помимо зонтичной системы корреляции событий, являются консолидирующий слой NRI, позволяющий абстрагировать для потребителя региональные специфики источников данных технического учёта. Также стоит отметить и витрину сервисов, с помощью которой сотрудники центра оперативно получают информацию о технологических ресурсах клиентских сервисов в формате «одного окна» по всей стране. Есть Service Activator, помогающий автоматизировать рутинные операции по настройке оборудования сети для организации и изменения клиентских и технологических сервисов. А система NTTM даёт возможность объединить все подразделения, задействованные в процессе выявления и устранения аварий, клиентских и сетевых инцидентов, в единый бизнес-процесс.
— Что для сотрудников компании означает открытие центра?
— Говорят, что вместе с открытием центра изменится и ИТ-ландшафт функции мониторинга и управления сетью. Что это значит на практике?
— Сегодня функция мониторинга и управления сетью является частью систем операционной поддержки и значимым элементом общей ИТ-архитектуры компании. При этом трансформация ИТ-ландшафта производится в соответствии со стратегией OSS, направленной на переход от географической сегментации информационных систем к функциональной. Таким образом, ориентируясь на собственные разработки, мы обращаемся к федеральным функциональным компонентам, нацеленным на качественное выполнение ограниченного набора функций.
Примером такой трансформации, помимо зонтичной системы корреляции событий, являются консолидирующий слой NRI, позволяющий абстрагировать для потребителя региональные специфики источников данных технического учёта. Также стоит отметить и витрину сервисов, с помощью которой сотрудники центра оперативно получают информацию о технологических ресурсах клиентских сервисов в формате «одного окна» по всей стране. Есть Service Activator, помогающий автоматизировать рутинные операции по настройке оборудования сети для организации и изменения клиентских и технологических сервисов. А система NTTM даёт возможность объединить все подразделения, задействованные в процессе выявления и устранения аварий, клиентских и сетевых инцидентов, в единый бизнес-процесс.
— Что для сотрудников компании означает открытие центра?
— Для сотрудников открытие центра имеет колоссальное значение! У них появились новые инструменты и возможности для выполнения операционных задач, улучшилось взаимодействие внутри команды. Возникли точки притяжения в виде медиазон с разделением по направлениям. Медиазоны позволили профильным сотрудникам развернуть свои инструменты на больших экранах с разрешением 4К и иметь их под рукой 24/7. Это обеспечило дополнительный толчок для развития систем визуализации аварийности на сети. Уже сейчас в каждом направлении мониторинга насчитывается несколько десятков дашбордов, и их количество постоянно растёт.
Ярким новшеством стало появление полностью интерактивной и доступной инженерам медиастены в центре помещения. На ней выведены макропоказатели по нескольким сотням индикаторов, которые теперь объединены в единое общее информационное пространство с системами на рабочих местах сотрудников. В общей сложности на площадке в один момент времени находятся в работе 90 экранов с разрешением 4К!
Ярким новшеством стало появление полностью интерактивной и доступной инженерам медиастены в центре помещения. На ней выведены макропоказатели по нескольким сотням индикаторов, которые теперь объединены в единое общее информационное пространство с системами на рабочих местах сотрудников. В общей сложности на площадке в один момент времени находятся в работе 90 экранов с разрешением 4К!
“
750 млн пикселей отображают информацию о состоянии сетевых устройств компании каждый день.
— Василий, какие перспективы существуют у Центра мониторинга и управления сетью?
— Современный мир не стоит на месте. Каждый день происходят открытия, которые меняют нашу жизнь. Формат центра позволяет ему быстро адаптироваться к любым технологическим вызовам. В компании внедряются продукты и услуги, которые требуют принципиально новых подходов. Например, мониторинг видеопотоков домофонии и видеонаблюдения с таргетированным алертингом спецслужб или владельцев услуги — это потенциально огромный рынок с большим количеством потребителей. Для успешного выполнения таких задач потребуются серьёзные инвестиции в развитие системы искусственного интеллекта и развитие собственных компетенций в области нейросетей. Это лишь одна из многих актуальных точек роста.
— Современный мир не стоит на месте. Каждый день происходят открытия, которые меняют нашу жизнь. Формат центра позволяет ему быстро адаптироваться к любым технологическим вызовам. В компании внедряются продукты и услуги, которые требуют принципиально новых подходов. Например, мониторинг видеопотоков домофонии и видеонаблюдения с таргетированным алертингом спецслужб или владельцев услуги — это потенциально огромный рынок с большим количеством потребителей. Для успешного выполнения таких задач потребуются серьёзные инвестиции в развитие системы искусственного интеллекта и развитие собственных компетенций в области нейросетей. Это лишь одна из многих актуальных точек роста.
Мнения о проекте
- Сергей Оняноввице-президент по техническому сервису и эксплуатации сетиСчитаю, что проект выполнен профессионально, в срок и, что немаловажно, с экономией бюджета. Благодарю всех, кто в нём принимал участие, и желаю коллективу ЦУМС дальнейших успехов в организации работы и повышении эффективности бизнес-процессов в стенах уже нового центра!
- Константин Савчукдиректор по операционной эффективности и управлению трансформациейРостелеком трансформируется, и программа ЦУМС – яркий тому пример. Объединённые целью создать современный Центр управления и мониторинга сети, начиная с марта 2022 г., девять проектных команд трудились и продолжают строить технологическое будущее нашей компании. Поздравляю коллег с успешной реализацией проекта!
- Татьяна Воробьёваруководитель программы ЦУМС —
директор проектов Подразделения по операционной эффективности и управлению трансформациейПроект строительства ЦУМС в Краснодаре является частью большой Программы проектов, в которую входит строительство двух георезервируемых ЦУМС, проекты трансформации ИТ-ландшафта и модернизации серверной инфраструктуры. За 10 месяцев благодаря слаженной работе нам удалось спроектировать и воплотить в жизнь концепцию современного NOC. Сервисный дашборд и ЦУМС Запад – первые успешные ласточки! Благодарю команду за профессионализм, готовность идти дальше стандартных решений и несгибаемую волю к достижению результата! - Ярослав Малыгинруководитель проекта ЦУМС Краснодар —
руководитель проектов Центра управления и мониторинга сетиПроект строительства ЦУМС — начало большого пути, который коллективу ещё предстоит пройти. Инфраструктура, которую мы по итогам проекта передаём в эксплуатацию, — залог дальнейшего развития системы мониторинга и управления сетью, а также визуализации аварийности на сети. Благодарю руководство за поддержку, административно-хозяйственный блок — за оперативность и внимательность к нашим требованиям, а коллектив — за вовлечённость! - Наталья Аноринаначальник административно-хозяйственного управления, Краснодарский филиалНестандартные задачи, масштабный проект, незабываемые эмоции после его открытия… Именно таким для административно-хозяйственного блока Краснодарского филиала стал запуск первого современного центра управления и мониторинга сети. За очень короткий срок нам удалось максимально использовать пространство для комфортного размещения 160 рабочих мест и оборудования в формате open space с учётом суточного графика работы. Благодарю за бесценный опыт!
