В лабораториях Института

МИВК ОИЯИ: новый уровень развития

17 апреля в Лаборатории информационных технологий имени М.Г.Мещерякова ОИЯИ был завершен очередной этап работ по модернизации Многофункционального информационно-вычислительного комплекса ОИЯИ (МИВК). На этом этапе было обновлено инженерное оборудование, обеспечивающее энергопитание и охлаждение: системы климат-контроля, модули распределения питания.

Был модернизирован модуль №2 и проведена первичная модернизация модуля №1. В этих модулях располагается серверное оборудование и вычислительный кластер Tier-2, который является наиболее производительным в Российском грид-сегменте (Russian Data Intensive Grid - RDIG). Работы были проведены командой ЛИТ под руководством главного инженера лаборатории Андрея Долбилова и главного инженера МИВК Алексея Воронцова.

Модулем принято называть систему изоляции воздушных потоков, которая объединяет два ряда отдельно стоящих стоек с оборудованием посредством потолочной панели и системы раздвижных дверей, за счет чего обеспечивается охлаждение. Таким образом, внутри модуля образуется изолированный холодный коридор; нагретый воздух отводится в общее пространство зала МИВК.

Всего в машинном зале 2-го этажа ЛИТ помимо отдельно стоящих суперкомпью­тера "Говорун" и роботизированных ленточных библиотек IBM TS3500 и IBM TS4500 находится четыре подобных изолированных модуля. Это модуль, обеспечивающий работу вычислительного кластера уровня Tier-1, 1-й и 2-й модули "ответственные" за Tier-2, а также МИВК модуль №4, обеспечивающий работу Tier-2, гетерогенной платформы HybriLIT, облачной инфраструктуры, комплекса информационно-вычислительных ресурсов и хранилища данных EOS. Модуль №4 был создан в 2020 году, он оснащен современным инженерным оборудованием и до модернизации достаточно сильно отличался по инженерным решениям от 1-го и 2-го модулей. Также в машинном зале находятся модуль, в котором размещаются критически важные серверы стандартного типа бизнес-вычислений (административных систем и баз данных и т.д.), и модуль сетевого оборудования, в котором размещаются основные сетевые сервисы для МИВК, локальной и глобальной сетей. В обозримом будущем планируется создание модуля №5, который объединит в себе сетевую инфраструктуру с дополнительными вычислительными ресурсами и системами хранения данных.

Начиная с конца 2024 года была проделана большая работа по совершенствованию инженерной инфраструктуры МИВК. Проводилось необходимое обновление оборудования, обеспечивающего энергопитание и охлаждение вычислительного комплекса. Этот этап модернизации проводился без остановки работы всего активного оборудования и вместе с этим был выполнен оперативно, с малыми потерями времени и работоспособности. Потребовалось проектирование и создание собственных блоков распределения питания (PDM). Эта сложная и объемная работа была с успехом проделана старшим инженером ЛИТ Андреем Евлановым. Сборка, монтаж и подключение PDM для 1-го и 2-го модулей МИВК были проведены в конце 2024 года. Установлены и введены в эксплуатацию шкафы гарантированного питания от источников бесперебойного питания Galaxy 7000, смонтировано по восемь PDM в каждом модуле. Была начата подготовка подключения трехфазного питания к PDM. Позже, в марте-апреле, 1-й и 2-й модули в первую очередь были полностью переведены на трехфазное электропитание.

Вместе с этим в ходе модернизации было решено существенно увеличить размеры модуля №2. Суммарно в модуль было добавлено 10 новых шкафов для оборудования. Для обеспечения эффективного охлаждения обновленной конфигурации модуля было установлено 10 межрядных кондиционеров. В будущем, в ходе следующего этапа модернизации, аналогичные работы запланированы для модуля №1.

Проведение этих работ сопровождалось физическим переносом пяти шкафов с серверами, задействованными в функционировании таких сервисов, как Tier-2 dCache, Tier-2 WN, Main EOS и cvmfs. По этой причине лаборатория должна была заранее объявить даунтайм (от англ. downtime - время простоя) в глобальной грид-инфраструктуре WLCG (Worldwide LHC Computing Grid) в период с 27 по 31 марта для того, чтобы избежать потери запущенных задач пользователей и обеспечить сохранность данных.

"Мощности и электропитания, и охлаждения увеличились приблизительно на 30%, нам удалось значительно повысить их эффективность. Расширение количества стоечных шкафов дало дополнительные возможности в установке нового оборудования и увеличения вычислительной мощности Tier-2 и развития МИВК ОИЯИ в целом", - сообщил Андрей Долбилов.

Работы по совершенствованию инженерной инфраструктуры МИВК проводятся согласно Семилетнему плану развития ОИЯИ на 2024-2030 гг., который, в частности, подразумевает, что емкость хранилища данных и вычислительные мощности для проекта WLCG, который направлен на решение задач, связанных с участием ОИЯИ в экспериментах ЦЕРН, должны увеличиваться ежегодно на 10-20%. Это позволит поддерживать требуемую скорость обработки данных. Проведенная модернизация обеспечивает возможности установки нового оборудования и активного обновления системы, что обеспечит максимально надежную работу всего комплекса МИВК.

"Хочу отметить, огромный объем работ по отключению и извлечению устаревшего оборудования, который был проделан персоналом МИВК. Команда наших молодых инженеров и дежурного персонала работает с огромной самоотдачей и преданностью делу. Они круглый год в режиме 24х7 обеспечивают бесперебойную работу МИВК и вносят огромный вклад в его развитие. В том числе благодаря этим людям наш вычислительный центр играет заметную роль в международном научном сообществе", - подчеркнул Алексей Воронцов.

Напомним, что в январе 2025 г. многоуровневая система хранения и обработки данных суперкомпьютера "Говорун" была расширена на два новых сервера на базе технологии Ruler общей емкостью 2 пета­байта. К настоящему моменту эти сервера введены в эксплуатацию и активно используются для вычислительных задач мегасайенс-проекта NICA. После ввода в эксплуатацию общий объем сверхбыстрой части иерархической системы хранения данных составляет 10,6 петабайта, что существенно сократит общее время выполнения задач суперкомпьютера "Говорун".

По информации ЛИТ