Проекты XXI века

Проблема продолжения сотрудничества российских институтов в проектах на LHC после запуска ускорителя (в 2005 году) и экспериментальных установок напрямую связана с необходимостью создания условий для обработки и анализа экспериментальной информации непосредственно в России. Именно поэтому российские институты с 1999 года начали работу над совместным проектом в этом направлении. В Научно-координационный совет данного проекта входят от ОИЯИ: вице-директор Института профессор А. Н. Сисакян и заместитель директора ЛИТ В. В. Кореньков. Весной этого года для координации российских усилий была создана объединенная рабочая группа Россия – ЦЕРН по компьютингу и математическому обеспечению для LHC. В составе этой группы работают сотрудники ОИЯИ В. В. Кореньков, В. В. Мицын, Е. А. Тихоненко. С просьбой рассказать об участии ОИЯИ в этой важной работе мы обратились к заместителю директора ЛИТ В. В. Коренькову и сотруднику ЛИТ Е. А. Тихоненко.

ОИЯИ на протяжении уже нескольких лет является активным участником трех проектов на LHC: ALICE, ATLAS и CMS. Более 200 сотрудников Института занимаются проектированием и изготовлением детекторов, участвуют в физических исследованиях и разработке программного обеспечения для этих установок. Российское правительство, выражая высокую заинтересованность в сотрудничестве России с ЦЕРН, осуществляет прямое финансирование деятельности российских специалистов в ускорительной и экспериментальной программах LHC. За годы сотрудничества вложены значительные средства, затрачен труд множества квалифицированных специалистов и теперь, когда близится завершение строительства ускорителя и экспериментальных установок, важнейшим моментом является обеспечение дальнейшего полноценного участия российских и, соответственно, дубненских ученых в экспериментах на LHC после запуска ускорителя, что возможно лишь при достаточно полной поддержке компьютинга LHC в России.

Организация процесса обработки и анализа данных с LHC, несомненно, является наиболее крупным информационно-вычислительным проектом в мире на ближайшие годы, поскольку возникнет необходимость производить многоуровневую обработку данных общим объемом несколько Петабайт в год (1 Петабайт = 1015 байт), а также обеспечить прозрачный и быстрый доступ к этим данным большого количества специалистов из разных стран мира. Можно без преувеличения сказать, что эра LHC привнесет беспрецедентные изменения в компьютинге вследствие неслыханного масштаба накапливаемых и подлежащих обработке и анализу данных, сложности самих экспериментальных установок, в также широкой географии сотрудничества: несколько тысяч ученых из 150 научных организаций 32 стран мира принимают участие в проектах на LHC.

В течение двух последних лет в ЦЕРН рассматривались различные модели организации компьютинга для LHC. В частности, международный проект MONARC (Models of Networked Analysis at Regional Centres for LHC Experiments) выработал рекомендации по построению информационно-вычислительных комплексов для обработки и анализа данных с LHC. На данный момент коллаборациями ALICE, ATLAS, CMS и LHCb принята модель, в которой основными структурными элементами в организации вычислений для LHC будут региональные центры разного уровня, поскольку по ряду причин нецелесообразна (более того, практически невозможна) концентрация полного объема вычислительных и архивных ресурсов непосредственно в CERN.

Если в ближайшие несколько лет в России не будет проведена определенная работа по созданию подобного регионального центра, то уже нельзя будет говорить о полноценном участии отечественных ученых и научных организаций в проектах на LHC. И это не преувеличение, а еще не всеми осознанная реальность. Учитывая критическую важность момента и понимая необходимость начать действовать именно сейчас, когда в ЦЕРН принимаются решения о создании региональных вычислительных центров для LHC, специалисты ряда российских институтов, участвующих в проектах на LHC, создали совместный проект "Российский информационно-вычислительный комплекс для обработки и анализа данных экспериментов на Большом адронном коллайдере" (РИВК-БАК). Проект был разработан в соответствии с Меморандумом о создании РИВК-БАК, подписанным директорами ведущих российских физических институтов-участников LHC: ГНЦ ИФВЭ, ГНЦ ИТЭФ, ИОЯФ РНЦ КИ, ИЯИ РАН, ИЯФ СО РАН, МИФИ, НИИЯФ МГУ, ОИЯИ, ОЯФА ФИ РАН и ПИЯФ РАН.

Цель проекта – создание в России регионального комплекса для обработки данных экспериментов на LHC. Проект рассчитан на период до 2006 года. На начальном этапе (до 2002 г.) планируется разработка концепции комплекса и создание его прототипа. Для организации работ в рамках Министерства промышленности, науки и технологий был образован научно-координационный совет РИВК-БАК из 20 представителей институтов, участвующих в проекте. Специалисты ОИЯИ принимали активнейшее участие в формировании проекта. Для проведения работ были сформированы рабочие группы по направлениям деятельности: созданию ферм и кластеров персональных компьютеров; архивированию данных; развитию региональной сети РИВК-БАК и организации канала связи с ЦЕРН, а также по сопровождению унифицированного программного обеспечения. В состав рабочих групп вошли девять сотрудников ОИЯИ, а группой по архивированию данных руководит сотрудник ЛИТ В. В. Мицын. С конца 1999 года рабочие группы начали свою деятельность. За период менее года в ИТЭФ, ИФВЭ, НИЯФ МГУ и ОИЯИ были созданы фермы персональных компьютеров, ориентированные на LHC. Таким образом, положено начало для отработки прототипа российского регионального центра.

Очень остро сегодня стоит проблема отсутствия быстрой связи российских институтов с ЦЕРН. Что касается нашего Института, то к концу текущего года в партнерстве с государственным предприятием "Космическая связь" планируется реализовать канал Дубна - Москва с пропускной способностью 155 Мб/сек. ОИЯИ сможет использовать до 65 Мб/сек емкости этого канала для решения задачи сооружения высокоскоростного канала между ОИЯИ и Московской опорной сетью. В результате окажется возможным совместить различные виды трафика (данные, графика, видео, аудио) с гарантированным качеством обслуживания. При этом будет обеспечена более эффективная интеграция ОИЯИ с московскими ядерно-физическими институтами и в рамках проекта РИВК-БАК.

Проблему существенного расширения международного канала для организаций науки и высшей школы можно решить только с помощью международных и национальных программ. Наш главный партнер в национальной сетевой программе – Российский научно-исследовательский институт развития общественных сетей (РосНИИРОС). ОИЯИ и РосНИИРОС подписали договор о создании узла RBNET в Дубне на базе ОИЯИ в 1996 году, а с 1999 года сеть RBNET предоставляет нам услуги по доступу в INTERNET. В настоящий момент происходят изменения в системе внешних каналов RBNET: c сентября емкость международного канала увеличится до 16 Мб/сек. (через канал Ростелеком), а с ноября этого года - до 45 Мб/сек. Соответственно будет пересмотрен договор ОИЯИ и РосНИИРОС. Предполагается, что гарантированная емкость для ОИЯИ в международном канале увеличится в диапазоне от 2 до 4 Мб/сек. Дальнейшие перспективы развития международных телекоммуникаций ОИЯИ связаны с развитием в России системы международных каналов для науки и образования, в том числе подключения России к европейской сети науки и высшей школы TEN-155/622 (т. е. с пропускной способностью от 155 до 622 Мб/сек).

Усилия, предпринятые в России в 1999 - 2000 гг. по организации регионального центра для LHC в России, получили определенное признание в ЦЕРН и послужили основой для создания объединенной рабочей группы Россия-ЦЕРН по компьютингу и математическому обеспечению для LHC. В составе этой группы от России работают девять человек (в том числе три от ОИЯИ). В июле текущего года в ЦЕРН состоялось первое заседание рабочей группы, где ОИЯИ было представлено три доклада: по состоянию сетевых коммуникаций Россия-ЦЕРН, по работе с системой массовой памяти и состоянию компьютинга CMS в России. Важнейшим результатом этого совещания явился тот факт, что ЦЕРН и ДЭЗИ официально заявили о поддержке российских усилий по организации сетевой связи c ЦЕРН, в том числе о подключении российских институтов к каналу TEN-155. Сейчас формируется документ о создании высокоскоростной связи Россия - Европа для науки и высшей школы, который будет подписан дирекциями ЦЕРН и ДЕЗИ, руководителями российских институтов и сетевыми провайдерами.

Мне доверили представлять в объединенной рабочей группе поддержку компьютинга CMS в России. Надо сказать, что на протяжении последних 5 лет в ОИЯИ была организована достаточно полная поддержка компьютинга CMS: был создан кластер из трех SUN-станций, программное окружение которого полностью адекватно программной среде CMS SUN-кластера в ЦЕРН; сотрудникам ОИЯИ, участвующим в работах по тематике CMS, были предоставлены необходимые вычислительные и дисковые ресурсы как на SUN-кластере, так и на суперкомпьютере SPP-2000; также оказывалась информационная поддержка CMS в России (web-сервер коллаборации RDMS CMS http://sunct2.jinr.ru).

Теперь перед нами встали новые задачи, решить которые можно только в тесном сотрудничестве с российскими институтами, участвующими в CMS. Начаты работы в сотрудничестве с ЦЕРН. Так например, положительную оценку и признание в ЦЕРН получило участие ИТЭФ и НИИЯФ МГУ в массовой генерации событий для триггера высокого уровня CMS. В сентябре ОИЯИ будет участвовать в таком очередном сеансе массовой генерации событий совместно с российскими, европейскими и американскими физическими центрами. Объем данных, которые будут смоделированы в Росси, составит несколько сот Гигабайт. При этом данные, полученные в Дубне, пока не представляется возможным передать в ЦЕРН по сети, и поэтому придется записать их DLT-ленты. Московские институты часть своих данных также поместят на DLT-лентах, причем запись лент будет произведена из Москвы на DLT-библиотеку в ОИЯИ по уже отлаженной процедуре.

Хотелось бы в нескольких словах охарактеризовать ситуацию в ОИЯИ по фермам персональных компьютеров, поскольку РС-Linux фермы и кластеры должны стать основой вычислительных ресурсов региональных центров для LHC. Еще в 1998 году сотрудниками ЛИТ и ЛФЧ был разработан и реализован под руководством В. В. Коренькова проект по созданию интегрированного вычислительного комплекса на базе персональных ЭВМ для массовой обработки однородной информации. В результате создана первая в ОИЯИ ферма персональных компьютеров (ЛФЧ - ЛВЭ), которая с 1999 года успешно используется для расчетов нескольких физических экспериментов (STAR, EXCHARM, NA48), и планируется ее использование для экспериментов, ориентированных на LHC. К лету текущего года в ОИЯИ были созданы еще 2 фермы: в ЛЯП и ЛИТ, которые будут использоваться для ряда физических экспериментов, в том числе для ALICE, ATLAS и CMS. Общая производительность трех PC-ферм ОИЯИ - 1150 SI95 (SI95 – некоторая интегральная оценка производительности процессора; так например, производительность процессора Intel PIII-500 Мгц оценивается как 20.6 SI95): ферма ЛФЧ-ЛВЭ - 350 SI95; ферма ЛЯП - 420 SI95 и ферма ЛИТ - 380 SI95. (Для сравнения можно сказать, что общая производительность ферм ИТЭФ, ИФВЭ и НИИЯФ МГУ составляет 800 SI95.) Уже на данный момент ОИЯИ располагает определенной базой для проведения различных расчетов и исследований по тематике ALICE, ATLAS и CMS. Наличие в ОИЯИ системы массовой памяти создает возможность тестирования различных моделей работы с большими объемами данных в ОИЯИ, а также отрабатывать технологию коллективного использования массовой памяти с московскими институтами.

Заключая, можно сказать, что организация в России регионального информационно-вычислительного центра для LHC потребует к 2004-2005 гг. больших финансовых вложений, что возможно только на уровне отдельной федеральной программы. Однако отработка прототипа такого центра в России вполне осуществима и при тех довольно скромных ресурсах, которыми сейчас располагают российские институты. Например, в самом ЦЕРН на данный момент общая производительность всех PC-ферм, ориентированных на LHC, всего лишь в 5 раз превышает совокупную производительность LHC PC-ферм российских институтов. Но при этом, конечно, надо помнить о том, что требования к региональным центрам для LHC к 2005 г. очень высоки: сотни тысяч SI95 по производительности, сотни Терабайт дисковой памяти, объемы массовой памяти на роботосистемах - до Петабайт и высокую скорость сетевой связи с ЦЕРН - сотни Мегабит/с. Поэтому от всех заинтересованных сторон, в том числе от дирекции ОИЯИ, требуется вести постоянную работу по изысканию средств на LHC-компьютинг и добиваться поддержки российского правительства. Построить ускоритель и детекторы – очень важная и значимая работа, но если не организовать LHC-компьютинг в России на должном уровне, то российские физики – участники LHC не смогут полноценно участвовать в анализе данных с экспериментов на LHC.