№ 35 (4025) от 3 сентября 2010:

• "Улицы и аллеи Дубны"
• Чтобы узел не стал удавкой
• "Это наша с тобой биография"
• Школа инновационного предпринимательства в Дубне
• Все, или почти все о гриде: в Дубне, в России, в мире
• К 100-летию М.Г.Мещерякова
• ОИЯИ - ЮАР: расстояние сокращается
• Выбирайте Дубну!
• Счетчики: давайте посчитаем!
• Новые лики города
• О воде Иваньковского водохранилища
• Лихорадка Западного Нила
• Приглашает универсальная библиотека имени Д.И.Блохинцева
• НОВОСТИ

Версия № 35 в формате pdf

Проекты XXI века

Все, или почти все о гриде: в Дубне, в России, в мире

(Продолжение. Начало в № 33, 34.)

Пленарные доклады второго дня конференции традиционно были посвящены вопросам организации и работы грид-инфраструктур в разных организациях и странах. Текущее состояние и результаты деятельности в области грид-технологий в ЛИТ ОИЯИ были представлены в докладе В.В.Коренькова. Грид-инфраструктура ОИЯИ - наиболее эффективно работающая в консорциуме РДИГ. В докладе подробно представлены развитие и модернизация грид-сайта ОИЯИ, детально изложено участие ОИЯИ в международных грид-проектах WLCG, EGEE и в проекте ГридННС. Особое внимание было уделено развитию сотрудничества в области грид-технологий со странами-участницами ОИЯИ.

В докладе Г.Астсатряна, В.Саакяна и Ю.Шукуряна (Институт проблем информатики и автоматизации Национальной академии наук Армении) представлен национальный грид Армении (ArmNGI). Сегодня в грид-инфраструктуру Армении включены семь грид-сайтов ведущих научно-исследовательских институтов НАН и университетов Армении. Создана национальная виртуальная организация ARMGRID. GRID.AM.

Грид-инфраструктура Межведомственного суперкомпьютерного центра РАН для суперкомпьютерных приложений была представлена в докладе Г.И.Савина, В.В.Корнеева, Б.М.Шабанова, П.Н.Телегина, Д.В.Семенова, А.В.Киселева, А.В.Баранова, О.И.Вдовикина, О.С.Аладышева и А.П.Овсяникова.

В докладе М.Дулеа (Национальный институт физики и ядерной технологии имени Х.Хулубея (Румыния) была представлена румынская национальная грид-инфраструктура и пути ее дальнейшего развития в рамках проекта "National Grid for Physics and Related Areas (GriNFiC)". Докладчик отметил плодотворное сотрудничество с Лабораторией информационных технологий ОИЯИ.

Историю и концепцию создания национальной грид-сети Беларуси представил заместитель генерального директора Объединенного института проблем информатики Национальной академии наук Беларуси С.В.Медведев. Первые шаги в этом направлении были сделаны в 2004 году: сотрудники ОИПИ провели первые экспериментальные работы по подключению суперкомпьютерной системы СКИФ К-500 в проект LCG, который предусматривал обработку и анализ экспериментальных данных, полученных с установки LHC с использованием грид-технологий. Докладчик остановился на выполнении базовых направлений программы "СКИФ-ГРИД": грид-технологии для распределенных и мультипроцессорных вычислений; технологии защиты, включая технологии управления доступом, сертификации пользователей и защиты передачи данных; суперкомпьютерные технологии; приложения на развернутых грид-сегментах.

В докладе О.Дулова (Германия) была представлена инфраструктура D-Grid, объединяющая 25 проектов, финансируемых федеральным правительством Германии. Партнерами этой инициативы являются 120 институтов и университетов Германии. Цель проекта - построение стандартного грид-сайта на базе открытого программного обеспечения с элементами виртуализации.

Вопросам разработки программного обеспечения, облегчающего разработку и объединение разных компонентов в "облако" в Софийском университете, был посвящен доклад Р.Желева.

С 2006 года ОИЯИ и российские центры принимают участие в проекте WLCG (Worldwide LHC Computing Grid - создание глобальной инфраструктуры региональных центров для обработки, хранения и анализа данных экспериментов на LHC в ЦЕРН). LHC является сегодня ключевым проектом в физике высоких энергий мирового масштаба, а сообщество физиков - самым крупным потребителем как ресурсов РДИГ, так и всей грид-инфраструктуры. На Большом адронном коллайдере уже запущены четыре основных эксперимента с уникальными детекторами. Это эксперимент по физике тяжелых ионов ALICE, два многоцелевых протон-протонных эксперимента ATLAS и CMS и эксперимент LHCb, основная задача которого - исследование физики b-кварков.

Только в рамках грид-концепции возможна эффективная работа такого сообщества физиков в реальном времени. Грид - это единственное эффективное средство управления огромными объемами и потоками данных (тысячи Гигабайт ежедневно), которые распределяются и обрабатываются практически во всем мире участвующими в экспериментах международными научными коллективами. Только они позволяют параллельно использовать компьютерные сети университетов и лабораторий во всем мире для крайне ресурсоемкой задачи анализа огромных потоков исходных данных.

По-существу, грид был задуман именно для такой работы. Реальная работа в созданной грид-среде позволяет сделать уже некоторые обобщения, выводы и наметить пути дальнейшего развития. Программным комитетом были отобраны пленарные доклады, связанные с грид-компьютингом для экспериментов на LHC: Г.С.Шабратова (ОИЯИ, от имени коллаборации ALICE) - "Эксплуатация ALICE-грида", П.Креузер (ЦЕРН, от имени коллаборации CMS Computing Project) - "Опыт CMS компьютинга в грид-среде с момента набора данных на LHC". В этих докладах основное внимание было уделено конкретным результатам реальной работы по анализу экспериментальных данных, полученных на этапе пуска ускорителя. Показана функциональность созданной инфраструктуры и проанализированы результаты ее работы. Отмечено, что уже первые результаты подтвердили правильность выбранной модели компьютинга для экспериментов, основанной на грид-технологии.

Грид-технологии традиционно сосредоточиваются на вычислениях и обработке данных, хранящихся в файлах, распределенных между участниками международных коллабораций или виртуальных организаций. В применении к современной физике элементарных частиц необходимо учитывать еще один способ хранения информации: распределенные реляционные базы данных. В докладе А.Ваняшина (эксперимент ATLAS, Аргоннская национальная лаборатория) сделан обзор применения таких баз данных в грид-инфраструктурах в контексте экспериментов на LHC.

В дополнение к существующим коммерческим решениям, представляемым компанией ORACLE, сотрудники ЦЕРН и участники экспериментов разработали ряд специфических подходов, оптимизированных для различных вариантов использования. Такие пакеты, как POOL, COOL и CORAL, созданные в ЦЕРН, используются практически во всех экспериментах на LHC. Особое внимание в докладе уделено решениям, разработанным в экспериментах АТLАS и CМS, в частности, подходам к масштабируемости использования баз данных в грид-среде. В завершение докладчик предложил ряд направлений по более эффективному использованию и развитию технологий реляционных баз данных для экспериментов на LHC. Наиболее вероятным из них он считает решение проблемы целостности данных с помощью перехода к хранению результатов не в традиционных для физики высоких энергий файлах, а в более привычных для других вычислительно-интенсивных наук базах данных.

Вопросу управления распределенными базами данных в грид-среде с целью их применения для координации сложными проектами был посвящен доклад И. Василе и его коллег (Румыния).

В течение последнего десятилетия для многих проектов разработаны различные решения на базе грид-технологий. Одним из первых таких решений считается пакет промежуточного программного обеспечения ARC, изначально предложенный скандинавским проектом NorduGrid. Доклад О.Г.Смирновой (NDGF и Университет Лунда) содержал обзор последнего выпуска ARC. По-прежнему, базируясь на традиционных технологиях, восходящих к ранним версиям пакета Globus, новая версия ARC включает в себя инновационные компоненты, не уступающие по функциональным параметрам предыдущим решениям и превосходящие их в гибкости и масштабируемости. Наиболее привлекательным аспектом представляется использование стандартных интернет-технологий, что значительно расширяет область применения грид в плане поддерживаемых операционных систем.

Новые компоненты ARC доступны не только для различных систем на базе ядра Linux, но также для SUN Solaris, Microsoft Windows и Mac OS X. Будучи одним из ведущих решений в области грид-технологий в Европе, ARC, наряду с gLite и UNICORE, входит в число поставщиков программного обеспечения для нового европейского проекта EGI-InSPIRE, ставящего своей целью создание европейской грид-инфраструктуры, базирующейся на национальных. Для преодоления различий между разными подпрограммными пакетами и выработки объединенного европейского подхода к решению проблемы распределенных вычислений создан также и проект EMI, объединяющий ARC, gLite, UNICORE и dCache. Таким образом, ближайшее развитие ARC неразрывно связано с прогрессом других европейских решений в области грид, упрощающих задачу обслуживания разнородных вычислительных мощностей.

В докладе М.Сапунова (Франция) было представлено дальнейшее развитие и современное состояние проекта DIRAC, который ранее был разработан для эксперимента LHCb в ЦЕРН, а теперь получил дальнейшее применение. Высокоуровневые сервисы и модульная структура программного обеспечения делают его легко реализуемым общим решением для построения распределенных вычислительных систем и обеспечивают прозрачный доступ ко всем доступным вычислительным ресурсам. В числе пользователей, которые стали применять DIRAC для организации распределенных вычислений, были приведены EELA (европейско-латиноамериканский грид), коллаборация ILC в ЦЕРН/DESY, эксперимент Belle в KEK.

Результаты, полученные с использованием грид-инфраструктур, стимулируют пользователей, разработчиков приложений и операторов различных сервисных систем, к расширению вычислительных возможностей за счет дешевых ресурсов рабочих станций. Этим вопросам был посвящен доклад Р.Ловаша (Венгрия), представившего проект DEGISCO. Цель этого проекта - поддержка и расширение гридов рабочих станций для получения дополнительных вычислительных ресурсов научно-исследовательскими организациями и связи их с гридами для научных исследований (EGI и др.).

В настоящее время существует два основных типа грид-систем: сервисные гриды (например EGEE) и гриды рабочих станций (например BOINC или XTremeWeb). До недавнего времени приложения, предназначенные для одного типа гридов, не могли выполняться на другом типе грид-инфраструктур. В рамках европейского проекта EDGeS был разработан интерфейс для объединения двух этих типов. Результатом проекта EDGeS стало создание мощной вычислительной инфраструктуры, объединяющей более 100.000 компьютеров. На данный момент эти компьютерные ресурсы интегрированы в европейскую инфраструктуру EGEE и доступны в рамках виртуальной организации EDGeS VO. Проект DEGISCO, который стартовал в начале этого лета, опирается на достижения проекта EDGeS. Он направлен на дальнейшее расширение распределенной инфраструктуры EDGeS за счет вовлечения в нее новых партнеров из исследовательских и образовательных организаций России и других стран. С этой целью в рамках конференции был проведен тренинг для участников конференции.

Участники тренинга приобрели знания и выполнили практические задания по грид-технологиям для рабочих станций, технологиям обеспечения интероперабельности, методологии разработки приложений, существующим инструментам и прикладным программам. Особое внимание было уделено различным механизмам обеспечения безопасности в сервисных гридах и гридах рабочих станций и подходам к их объединению. Рассматривались методология, различные методы и инструменты, с помощью которых существующие грид-приложения могут быть перенесены в интегрированную инфраструктуру EDGeS, и типичная практика использования инструментария, облегчающего разработку приложений, наряду с примерами самих приложений.

(Окончание следует.)

В.В.ИВАНОВ, директор ЛИТ ОИЯИ, председатель оргкомитета конференции,
Т.А.СТРИЖ, ученый секретарь ЛИТ ОИЯИ,
фото Павла КОЛЕСОВА.