Проекты XXI века
С 30 июня по 4 июля работала III Международная конференция "Распределенные вычисления и Грид-технологии в науке и образовании". Конференция - единственная в России, посвященная вопросам развития и применения Грид-технологий и связанным с ними другим аспектам информационных технологий. Организуемая ЛИТ ОИЯИ уже в третий раз при поддержке Российского фонда фундаментальных исследований, конференция год от года привлекает все больше специалистов. В этом году она собрала более 200 участников из Армении, Азербайджана, Белоруссии, Болгарии, Германии, Грузии, Испании, Казахстана, Молдавии, Польши, России, Румынии, Словакии, США, Узбекистана, Украины, Франции, Чехии, Швейцарии, Швеции, а также ЦЕРН и ОИЯИ. Программа конференции включала не только вопросы, связанные с созданием и эксплуатацией Грид-инфраструктуры и Грид-приложений, но и теоретические и практические аспекты использования распределенных вычислительных сред, распределенной обработки данных и другие. С деятельностью своих фирм участников конференции познакомили представители компаний-спонсоров - "Т-платформы", "Ниагара", "EtegroTech.", IBM.
Приветствуя участников конференции, вице-директор ОИЯИ М.Г.Иткис подчеркнул, что она посвящена одному из наиболее важных направлений деятельности Института. В своем докладе "Научная политика ОИЯИ" он рассказал, в том числе, и о развитии телекоммуникационных каналов Института, пропускную способность которых планируется довести к 2015 году до 100 Гб/сек.
В докладе "Текущий статус центрального информационно-вычислительного комплекса" директор ЛИТ В.В.Иванов обрисовал не только современное состояние дел, но и показал стратегические направления развития комплекса, Грид-сегмента и всей лаборатории в соответствии с "дорожной картой" Института.
Узнать обо всем, что обсуждалось на пленарных и секционных заседаниях конференции, наверное, будет интересно и полезно только специалистам, а для наших читателей - интервью с несколькими участниками.
Ю.Ф.Рябов (ПИЯФ, Гатчина): Гридом я занимаюсь уже семь лет, участвую в эксперименте ATLAS, с моим участием создавалась телекоммуникационная сеть, объединяющая все академические институты Санкт-Петербурга. Я был участником всех трех конференций, организованных ЛИТ, и отмечаю их явный рост: появляется больше работ, связанных с различными приложениями, дается более глубокий анализ технологий, всех их плюсов и минусов. Приятно, что все больше молодежи участвует в этих конференциях, особенно с учетом ее нынешнего дефицита в науке, причем, здесь они не просто слушают, а активно участвуют в дискуссиях. Все это позволяет мне с оптимизмом смотреть в будущее.
Такие конференции позволяют интегрироваться не только академическому, а более широкому сообществу. Ведь это проблема - понять друг друга людям из науки и промышленности, но ее необходимо решать для того, чтобы, в конечном итоге, расширить применение Грид. И как раз здесь и рассматриваются самые интересные и актуальные задачи: вопросы использования и передачи данных, адаптации Грид под конкретные экспериментальные данные или технические ресурсы, поскольку это система уже перешла из состояния теоретических разработок в фазу практического применения.
Сейчас мы участвуем в российском консорциуме RDIG, в котором ЛИТ играет ведущую роль. Масштаб RDIG растет, сейчас он уже составляет девять процентов мировой мощности Грид, и будет в ближайшее время расширяться еще. Ну, а вообще с ЛИТ я связан практически всю мою жизнь: в свое время мы перенимали опыт ЛВТА, сотрудничали с М.Г.Мещеряковым, Н.Н.Говорун был моим другом.
А.В.Богданов (Институт высокопроизводительных вычислений и интегрируемых систем, Санкт-Петербург): Я представитель вычислительного Грида (production-Grid), которого сейчас практически нет в России, но при этом российские специалисты работают в европейских и американских командах. Это более сложное направление, требующее более серьезного инструментария. Перед ЦЕРН сейчас стоит задача попытаться создать систему, полезную не только этому центру, но и всему человечеству.
Я участвую в европейском проекте по предупреждению чрезвычайных ситуаций CROSSGRID. Он был организован после наводнений 2001 года в Европе, когда там пострадали тысячи людей. Через два года ситуация повторилась, но пострадавших оказалось только 20 человек. Понятно, что и люди стали по-другому, более дисциплинированно реагировать на предупреждения в таких ситуациях, но в этом есть и наша заслуга. Наша группа, все российские специалисты, сделала систему динамического распределения ресурсов, очень важную компоненту проекта.
Второй, достаточно интересный проект, в котором я участвовал как специалист по обработке больших массивов данных, - это определение вторичных признаков СПИДа. Выявлен определенный набор параметров, когда человек может в определенных условиях заразиться, но может быть и такой набор, при наличии которого в принципе заболеть нельзя. Чтобы сделать такие выводы огромная масса людей обследовалась по очень многим параметрам. Мы обрабатывали данные и выявляли группы людей, которые подвержены риску заболеть. Вообще в биологических науках сейчас наблюдается самый большой рост исследований, моделирование новых лекарств - направление, требующее гигантских вычислительных ресурсов, особенно при моделировании химических процессов на клеточном уровне. А в физике высоких энергий он пропорционален росту вложенных денег.
В Санкт-Петербурге сейчас развиты два вида промышленности: судостроение и пивоварение. В судостроении есть опыт, какие-то наработки, но это все разрозненно по отдельным предприятиям и КБ. Из-за этого проектирование продолжается недопустимо долго - три года, в результате, много заказов теряем, а могли бы обеспечить треть потребностей рынка военных судов. Мы пытаемся создать судостроительный Грид, чтобы время проектирования сократилось хотя бы до года.
Очень хорошо, что здесь организуются такие конференции. Должно быть место, где встречаются люди, занимающиеся вычислительными науками. И другого места в России, кроме Дубны, я не знаю. И хотя здесь доминируют физики, мне здесь интересно, например, узнал об интересном проекте NORDUGRID. В.В.Кореньков и его коллеги делают очень хорошее и нужное дело, собирая здесь людей, занимающихся распределенными вычислениями и Гридом. Трагедия наших ученых сегодня в том, что каждый находит какую-то экологическую нишу, из которой потом и не вылезает. Россия сегодня - самая консервативная, в смысле новых начинаний, страна, на Западе быстро появляются новые вычислительные науки. Я еще в 1989 году написал статью "Дистанционное образование на суперкомпьютерах", сейчас на Западе Грид вовсю используется для образования и самообразования. На этой конференции тоже присутствует образовательный аспект, это важно и я очень благодарен организаторам за это.
Х.Хофманн (ЦЕРН): Если полвека назад профессор со своими студентами мог придумать и реализовать любой эксперимент, то сегодня эксперименты в области физики частиц, где я работаю, реализуют десятки или сотни специалистов, которые вынуждены объединяться. Сам предмет исследований настолько сложен, что требуются усилия многих групп физиков, разобщенных территориально. Мы и развиваем последние 10-15 лет Грид-инфраструктуру, позволяющую сотрудничать специалистам, разделенным тысячами километров. Получается даже так: я знаю людей, живущих очень далеко от меня, гораздо лучше, чем соседей по дому, поскольку постоянно общаюсь с ними с помощью видеоконференций и электронной почты. А Грид позволяет всем ученым анализировать данные, полученные где-то, на каком-то компьютере экспериментальной установки.
Грид-инфраструктура помогает нам самим ежедневно решать наши проблемы: мы можем сформулировать задачу, Грид отправит ее для решения, например, в США, если там не хватит необходимых свободных вычислительных ресурсов, она отправится в Японию или еще куда-нибудь, но на утро следующего дня мы в Германии получим решенную задачу. Причем, все эти перемещения будут производиться автоматически, без нашего участия и даже ведома. Такая кооперация очень полезна и в других областях знаний, с использованием аналогичной, но адаптированной под решение их задач, инфраструктуры.
Физика частиц - открытая область науки, здесь нет никаких секретов, и мы настаиваем на том, чтобы все научные статьи в ней были доступны на бесплатных web-сайтах. Это касается и результатов, полученных в других, таких же открытых областях знаний. Такая открытость и доступность - залог успеха любой науки. Мне кажется, будет полезным для всех преобразование научно-исследовательских лабораторий в web-лаборатории.
Когда-то Александр Македонский собрал все знания своего времени в одном месте - Александрийской библиотеке. Замечательная идея, но чтобы получить к ним доступ, необходимо было приехать в Александрию. Наша идея - создать web-библиотеку знаний, доступных всем, имеющим компьютер, который и делает этот путь к знаниям легким и быстрым. В Западной Европе эта идея, практически, уже реализована, но в России все требует времени и вложений. Здесь работают блестящие ученые, хотелось бы сотрудничать с ними, использовать совместно какие-то наработки, добывать новые знания.
А.П.Афанасьев (Институт системного анализа, Москва): Физики для нас - поставщики крупных задач математического моделирования. Нам интересно, как правильно и корректно смоделировать сложную задачу, а потом обсчитывать ее, проверяя адекватность моделирования. Та вычислительная среда, которая здесь очень активна, близка физикам, но нам также интересна ее активность. Чем сильнее она развивается, тем больше поставляет нам интересных математических задач, поэтому и в таких конференциях мы участвуем с удовольствием.
Математики исследуют поставленную задачу, а физики с помощью этой задачи - окружающий мир. Но при этом отношение к выбору метода решения задачи у нас разное: физик больше давит на позитив, может отбросить не удовлетворяющие его модель решения, а математик закапывается в формализме. Но не дай бог, мы придем к согласию, тогда всему конец, а каждый должен хорошо делать свое дело. Хочу пожелать сотрудникам ОИЯИ двигаться в том же направлении, пусть и в будущем здесь собираются интересные люди, дискутируют и постигают мир!
О.Смирнова (Университет г. Лунд, Швеция): Главное впечатление от конференции - от общения с людьми, услышала очень много интересных докладов. Особенно интересным мне показался российско-белорусский проект СКИФ. Грид в Белоруссии только начинается, но за этими разработками интересно следить. Сама я занимаюсь физикой частиц, участвую в эксперименте ATLAS в ЦЕРН, это обработка огромного объема данных пока на симулированных событиях, надеемся, скоро - и на реальных. Она требует огромных вычислительных ресурсов и сложных информационных технологий, соответствующих квалифицированных специалистов, без участия которых эксперимент не состоится. Поэтому, пытаясь по мере сил помочь в этом эксперименту, в последнее время я сосредоточилась на Гриде.
Так получилось, что, изучив несколько лет назад существующие технологии, мы поняли, что ничего, удовлетворяющего нас, нет. Тогда наша команда, в которую входят представители скандинавских стран, Венгрии, Литвы, выработала идею как нам лучше применить Грид-технологии. Так и возник наш проект NORDUGRID, доклад по которому я здесь делала. Он уже работает в эксперименте ATLAS. На конференции я общалась с участниками, которым хотелось бы иметь нечто, похожее на NORDUGRID, причем с применением не обязательно в физике.
В Гриде существует одна проблема, о которой я всегда говорю и не могу не повторить еще раз, - проблема стандартизации. Поскольку его начали разрабатывать многие и все по-разному, то сейчас, пока еще не поздно, необходимо договориться об одинаковых подходах и стандартах.
А.Царегородцев (Центр физики частиц, Марсель, Франция): Я по образованию физик, но сейчас занимаюсь компьютингом для обеспечения физиков. Часто профессиональные компьютерщики с трудом находят общий язык с физиками, но поскольку мы работаем для физиков, все должно быть нацелено на то, чтобы они получили удовлетворяющий их требованиям продукт. Ставят задачу и определяют условия физики, компьютерщики и инженеры должны их выполнять. А такие как я, вышедшие из физиков, осуществляют этот мостик между теми и другими.
В этих конференциях я участвую впервые, и очень приятно, что крупномасштабный распределенный компьютинг пускает корни в России. Лет пять назад это было бы совершенно невероятно, поскольку для осуществления подобного в стране нужен определенный задел. Так что, услышанное и увиденное здесь стало для меня приятным если не сюрпризом, то фактом.
ЛИТ активно участвует в мировом Гриде, но пока они ведомые, не решаются взять инициативу в разработках в свои руки, что, в общем-то, понятно. Большие системы требуют вовлечения больших денег, а физики могут их получать с трудом. Здесь тоже нужен свой управленческий опыт, который постепенно накапливается, поскольку финансирование физики в России становится все более существенным, это реализуется в новых установках, экспериментах и так далее, и на мировой карте Россия уже не выглядит так бледно, как несколько лет назад.
Грид - система мирового масштаба, и нельзя участвовать в ней и не иметь мировых амбиций. Нужно смотреть вперед, какие решения могут быть найдены, чтобы что-то улучшить, оптимизировать, поскольку система эта еще не устоявшаяся, как, например, Интернет, и проблем в ней очень много. Но когда-нибудь Грид станет таким же удобным и незаметным в эксплуатации, как Интернет - сегодня. Все будет отлажено, будет работать как часы, ну а пока Грид от этого еще далек, и остается широкое поле деятельности для российских физиков, и биологов, и инженеров, и других специалистов.
А.Соколов (директор направления кластерных систем "Ниагара Компьютерс", Москва): Наша фирма специализируется на поставках серверного оборудования и сотрудничает с ОИЯИ второй год. Это сотрудничество набирает обороты, мы уже поставили некоторое количество оборудования для Грид, удовлетворили потребности на 2008-й год в вычислительных мощностях, сейчас выполняем заказ для увеличения мощностей хранения. Почему нам интересно сотрудничать с ОИЯИ? Являясь представителем американской компании Super Micro Computers, продукция которой так или иначе ориентирована на науку, мы не просто продаем "железо", а предлагаем готовые решения, разработанные инженерами компании. И в Гриде мы участвуем в качестве партнеров.
Наши конкуренты из "Т-платформы" акцентируют внимание на том, что они продают отечественные разработки. Да, мы продаем американскую продукцию, но это продукция признанного мирового лидера в области высокопроизводительных вычислительных систем. В это году, например, был заключен контракт на поставку вычислительных систем в ЦЕРН. И мы рады поставлять российским вычислительным центрам сертифицированные разработки.
В.А.Ильин (НИИЯФ МГУ, Москва): Мы участвуем в большом проекте EGEE, а как члены RDIG с 2003 года сотрудничаем с ЛИТ ОИЯИ. В основном, наша задача состоит в обслуживании экспериментов на LHC, когда коллайдер начнет работать. Мы создаем производственного уровня Грид-инфраструктуру, первую и единственную пока в России. Это продукт национального уровня, воплотивший в себе уникальный опыт. Сейчас мы обеспечиваем сервисом физиков, но наши наработки, несомненно, будут полезны и в других областях науки, инженерии, промышленности, медицине.
Возвращаясь к конференции, скажу, что это один из мощнейших инструментов консолидации, распространения опыта, привлечения новых участников. Раз от разу она становится все более полезной и важной для развития Грида в России. В нее вовлекаются участники из новых регионов России - Тамбов, Ульяновск, Пермь, из других городов. Как ни странно, основной проблемой для нас является не слабое финансирование, а отсутствие кадров. Старшее поколение уходит, к тому же оно достаточно консервативно. Молодые приходят, но их не так много, как хотелось бы. И при небольшом общем притоке, они еще и уходят в коммерцию, хотя мы стараемся обеспечить достойный заработок. Грид - это очень интересная область для тех, кто специализируется в информационных технологиях. В фирмах и банках они будут заниматься более рутинными вещами при более высоких заработках. Стараемся преподавать в разных вузах, в частности, Дубненский университет для нас хорошая база подготовки кадров.
Ольга ТАРАНТИНА,
перевод Марины Аристарховой, фото Юрия Туманова.
Информация для любознательных
Грид (англ. grid - решетка, сеть) - согласованная, открытая и стандартизованная компьютерная среда, которая обеспечивает гибкое, безопасное, скоординированное разделение вычислительных ресурсов и ресурсов хранения информации в рамках виртуальной организации. Грид - географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения. Подробности на русскоязычном Интернет-портале по Грид-технологиям http://www.gridclub.ru.
Российский консорциум РДИГ (Российский грид для интенсивных операций с данными - Russian Data Intensive Grid, RDIG, www.egee-rdig.ru) организован в сентябре 2003 года для создания Грид-инфраструктуры для интенсивных операций с научными данными. Такая инфраструктура необходима для участия российских ученых в экспериментах в физике высоких энергий, в химической физике и биологии, в науках о земле, нанотехнологиях и т.д. Сегодня в инфраструктуре РДИГ работают РНЦ "Курчатовский институт" (Москва), ОИЯИ, ИФВЭ (Протвино), Институт математических проблем биологии (Пущино), ИТЭФ (Москва), Институт прикладной математики (Москва), НИИЯФ МГУ (Москва), ПИЯФ (Гатчина), ИЯИ (Троицк), ФИ РАН (Москва), Санкт-Петербургский государственный университет, МИФИ, Геофизический центр РАН (Москва), Новгородский государственный университет (Великий Новгород) и Институт проблем химической физики (Черноголовка). Консорциум РДИГ входит в структуру EGEE в качестве региональной федерации для обеспечения полномасштабного участия России в этом глобальном проекте.
Проект EGEE (Enabling Grids for E-sciencE, "Развертывание гридов для развития е-науки", http://www.eu-egee.org) - крупнейшая в мире многодисциплинарная Грид-инфраструктура. В мае 2008 года началась третья фаза проекта - EGEE III; она в корне изменит подход к хранению, анализу и совместному использованию данных. Цель EGEE-III - расширение и оптимизация Грид-инфраструктуры. Сейчас она выполняет свыше 150 тыс. задач в сутки от групп пользователей, представляющих такие разные научные области, как, например, биомедицинскую тематику и ядерный синтез. EGEE-III софинансируется Европейской комиссией; он объединяет свыше 120 организаций, чтобы создать надежные и способные к расширению вычислительные ресурсы, доступные европейскому и мировому научному сообществу. Сейчас в EGEE-III участвуют 250 сайтов в 48 странах и свыше 60 тыс. ЦПУ; объем хранения информации - 20 Петабайт. Эти ресурсы доступны круглосуточно и 7 дней в неделю приблизительно 8000 пользователей.
