Институт день за днем

Искусственный интеллект: доверенный и безопасный

30 января на общеинститутском семинаре с докладом "Системное программирование и технологии создания доверенных систем (в том числе с искусственным интеллектом)" выступил академик РАН директор Института системного программирования (ИСП РАН) А.И.АВЕТИСЯН.

Семинар вызвал большой интерес у сотрудников Объединенного института.

Открывая первый в этом году общеинститутский семинар, директор ОИЯИ Г.В.Трубников заметил, что это хорошая традиция - приглашать на него знаковых фигур, связанных с наукой, образованием или международными отношениями. "У нас сегодня замечательный гость, мы давно знакомы, - сказал Григорий Владимирович. - Я имею в виду не только наши личные контакты, но и сотрудничество ИСП и Объединенного института. Институт системного программирования - многолетний и надежный партнер в деле выстраивания вычислительных сетей для анализа Больших данных с установок мегасайенс-проектов. Я думаю, нас ждет хорошее будущее, учитывая, какие огромные установки сооружаются в Дубне и странах-партнерах. Мы владеем огромным, свыше 160 петабайт, хранилищем данных. Это счастье - иметь такую инфраструктуру, но ее надо уметь защищать, причем и в смысле достоверности.

Я благодарен Арутюну Ишхановичу за согласие выступить сегодня и за плодотворное, дружеское сотрудничество. А поскольку он - выпускник Ереванского госуниверситета, то наши личные контакты помогают укреплять научные связи с Республикой Армения".

В начале своего выступления докладчик отметил, что современное программное обеспечение быстро растет, усложняется, не бывает изолированным, при этом должно оставаться эффективным, продуктивным и доверенным (в смысле - безопасным). Компании используют для своих продуктов проекты с открытым исходным кодом, которые дорабатывают совместно. В одиночку это сделать невозможно - программное обеспечение (ПО), операционные системы сегодня составляют миллионы строк кода. Крупные компании Intel, IBM, Microsoft проиграли, разрабатывая закрытые компиляторы. Среди облачных технологий лидируют открытые облачные платформы Openstack, OpenNebula, Eycalyptus. Два последних проекта развивались отдельными командами, и поначалу OpenNebula был самым продвинутым и развернут в ЦЕРН. Затем лидерство захватил Openstack, который сразу взял курс на строительство сообщества, объединяя сегодня свыше 400 разработчиков. Докладчик поделился опытом ИСП, в котором была создана среда Asperitas на базе Openstack, получившая в 2024 году от ФСТЭК РФ (Федеральная служба по техническому и экспортному конт­ролю) сертификат соответствия требованиям доверия и требованиям к средствам виртуализации по четвертому уровню. Asperitas стала основой коммерческой платформы ACloud, которая будет использоваться консорциумом КИ - ОИЯИ - ИСП для IТ-обеспечения исследовательской инфраструктуры класса "мегасайенс".

Затронул выступающий и проблему безопасности. Несколько лет назад бытовало мнение, что достаточно "защиты по периметру". Безусловно, отметил А.И.Аветисян, антивирусы нужны, но в начале 2000-х поняли: если система не проектируется правильно с самого начала, если не применяются определенные инструменты анализа кода, то никакого сертификата доверия она не получит. Необходимо обеспечить так называемый жизненный цикл разработки безопасного ПО, причем каждые несколько лет требования к инструментарию наращиваются. В России такой ГОСТ был создан в 2016 году. Ошибки в ПО - основная причина уязвимости систем, грань между "закладкой" и ошибкой программиста стерлась. Докладчик привел впечатляющие примеры ошибок. Библиотека OpenSSL с уязвимостью была выпущена в марте 2012 года, ошибка была обнаружена только спустя два года. За это время полмиллиона сайтов были заражены, а потери составили 500 млн долларов. "Мы гордимся, что стали авторами разработки типового конвейера безопасного ПО. Более 200 компаний, включая компанию "Лаборатория Касперского", используют нашу технологию", - подчеркнул А.И.Аветисян.

Новый вызов - искусственный интеллект (ИИ), который становится дешевле и дешевле, внедряется повсюду и будет внедряться дальше. Последние годы распространяется миф: сильный ИИ нас захватит. "Я всегда говорю: сильного ИИ нет, это миф, это технология без субъектности. Разум ли это вообще?", - задался вопросом докладчик. Слабый ИИ может решать только те задачи, для которых он запрограммирован, он уязвим для предвзятостей и ошибок. Сильный ИИ делает интеллектуальные выводы, использует стратегии, планирует действия, способен к абстрактному мышлению. Он пока не существует. Опасность в том, что ИИ массово внедряется и не контролируется. И здесь тоже важен открытый код! Недавно появившееся DeepSeek R1 китайской компании DeepSeek (открытое решение) значительно дешевле ChatGPT американской компании OpenAI (закрытое решение). Через несколько дней после релиза DeepSeek обогнал ChatGPT по числу загрузок в магазине приложений Apple. Что касается средств разработки ИИ, то здесь тоже есть открытые фреймворки.

Одной из ключевых проблем ИИ остается проблема доверия. Согласно проведенному ВЦИОМ в декабре прошлого года опросу "Доверяете ли вы искусственному интеллекту?", 52% ответили "да". ИИ упрощает жизнь, он объективный и беспристрастный, ему можно передать опасные для человека виды работ и по другим причинам. 38% не доверяют, и это на 6% больше, чем в 2022 году. В качестве аргументов приводятся сбои и ошибки в работе ИИ, возможный выход из-под контро­ля человека, риск утечки собираемых ИИ данных и другое. В нашей национальной стратегии развития искусственного интеллекта на период до 2030 года прямо зафиксировано: "Доверенные технологии искусственного интеллекта - технологии, отвечающие стандартам безопасности, разработанные с учетом принципов объективности, недискриминации, этичности, исключающие при их использовании возможность причинения вреда человеку, …нанесения ущерба интересам общества и государства". В случае ИИ кибербезопасность (проблемы разработки, атаки, закладки и прочее) - только часть доверенности, ее также необходимо обеспечить с социогуманитарной стороны (проблемы честности генеративного ИИ, манипуляция общественным мнением и сознанием отдельного человека и т.д.). А дальше будет хуже - мы не будем понимать, общаемся мы с живыми людьми или нет.

Остановился А.И.Аветисян на источниках угроз в ИИ в плане кибербезопасности - поскольку основная информация содержится не в программном коде, а в данных, они же являются источником угроз. В социогуманитарной сфере угрозы - это дипфейки (аудио и видео), манипуляции людьми с нестабильной психикой. В 2023 году Илон Маск (Tesla и SpaseX) и Стив Возняк (Apple) подписали открытое письмо о необходимости шестимесячного моратория на обучение мощных систем с ИИ. В мире постоянно растет число инициатив по регулированию доверенного (которому мы можем доверять) ИИ, и самые строгие требования к ИИ предъявляются сейчас в Евросоюзе. По этому пути пойдет весь мир, и мы тоже пойдем, считает докладчик. Уже сейчас регулирование в России активно развивается: в 2019 году была обновлена национальная стратегия развития ИИ до 2030 года; в 2021 году получил господдержку Исследовательский центр доверенного искусственного интеллекта ИСП РАН, а Академия криптографии начала формирование научной базы для современных защищенных технологий и систем ИИ, применяемых в государственных информационных системах. В прошлом году при поддержке Минцифры создан Консорциум для исследований безопасности технологий ИИ, в который вошли НТЦ цифровой криптографии, Академия криптографии и ИСП РАН, начали присоединяться компании и университеты. Рассказал докладчик и о работе Исследовательского центра доверенного ИИ ИСП РАН, разработанных в нем программных инструментах для борьбы с угрозами, как кибер, так и социогуманитарными. Рассказал он о новом научном направлении, которое уже имеет практическую реализацию, - так называемое федеративное обучение для обеспечения безопасности, когда обучаться можно в одном из 50 центров, не передавая данные друг другу, а модель собрать, как если бы все эти данные были в одном месте. Вместе с Сеченовским университетом и Яндексом на медицинских данных была продемонстрирована эффективность этого подхода.

Еще одно направление, которое уже юридически закреплено в Евросоюзе и США, - цифровые водяные знаки, которыми обязательно должен быть маркирован генеративный ИИ. Проект по цифровым водяным знакам развивается совместно с Математическим институтом имени В.А.Стеклова. Его цель - обеспечение возможности различать естественные и синтезированные данные.

ИСП предложил модель взаимодействия внутри страны: создать депозитарий доверенного ПО внутри России - контролируемого и безопасного, организовать сообщество (академическое сообщество и ведущие университеты) вокруг ключевых технологий, которых всего несколько сотен. А все компании и государство из этих безопасных "кубиков" могут создавать свои технологии. В результате по инициативе ФСТЭК на базе ИСП создан Центр исследований безопасности системного ПО, в котором вместе с ИСП работают более 70 компаний и вузов. Среди первых результатов: выявлено свыше 30 критических уязвимостей в ядре Linux, более 500 исправлений уже приняты в основную ветку ядра. Как подчеркнул докладчик, создана масштабируемая экосистема внутри страны, которая обеспечивает генерацию кадров и технологий и, как следствие, - технологическую независимость, быстрый рост и адаптацию.

Выступление вызвало много вопросов - от узкоспециальных до почти философских, на которые докладчик постарался ответить. А сотрудничество между ОИЯИ и ИСП, имеющее для Объединенного института стратегическое значение, продолжается.

Ольга ТАРАНТИНА,
фото Елены ПУЗЫНИНОЙ