В Суперкомпьютерном центре Санкт-Петербургского политехнического университета прошел День открытых дверей

Суперкомпьютерный центр (СКЦ) СПбПУ создан в рамках Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 гг.» и Федеральной адресной инвестиционной программы.

СКЦ «Политехнический» ориентирован на решение междисциплинарных естественно-научных задач и поддержку проектирования сложных технических систем для высокотехнологичных наукоемких секторов науки и промышленности.

Цели создания Суперкомпьютерного центра СПбПУ:

•          Повышение эффективности фундаментальных и прикладных научных исследований, ведущихся в СПбПУ, за счет использования в них суперкомпьютерных технологий (СКТ);

•          Подготовка инженерных кадров, обладающих высоким уровнем компетенций в применении СКТ для разработки наукоемкой продукции;

•          Формирование на базе Политехнического университета регионального центра компетенций в области применения суперкомпьютерных технологий в наукоемких отраслях народного хозяйства (энергомашиностроение, самолетостроение, биоинженерия, радиоэлектроника).

Реализация проекта создания одного из самых мощных и наиболее инновационных в России суперкомпьютерных центров с пиковой производительностью более 1,1 Петафлопс (ПФЛОПС, квадриллион операций с плавающей точкой в секунду) была начата в 2014 году, а в 2015 г. СКЦ «Политехнический» был введен в эксплуатацию.

Компания «РРС-Балтика» (Санкт-Петербург) стала системным интегратором проекта и совместно с компаниями iCore (Москва) и ИТЭК (Санкт-Петербург) создала все инженерные системы Центра.

Группа компаний РСК, ведущий в России и СНГ разработчик и интегратор «полного цикла» решений нового поколения для сегмента высокопроизводительных вычислений и центров обработки данных (ЦОД) на основе архитектур корпорации Intel и передового жидкостного охлаждения, выступила в роли разработчика, поставщика и интегратора основных суперкомпьютерных систем  СКЦ «Политехнический» — кластерного комплекса «Политехник РСК Торнадо», массивно-параллельного суперкомпьютера «Политехник RSC PetaStream», а также программного комплекса для мониторинга и управления вычислительными системами «РСК БазИС». На тот момент это был первый в России и СНГ проект, реализованный на базе серверных процессоров Intel Xeon E5-2600 v3.

«Вычислительные ресурсы и сервисы СКЦ, наряду с учеными Политехнического университета, могут использовать научно-исследовательские организации города и страны для решения актуальных научных проблем.   Инженеры университета и промышленных предприятий с помощью предоставляемых Центром мощных вычислительных ресурсов получили дополнительные возможности оптимального проектирования новых образцов техники в энергетическом машиностроении, биотехнологиях, радиоэлектронике и в других областях. Для преподавателей и студентов наш центр стал технологической базой углубленной подготовки по информатике, компьютерным наукам и компьютерному инжинирингу», - отметил Владислав Синепол, директор СКЦ «Политехнический». 

За время работы СКЦ на его вычислительных системах различными исследовательскими коллективами решены разнообразные научные и инженерные задачи, требовавшие сверхбольших математических расчетов и многоэтапного моделирования сложных процессов и объектов.

Примеры задач, решаемых в СКЦ «Политехнический»

Cуперкомпьютер «Политехник РСК Торнадо» используется для прямого численного моделирования взаимодействия ударной волны с турбулентным пограничным слоем в трансзвуковом потоке. Это явление может возникать при крейсерском полете гражданских авиалайнеров, а возникающие при этом нестационарные нагрузки на крыло представляют значительную угрозу для безопасности полетов. Задача определения критических значений угла атаки и числа Маха потока, при которых начинается «трансзвуковой бафтинг», является чрезвычайно важной. Работа выполняется под руководством Михаила Хаимовича Стрельца, профессора кафедры «Гидроаэродинамика, горение и теплообмен», заведующего лабораторией «Вычислительная гидроаэроакустика и турбулентность» Объединенного научно-технологического института СПбПУ. Размер расчетной сетки задачи — 8,7 миллиарда ячеек. До настоящего времени расчеты на таких сетках в России не проводились. При решении данной задачи на суперкомпьютере «Политехник РСК Торнадо» получены очень хорошие результаты — удельная производительность на одно ядро оказалась в 5,3 раза, a на один вычислительный узел — в 9,3 раза выше, чем на суперкомпьютере Mira   (Argonne National Laboratory, USA), занимающем 5-е место в мировом рейтинге Top500.

На суперкомпьютерах «Политехник РСК Торнадо» и «Политехник RSC PetaStream» методами молекулярной динамики с помощью программного комплекса GROMACS проводятся исследования механизма возникновения холодоадаптированности и температурочувствительности вируса гриппа. Вирусы гриппа А, обладающие свойством холодоадаптивной термочувствительности, могут применяться в качестве так называемых живых вакцин, так как они могут воспроизводиться в инкубаторе при низкой температуре (например при +26С), но при этом они неспособны к воспроизведению при температуре тела человека (+37С), то есть неспособны к заражению. В качестве модели использовался филамент, состоящий из белка NP, обеспечивающего упаковку и хранение вирусной РНК. Размер такой системы составил 2,7 миллиона атомов.

Для того, чтобы получить одну траекторию молекулярной динамики такого филамента на временах порядка 200 нс (наносекунд) потребовалось около 15 дней, что для систем такого размера является хорошим результатом при использовании современных вычислительных систем. А еще несколько лет назад для этого потребовалось бы 1-2 месяца. Эта работа выполняется учеными Петербургского института ядерной физики НИЦ «Курчатовский институт» (ПИЯФ НИЦ КИ) совместно с ФГБУ «НИИ гриппа» Минздрава России и СПбПУ. «Решение этой задачи позволит определить возможную причину нарушения механизма воспроизводства вируса при температуре человеческого тела, что, в свою очередь, может упростить создание живых вакцин против постоянно мутирующих штаммов вирусов гриппа», – поясняет Алексей Швецов, научный сотрудник Отделения молекулярной и радиационной биофизики Петербургского института ядерной физики НИЦ «Курчатовский институт».

На массивно-параллельной системе «Политехник RSC PetaStream» сотрудники Института вычислительной математики и математической геофизики Сибирского отделения РАН (ИВМиМГ СО РАН) продолжают свои исследования в области гидродинамического моделирования разномасштабных астрофизических процессов с помощью разработанного ими программного комплекса AstroPhi. Столкновение галактик – рядовое событие в их эволюции. В среднем любая галактика совершает до десяти столкновений за Хаббловское время.

Суперкомпьютерное моделирование таких процессов – единственный способ их изучения. «Благодаря инновационным суперкомпьютерным технологиям, разработанных специалистами группы компаний РСК, и предоставленным нам возможностям запуска комплекса AstroPhi на мощной вычислительной системе «Политехник RSC PetaStream» удалось не только смоделировать столкновение галактик в рекордном разрешении при использовании более миллиарда расчетных ячеек, но и провести важные исследования процессов звездообразования, эффекта сверхновых, охлаждения, нагревания и химической эволюции сталкивающихся галактик. Благодаря производительности и масштабируемости системы «Политехник RSC PetaStream» достигнуто значительное сокращение времени моделирования, при достаточно высоком пространственном разрешении порядка 100 парсек», – отмечает Игорь Черных, ученый секретарь ЦКП «Сибирский Суперкомпьютерный Центр», старший научный сотрудник Института вычислительной математики и математической геофизики Сибирского отделения РАН. 

Вычислительные ресурсы СКЦ «Политехнический» СПбПУ

 Суперкомпьютерный центр «Политехнический» располагает тремя вычислительными системами. Две самые мощные из них разработаны и установлены специалистами группы компаний РСК. Эти вычислительные системы имеют прямое жидкостное охлаждение и обеспечивают суммарную пиковую производительностью более 1,1 ПФЛОПС.

Кластерная система «Политехник РСК Торнадо» имеет пиковую производительность 829 ТФЛОПС и демонстрирует производительность 658 ТФЛОПС на тесте LINPACK. Она занимает 3-е место в списке Top50 самых мощных российских суперкомпьютеров, 2-е место среди отечественных систем в мировом рейтинге HPCG, 131-е место в списке самых мощных вычислительных систем мира Top500 и входит в мировой рейтинг самых энергоэффективных суперкомпьютеров Green500 с лучшим  в этом списке показателем среди всех российских систем. Кроме того, это был первый в России и СНГ проект на базе серверных процессоров семейства Intel Xeon E5-2600 v3. «Политехник РСК Торнадо» состоит из 712 двухпроцессорных узлов, включающих 1424 высокопроизводительных серверных процессора Intel Xeon E5-2697 v3 (14 ядер в каждом с тактовой частотой 2,6 ГГц), серверные платы IntelS2600KP и Intel S2600WT для этого поколения процессоров, твердотельные накопители Intel SSD DCS3500 для корпоративных ЦОД. Ресурсы этого суперкомпьютера способны решать не только сложные вычислительные задачи, но и обеспечивают облачные, VDI (Virtual Desktop Infrastructure) и графические сервисы, в том числе для рабочих мест с интенсивным использованием трехмерной (3D) графики.

Вторая часть гибридного вычислительного комплекса СКЦ СПбПУ состоит из уникальной сверхплотной массивно-параллельной системы «Политехник RSC PetaStream» с прямым жидкостным охлаждением и пиковой производительностью 295 ТФЛОПС. Этот суперкомпьютер показал производительность 170,5 ТФЛОПС на тесте LINPACK. Он занимает 8-е место в списке Top50 самых мощных российских суперкомпьютеров, входит в мировой рейтинг HPCG и в список самых энергоэффективных суперкомпьютеров мира Green500. Эта вычислительная система СПбПУ, разработанная и изготовленная специалистами РСК в России, построена на базе 60-ядерных процессоров Intel Xeon Phi 5120D, серверных плат Intel и твердотельных накопителей Intel SSD DCS3500 для корпоративных ЦОД.

Отличительной особенностью RSC PetaStream является реализация концепции массивной параллельности на основе Intel Xeon Phi, что обеспечивает выполнение до 250 тысяч параллельных исполняемых потоков на 1024 вычислительных узлах архитектуры x86, размещаемых в одном вычислительном шкафу на площади всего 1 кв. м. Массивно-параллельной архитектуре RSC PetaStream принадлежат мировые рекорды по вычислительной и энергетической плотности, а также компактности. В RSC PetaStream реализована разработанная совместно с Emerson Electric инновационная подсистема электропитания постоянным током с напряжением 400 В. Это позволяет достичь эффективности распределения электроэнергии более 90%, что обеспечивает повышение энергоэффективности системы и снижение эксплуатационных расходов, а также повышение надежности всего вычислительного комплекса.

Системы «Политехник РСК Торнадо» и «Политехник RSC PetaStream» объединены в единый вычислительный комплекс посредством высокоскоростной коммутационной сети InfiniBand FDR. В состав комплекса также входит параллельная система хранения данных (СХД), построенная на базе распределенной файловой системы Lustre и способная размещать 1 Петабайт (ПБ) информации, а также блочное хранилище данных для облачных сред объемом 0,5 ПБ. Оба хранилища используют серверные технологии на основе архитектуры Intel.  

В решениях «РСК Торнадо» и RSC PetaStream реализованы расширенные программно-аппаратные функции мониторинга и управления на базе  интегрированного стека ПО «РСК БазИС». Технология Intel Node Manager используется для контроля и мониторинга энергопотребления каждого узла, что позволяет реализовывать гибкие политики оптимизации управления энергопотреблением, сокращать затраты на электричество и эксплуатацию вычислительных систем.

Суперкомпьютерные решения РСК поставляются с набором программных инструментов Intel Parallel Studio XE 2016 Cluster Edition для операционной системы Linux, а также с набором оптимизированных библиотек, например, Intel MPI Library 5.1.