Русские суперкомпьютеры. Российские суперкомпьютеры
В основу новой мощнейшей вычислительной машины легла разработанная сотрудниками Центра гибридная архитектура с пиковой производительностью 55 триллионов операций в секунду. Кластер состоит из 5 вычислительных узлов. Такая мощь будет направлена на исследования и разработку алгоритмов компьютерного зрения и обработки изображений.
За год на модернизацию шести российских суперкомпьютеров было выделено 300 млн рублей
Алексей Сорокин, руководитель ЦКП «Центр данных ДВО РАН» рассказал сайт, что в 2016 году Федеральное агентство научных организаций (ФАНО России) выделило на модернизацию шести суперкомпьютерных центров подведомственных научных организаций 300 млн рублей. Сами узлы со специализированным коммутатором обошлись в 20 млн рублей. Это стало возможным благодаря целевой субсидии от Федерального агентства научных организаций.
Что будет исследоваться?Собеседник сайт рассказал, что его команда прошла этап тестовой эксплуатации вычислительной машины вместе с сотрудникам Института водных проблем РАН (г. Москва), Института морской геологии и геофизики ДВО РАН (г. Южно-Сахалинск) и Института материаловедения ХНЦ ДВО РАН (г. Хабаровск). На реальных задачах они оценивали эффективность архитектуры и отрабатывали оптимальные режимы работы нового кластера, а пользователи получили возможность провести исследовательские расчеты. Ученые из ИВП РАН ведут проекты, связанные со сверхкраткосрочным прогнозом движения полей осадков, в которых используется библиотека машинного обучения tensorflow, разрабатываемая в Google. На Сахалине с использованием авторских алгоритмов ведутся расчеты распространения волн цунами от сейсмических источников в глобальном масштабе. Ученые довольны скоростью расчетов.
Заявки уже начали поступать в ВЦ ДВО РАН, где они рассматриваются и принимаются решения о предоставлении доступа к ресурсам системы. Предпочтения отдаются тем проектам, которые получат реальный прирост в производительности по сравнению с кластерами на базе X86 архитектуры без графических ускорителей.
Технические характеристики (на один узел)- 2 десятиядерных процессора IBM POWER8 (2,86 ГГц) (всего 160 потоков);
- память ECC, 256 ГБ;
- 2 х 1 ТБ 2.5" 7K RPM SATA HDD;
- 2 x NVIDIA Tesla P100 GPU, NVLink.
- Cети передачи данных: EDR InfiniBand.
- Управляющая сеть: Gigabit Ethernet.
- Производительность кластера (ТФЛОПС): 55,84 (пиковая), 40,39 (Linpack)
Производительность обеспечивается графическими ускорителями NVIDIA Tesla P100 на архитектуре Pascal, а обмен данными между центральным процессором POWER8 и графическим процессором осуществляется через высокоскоростной интерфейс NVLink с пропускной способностью до 80 Гбайт в секунду.
Tesla P100 - один из самых передовых графических ускорителей для датацентров с интерфейсом NVIDIA NVLink, который позволяет создавать высокоскоростные вычислительные узлы, значительно повышая производительность высокомасштабируемых приложений. Архитектура Pascal обеспечивает максимально высокую производительность для решения задач в области HPC и сверхмасштабирования.
Как сказал Алексей Сорокин сайт, что при запуске вычислительного кластера есть два важных этапа работ. Первый – это сама поставка и базовая проверка оборудования. Второй этап – установка, отладка системного (операционные системы, планировщик, библиотеки и т.п.) и прикладного программного обеспечения. Задачи первого этапа были выполнены в срок, в рамках контрактных обязательств весной, по второй задаче основная работа была выполнена в начале лета.
У пакетов прикладных программ всегда есть особенности, которые нужно учитывать при их установке и дальнейшей эксплуатации, поэтому эта работа ведется постоянно.
Более того, те, кто подает заявки на исследование при помощи ресурсов суперкомпьютера, могут пользоваться как готовыми математическими библиотеками, так и своими авторскими.
Рис. 1. В.А.Мельников и С.А.Лебедев
В 1979 г. появляется Эльбрус -1 — компьютер на основе суперскалярного RISC-процессора, разработанный в ИТМиВТ, генеральный конструктор В.С.Бурцев . В 1984 гг. под его руководством создан 10-процессорный суперкомпьютер Эльбрус-2, который использовался в Российской противоракетной системе, ЦУПе, Арзамасе-16 и Челябинске-70. .
Проект 16-процессорного компьютера Эльбрус-3 производительностью 125 млн операций в секунду с большой локальной оперативной памятью для каждого процессора (16 Мбайт) и глобальной общей для всех процессоров памятью (2 Гбайт) появился в 1985 г. Ключевой фигурой в его создании был Борис Арташесович Бабаян, окончивший Московский физико-технический институт (в 1957 г.) Параллельно с развитием Эльбрусов в 80-е годы разрабатывались матричные процессоры ПС-2000 и ПС-3000. Однако громоздкие Эльбрусы, несмотря на использование в них ряда интересных архитектурных решений, проигрывали зарубежным суперкомпьютерам из-за несовершенной элементной базы.
Рис. 2. В.С.Бурцев
В 1986 году вышло постановление правительства СССР о создании вычислительного комплекса "Эльбрус-90 микро". Обязательным условием было использование в новой разработке только отечественных решений, элементной базы и программного обеспечения. К 1990 году микропроцессор для "Эльбрус-90 микро" был спроектирован, началась подготовка к его изготовлению в Зеленограде. Но в стране начались политические и экономические преобразования, обрушившие электронную промышленность. Большинство разработчиков из ИТМиВТ ушло, часть из них оказалась в компании МЦСТ, созданной Б.А.Бабаяном. Именно в МЦСТ (научный руководитель Б.А.Бабаян, генеральный директор Александр Ким), входящей в группу компаний Эльбрус, были продолжены работы над компьютерами семейства Эльбрус.
Рис. 3. Б.А.Бабаян
В конце 1997 года были завершены заводские, а в 1998-м — государственные испытания "Эльбруса-90 микро", утверждена документация для серийного производства, изготовлена опытная партия. "Эльбрус-90 микро" отличается от предыдущих Эльбрусов несравненно меньшими габаритами и большей надежностью.
Дальнейшие разработки МЦСТ — микропроцессор E2k, создаваемый по архитектуре EPIC (командные слова по 512 бит) и 0,13 мкм технологии стандартных блоков, и суперЭВМ Эльбрус-3М с производительностью 8 млрд операций/с на один процессор. Эти решения полностью отечественные, хотя заказы на производство микропроцессоров E2k размещаются в Израиле и на Тайване.
В 2004 г. коллектив разработчиков Эльбрусов во главе с Б.А.Бабаяном перешел на работу в компанию Intel.
Современные отечественные суперЭВМ строятся на зарубежной элементной базе.
В 2002 г. в список 500 наиболее производительных компьютеров мира (Тор500) впервые вошел российский суперкомпьютер, заняв 74-е место. Это суперкомпьютер МВС-1000М , установленный в Межведомственном суперкомпьютерном центре (создан в 1996 году совместным решением Российской академии наук, Министерством науки и технологии, Министерством образования и Российским фондом фундаментальных исследований) и имеющий производительность 735 Gflops. Его разработка велась под руководством В.К.Левина. В состав МВС-1000М входят 5 вычислительных узлов, один управляющий узел, коммутирующая сеть Myrinet. Суперкомпьютер построен на процессорах Alpha, число процессоров 768. Объем оперативной памяти системы — 768 Гбайт. Система работает под управлением операционной системы Red Hat Linux 6.2, поддерживающей многопроцессорные системы.
Рис. 4. МВС-1000М
В списке Тор500 2004 года на 210 месте значится новый российский компьютер МВС-5000БМ производительностью 1,4 Tflops, выполненный как BladeServer на 336 микропроцессорах PowerPC 1,6 ГГц, коммутирующая система Myrinet.
Отрадно, что в этом списке на 98-м месте появился установленный в Белоруссии компьютер СКИФ К-1000 с производительностью в 2 Tflops, в создании которого участвовали около 20 российских и белорусских предприятий, включая Институт программных систем РАН. Он выполнен на микропроцессорах Opteron 2,2 ГГц, коммутирующая система построена на основе технологии Infiniband.
В 2008 г. в России построен суперкомпьютер "СКИФ МГУ " (рис. 5) в рамках совместной с Беларуссией программы "СКИФ-ГРИД". Его пиковая производительность 60 Tflops, а производительность на тесте Linpack — 47 Tflops, в нем использованы 1250 четырехъядерных процессоров Intel Xeon E5472. Оперативная память 5,5 Тбайт, системная - InfiniBand, площадь 96 м 2 , потребляемая мощность - 330 кВт. Научным руководителем программы "СКИФ-ГРИД" является С.Абрамов (рис. 6).
Суммарная производительность систем из списка Топ-50 на тесте Linpack за полгода выросла с 8,7 ПФЛОПС (квадриллионов (1015) операций с плавающей точкой в секунду) до 10,7 ПФЛОПС. Суммарная пиковая производительность систем списка при этом достигла 17,4 ПФЛОПС, хотя еще полгода назад в предыдущей редакции списка она составляла только 13,4 ПФЛОПС.
Всего за полгода, прошедшие с публикации предыдущего рейтинга Топ-50, список пополнился девятью совершенно новыми суперкомпьютерами, и семь систем из списка прошли масштабное обновление. Эти показатели, по данным составителей Топ-50, являются рекордом за последние шесть лет.
Заявок на вхождение в рейтинг было больше, но не все системы преодолели нижний порог производительности: для вхождения в нынешнюю редакцию Топ-50 потребовалась производительность на тесте Linpack не менее 42,6 ТФЛОПС против 38,1 ТФЛОПС в предыдущей редакции.
Составители рейтинга отмечают, что основные изменения в последней редакции Топ-50 пришлись не на лидеров списка, но на системы с производительностью 50-70 ТФЛОПС. Это говорит о том, что суперкомпьютер в России стал достаточно массовым явлением, и его производительность закладывается не ради рекордов, но уже с учетом потребностей и финансовых возможностей заказчика.
2015: Счётная палата: государство потратило 4,9 млрд руб. на неработающие суперкомпьютеры и грид-сети13 ноября 2015 года стало известно о выводах Счетной палаты относительно государственных трат на на создание суперкомпьютеров и грид-сети для стратегически важных отраслей - отсутствие практических результатов .
Государство истратило 4,9 млрд руб. на создание суперкомпьютеров и грид-сети, но после упразднения президентской Комиссии по модернизации об этом проекте забыли, установила Счетная палата .
Объекты есть в Нижнем Новгороде (в Нижегородском университете), Ростове-на-Дону (в Южном федеральном университете), Екатеринбурге (в Уральском отделении РАН) и в Казани (в Казанском центре РАН). В каждом из этих четырех городов еще по одному объекту установлено на площадках «РТКомм.ру».
Также один объект размещен в Нижегородской области - в Сарове (во Всероссийском НИИ экспериментальной физики).
В 2012 году работы по проекту провел НИИ «Восход» , с которым Минкомсвязи заключило контракт на сумму 180 млн руб. Он был подписан по результатам аукциона со стартовой ценой 330 млн руб. На эти средства создана конструкторская документация и организационно-распорядительные документы для ввода в эксплуатацию российской грид-сети.
Путь к экзафлопсным вычислениям
Cуперкомпьютерная система Tianhe-2 («Млечный путь 2») Китайского национального университета оборонных технологий четвертый раз подряд встала во главе TOP-500 с производительностью 33,86 Пфлопс в тесте Linpack - на протяжении последних двух лет она не претерпела изменений. Не изменились конфигурации уступающих ей почти вдвое и занимающих соответственно второе и третье место систем Titan Cray XK7 (17,59 Пфлопс) и Sequoia (17,17 Пфлопс). Единственное пополнение десятки лидирующих суперкомпьютеров в последнем выпуске TOP-500 - замыкающая список система Cray CS-Storm неназванного департамента правительства с производительностью 3,57 Пфлопс.
Начиная с пятой позиции рейтинга мощность систем измеряется уже единицами петафлопс, а начиная с 51-й позиции - сотнями терафлопс. Здесь заметен прогресс: в предыдущей 43-й редакции TOP-500 полугодичной давности насчитывалось 37 систем с производительностью более 1 Пфлопс. В нижней части рейтинга прирост производительности оказался минимальным за последние два десятилетия, хотя система, занимающая в новой редакции рейтинга последнее 500-е место, полгода назад была на 421-й позиции.
Любопытен срез по применяемым в современных суперкомпьютерах графическим акселераторам и сопроцессорным модулям, оказывающим значительное влияние на суммарную производительность систем в определённых задачах. Так, первая и седьмая системы лидирующей десятки используют сопроцессоры Intel Xeon Phi, в то время как вторая и шестая имеют GPU компании Nvidia. В целом 75 систем из вошедших в последний перечень TOP-500 работают с применением ускорителей и сопроцессоров (годом ранее таковых насчитывалось всего 62). Полсотни из них используют графические чипы Nvidia, три работают с GPU ATI Radeon, 25 систем выполнены с применением технологии Intel MIC (Xeon Phi).
Процессорные решения Intel, как и раньше, являются платформой для подавляющего числа систем из рейтинга TOP-500 (85,8%). Остальные платформы представлены (в убывающем порядке) процессорами IBM Power, Fujitsu SPARC64 и AMD Opteron.
Страны и континенты
Несмотря на то что самый мощный суперкомпьютер планеты по-прежнему находится в Китае , США остаются страной с наибольшим присутствием в TOP-500 (231 система), но несколько сдают свои позиции (в ноябре 2013-го США были представлены 265 системами). Снизилось и суммарное число представленных в рейтинге суперкомпьютеров из Азии - со 132 до 120 (конкретно китайских - с 76 до 61). Увеличилось число европейских систем - со 116 в июне 2014 года до 130 в ноябре 2014 года.
В летнем, 43-м рейтинге TOP-500 присутствие российских систем сократилось до минимальных за последние годы пяти систем, при этом лучшая из них, суперкомпьютер «Ломоносов» при МГУ , занимала 42-ю строку мирового рейтинга. В последней, ноябрьской редакции рейтинга, ситуация изменилась: в составе присутствует девять российских суперкомпьютеров. Новый вычислительный кластер МГУ на платформе процессоров Xeon, ускорителей Nvidia K40 и межблочных соединений Infiniband FDR, созданный компанией «Т-Платформы », вышел на 22-е место TOP-500 с производительностью 1,849 Пфлопс.
Впервые появилась в рейтинге и сразу удачно «приземлилась» на 189-е место с показателем 289,5 Тфлопс система российской компании Niagara Computers , выполненная на платформе решений Supermicro, процессоров Intel Xeon, ускорителей Nvidia K20 и межсоединений Infiniband FDR.
Впечатляющие итоги года продемонстрировала российская группа компаний РСК . Количество суперкомпьютеров её производства в рейтинге TOP-500 удвоилось: в новую редакцию вошли четыре системы РСК с прямым жидкостным охлаждением, включая разработанные для Санкт-Петербургского государственного политехнического университета (СПбПУ) кластерную систему «Политехник РСК Торнадо » на базе 14-ядерных процессоров Intel Xeon (658 Тфлопс, 81-е место) и суперкомпьютер на базе массивно-параллельной системы RSC PetaStream с процессорами Intel Xeon и 60-ядерными сопроцессорами Intel Xeon Phi 5120D (170,5 Тфлопс, 390-е место). В результате после ввода в эксплуатацию, который запланирован на следующий год, суммарная пиковая производительность нового суперкомпьютерного центра СПбПУ превысит 1,1 Пфлопс.
На 133-й позиции списка построенный РСКсуперкомпьютер МВС-10П МСЦ РАН (523 Тфлопс), а 190-е место занимает вычислительный кластер (473 Тфлопс) Южно-Уральского государственного университета (ЮУрГУ) в Челябинске.
В общем зачёте по числу суперкомпьютеров, входящих в TOP-500, лидеры: (179 систем, две из них - в России) и IBM (153 системы), показатели обеих компаний снизились со времени предыдущего рейтинга. Замыкает тройку лидеров Cray с 62 системами.
Трансформация
Рынок HPC находится в периоде существенных изменений. По мнению Раджиба Хазры, вице-президента Intel и руководителя группы технических вычислений компании, нынешнюю трансформацию рынка суперкомпьютеров не стоит описывать словами "лучше" или "больше", скорее это фундаментальное изменение модели использования технологий посредством интеграции, совместных разработок, совершенствования программных платформ и даже изменения бизнес-моделей предоставления HPC-вычислений, в первую очередь в виде суперкомпьютеров как сервиса.
Дальнейшее развитие рынка высокопроизводительных вычислений в Intel связывают с более глубокой интеграцией различных компонентов системы на едином кристалле в рамках развития архитектуры Intel MIC (Many Integrated Core). На конференции SC’14 компания представила новое, третье поколение процессоров Intel Xeon Phi с кодовым названием Knights Hill, выпуск которых будет налажен с применением 10-нм техпроцесса. Чипы Knights Hill будут представлены после поколения Knights Landing, первые системы на их базе ожидаются в 2015 года.
Ожидается, что Knights Landing поддержат более полусотни ведущих компаний индустрии, при этом во многих системах будет использоваться модуль в виде платы расширения с интерфейсом PCIe. Чипы Knights Landing, в частности, будут использоваться в суперкомпьютере Trinity совместного проекта Лос-Аламосской и Сандийских национальных лабораторий, а также в суперкомпьютере Cori Национального научного вычислительного центра энергетических исследований министерства энергетики США.
2012 Схема финансирования супер ЭВМ Затраты на создание супер ЭВМ
Негативный прогноз для отрасли
Через пять лет из-за бюрократических препон технологическая платформа суперкомпьютерных вычислений не заработала. Основные нефтедобывающие компании по-прежнему продолжают своими силами осуществлять 3D- и 4D-моделирование месторождений. Из-за высоких экономических рисков суперкомпьютерные и грид-технологии не внедряются в тяжелой и легкой промышленности. Государство финансирует это направление из расчета 700 млн - 1 млрд руб. в год. Основные затраты государства идут на ВПК , в частности на расчеты ядерных испытаний.
Позитивный прогноз
В ближайшие пять лет полностью принята экзафлопсная карта проекта вместе с созданием отечественной элементной базы: процессоров, плат памяти, узлов передачи и хранения данных. В общей сложности для создания подобного суперкомпьютера государство потратило 65 млрд руб. Эта машина вошла в топ-3 самых мощных суперкомпьютеров мира, и Россия получила несколько крупных заказов на расчет и моделирование месторождений от африканских стран. Видя успех российского оборудования, отечественные нефтегазовые компании начали заказывать расчеты у российских сервисных компаний. Суперкомпьютеры начали внедряться на производствах, что привело к снижению себестоимости двигателей, тканей, электроэнергии и продовольствия на 10-20%.
Реалистичный прогноз
Частичная победа лоббистских сил со стороны правительства и представителей науки над отечественной бюрократией позволяет не только принять в среднесрочной перспективе 25-ю карту «Росатома », но и частично согласиться на затраты по созданию экзафлопсного суперкомпьютера (30 млрд руб.). Однако из-за падения цен на нефть и сокращения доходов бюджета программа лишается главы о создании российской элементной базы (35 млрд руб.), а также некоторых пунктов, направленных на подготовку специалистов, способных работать на супермашинах. Вместо положенных 30 млрд руб. отрасль получает 23 млрд, остальное добивает за счет софинансирования со стороны коммерческого сектора.
2011: Как россияне используют суперкомпьютерыВ апреле 2011 г. владельцы мощнейших суперкомпьютеров России рассказали CNews , какие задачи решают их вычислительные системы. Разработчики авиационных двигателей радуются, что им редко приходится использовать для испытаний мертвых птиц, натурные эксперименты сократили и разработчики бронежилетов, а исследователи ВИЧ смогли проследить эволюцию вируса под действием лекарств.
Как следует из отчетов пользователей суперкомпьютера, в области медицины, к примеру, с его помощью проводилось моделирование микроэволюции вирусов иммунодифицита человека. Была создана технологическая платформа для исследования вопроса о резистентности ВИЧ к противовирусным препаратам. Также проводилось моделирование биологических мембран, содержащих холестерин и другие включения.
В области физики, например, суперкомпьютер МСЦ РАН использовался для исследования механизмов перехода медленного горения в детонацию при горении предварительно перемешанных газовых смесей в трубах, исследования процессов возникновения и подавления эффекта стука в двигателях внутреннего сгорания. Полученные результаты, говорится в отчете, дали новый материал для исследования нелинейных процессов горения и разработки новых подходов к повышению эффективности двигателей, а также для разработки современных детонационных двигателей.
По направлению экологии и рационального природопользования на суперкомпьютере выполнялся расчёт распространения крупномасштабных поверхностных волн в морях и океанах, проводилось моделирование климата и его изменений. Система также использовалась для моделирования глобальной сейсмичности, разработки методов интерпретации данных электромагнитного мониторинга земной коры в сейсмически опасных регионах, а также – для моделирования переноса излучения в природных средах и решения проблем глобальных экологических катастроф.
Специалисты ИВМ РАН и Института океанологии им. П.П. Ширшова разработали и запустили на суперкомпьютере МСЦ РАН математическую модель динамики океана, которую применили для исследования внутригодовой изменчивости циркуляции вод и уровня Каспийского моря. С применением модели стало возможным доказать существование подповерхностных струйных течений вдоль восточного берега Среднего Каспия и правильно интерпретировать данные наблюдений. Сейчас перед специалистами стоит задача создать модель Мирового океана с пространственным разрешением, лучшим, чем было использовано в модели Каспийского моря.
Институт прикладной математики им. М.В. Келдыша РАН (ИПМ РАН)Пиковая производительность суперкомпьютера ИПМ РАН – 107,9 Тфлопс, он располагается на 7-м месте рейтинга Топ-50.
Среди прочих на суперкомпьютере решаются задачи, связанные с атомной энергетикой - институт уже много лет сотрудничает со структурами «Росатома ». Как рассказал CNews директор института Борис Четверушкин, значительную часть задач, которыми загружен их суперкомпьютер, составляют расчеты, связанные с переносом излучения, моделированием атомных реакторов.
Кроме того, по словам Четверушкина, суперкомпьютер в немалой степени используется для задач авиастроения (аэродинамика, симуляция аэродинамических труб), а также для моделирования нефтедобычи, фильтрации примесей в углеводородах.
Научно-производственное объединение «Сатурн» (НПО «Сатурн»)Пиковая производительность суперкомпьютера НПО «Сатурн» - 14,3 Тфлопс, он занимает 28-е место в Топ-50.
Как рассказал CNews директор по ИТ НПО «Сатурн» Юрий Зеленков, их суперкомпьютер, в основном, используется для расчетов, связанных с газотурбинными двигателями. В качестве примеров расчетных задач он привел обрыв лопатки вентилятора, расчет процессов горения в камере сгорания двигателя, аэродинамические расчеты турбомашин – компрессора, турбины, а также попадание в двигатель птицы.
По словам Зеленкова, благодаря суперкомпьютеру общий срок проектирования изделий на предприятии в среднем сократился в 2-3 раза и позволил отказаться от опытной доводки конструкции за счет ее оптимизации в виртуальной среде.
«Совсем от испытаний отказаться нельзя, поскольку это обязательная часть процесса сертификации в авиации, но все сертификационные испытания, в том числе - на обрыв лопатки и на заброс птицы, теперь мы проходим с первого раза», - заявил Зеленков.
Для расчета попадания птицы в двигатель ее тело моделируется в виде эллиптической фигуры с заданными свойствами, но на сертификационных испытаниях в двигатель забрасывается настоящий труп чайки. Мертвых птиц инженеры получают на специальных фермах, где выращивают птиц, поясняет Зеленков.
Так выглядят натурные испытания на попадание в авиадвигатель постороннего объекта
Нижегородский государственный университет им. Н.И. Лобачевского (ННГУ)Пиковая производительность суперкомпьютера ННГУ – 3 Тфлопс, он занимает 31-е место в Топ-50. В 2011 г. в ННГУ появился новый суперкомпьютер мощностью 175,7 Тфлопс, но о его задачах пока мало известно.
С помощью системы мощностью 3 Тфлопс вуз, к примеру, проводил моделирование сердечной активности человека с целью изучения механизмов развития различного вида аритмий, оптимизацию профиля железнодорожного колеса с целью уменьшить износ колес и железнодорожного полотна.
Госкорпорация «Росатом »Система, установленная в «Росатоме», является самой загадочной в России . Ее пиковая производительность, как заверяют сотрудники корпорации, составляет 1 Пфлопс, однако в рейтинге Топ-50 она не числится. О задачах, решаемых на петафлопснике, также практически ничего не известно.
Помимо систем высокой производительности подконтрольный «Росатому» Федеральный ядерный центр в Сарове (РФЯЦ-ВНИИЭФ) также производит персональные суперкомпьютеры . В 2010 г. ВНИИЭФ передал 15 таких систем одиннадцати российским промышленным предприятиям.
Вместе с аппаратным обеспечением ВНИИЭФ передал предприятиям и прикладные программные пакеты собственной разработки для валидации. В ядерном центре рассчитывают, что со временем их ПО позволит заместить аналогичный софт для численного моделирования от зарубежных производителей.
В качестве примера использования своих «персоналок» в «Росатоме» привели совместные работы с ОКБ «Сухого» по созданию детальных компьютерных моделей большой размерности для расчета аварийной посадки с невыпущенным шасси нового среднемагистрального пассажирского самолета Superjet-100. Кроме того, «Сухой» использует мини-суперкомпьютеры для моделирования обрыва лопатки вентилятора нового газотурбинного двигателя Д30КП «Бурлак» и аэродинамических расчетов маневренного самолета Су-30МКИ в заданных условиях крейсерского полета.
В последней редакции списка самых мощных компьютеров в СНГ первое место занял суперкомпьютер «СКИФ МГУ» — совместная разработка МГУ, Института программных систем РАН и компании «Т-Платформы», выполненная в рамках суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства России и Белоруссии.
Весной этого года Научно-исследовательский вычислительный центр МГУ им. М. В. Ломоносова и Межведомственный суперкомпьютерный центр РАН опубликовали очередную редакцию списка самых мощных компьютеров в странах СНГ — Тор50. Суммарная производительность систем в тесте Linpack за полгода выросла с 61,6 TFLOPS (триллионов операций в секунду) до 197,3 TFLOPS (на 220%) —это беспрецедентный рост за все время существования списка. В целом доля новых систем в Тор50 (включая системы, модернизированные за последние полгода) составила 56% (28 из 50). Наибольшие изменения по сравнению с прошлой редакцией произошли в верхней части списка. Так, полностью обновилась первая пятерка самых мощных суперкомпьютеров СНГ, а их суммарная производительность в тесте Linpack выросла до 117,1 TFLOPS (на 275%) с 31,2 TFLOPS для пяти самых мощных систем полгода назад.
Первое место в списке занял суперкомпьютер «СКИФ МГУ», совместная разработка МГУ, Института программных систем (ИПС) РАН и компании «Т-Платформы» (www.t-platforms.ru), выполненная в рамках суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства при поддержке корпорации Intel (www.intel.com). Компьютер установлен в НИВЦ МГУ; производительность его в тесте Linpack составляет 47,14 TFLOPS (78,5% от пиковой).
На втором месте в новой редакции списка находится суперкомпьютер МВС-100К, созданный по технологиям корпорации HP (www.hp.com) и установленный в Межведомственном суперкомпьютерном центре РАН. Его производительность в тесте Linpack составила 33,9 TFLOPS. На 3-м и 5-м местах списка две системы на платформе IBM (www.ibm.com), установленные соответственно в Уфимском государственном авиационном техническом университете (производительность в тесте Linpack 14,6 TFLOPS) и в Сибирском федеральном университете в Красноярске (9,3 TFLOPS). На 4-м месте новой редакции оказалась система «СКИФ Урал» производства компании «Т-Платформы» (www.t-platforms.ru), установленная в Южно-Уральском Государственном Университете (Челябинск) с производительностью в тесте Linpack 12,2 TFLOPS. Только 6-е место в списке занял лидер двух предыдущих редакций — суперкомпьютер «СКИФ Cyberia» компании «Т-Платформы» с производительностью 9 TFLOPS, установленный в Томском государственном университете. Всего же в первой десятке списка по сравнению с прошлой редакцией удержались только две системы — это самое существенное изменение за все время существования Top50.
Количество компьютеров «терафлопного диапазона» (с реальной производительностью более 1 TFLOPS) на территории СНГ за прошедшие полгода практически удвоилось — с 13 до 25, а нижняя граница первой десятки по производительности поднялась с 1,3 до 5,2 TFLOPS (на 300%). Для попадания в список Тоp50 теперь требуется производительность в тесте Linpack не менее 432 GFLOPS (253,6 GFLOPS в предыдущей редакции). Быстро растет доля систем, используемых в науке и образовании (с 38 до 58%), а доля систем, ориентированных на конкретные прикладные исследования, осталась равной 28%. В то же время уменьшилось количество систем, работающих на промышленных предприятиях (с 16 до 10%) и в финансовой сфере (с 18 до 4%). Продолжается рост числа систем в списке, построенных на процессорах Intel (с 31 до 38). В Top50 также входит шесть систем, построенных на процессорах AMD (девять в предыдущей редакции), пять систем на базе процессоров IBM (их число не изменилось) и одна система на базе платформы HP (пять в прошлом списке). Заметно уменьшилось число компьютеров, использующих для взаимодействия узлов лишь коммуникационную сеть Gigabit Ethernet, — с 20 систем в предыдущей редакции до девяти в нынешней. Расширяется использование высокоскоростных коммуникационных технологий: InfiniBand (с 20 до 31 системы) и Myrinet (с шести до восьми систем). Еще по одной системе построено на базе коммуникационных технологий SCI и HyperPlex.
По количеству систем, входящих в список, укрепила свои позиции компания «Т-Платформы», увеличившая долю своих суперкомпьютеров в списке с 30 до 46% (с учетом компьютеров СКИФ, поставленных компанией и разработанных с ее определяющим участием). Как известно, «Т-Платформы» — ведущий российский разработчик и производитель комплексных решений для высокопроизводительных вычислений и центров обработки данных; в спектре ее продуктов — кластерные системы и суперкомпьютеры с общей памятью, серверы, системы хранения данных, специализированное ПО. Это единственная отечественная компания, три собственных решения которой вошли в список самых мощных компьютеров мира Тор500 (www.top500.org). В июне 2003 г. компания «Т-Платформы» совместно с ИПС РАН открыла в Москве Центр кластерных технологий (ЦКТ), где заказчики могут оценить эффективность высокопроизводительного комплекса при решении именно тех задач, для которых он приобретается. ЦКТ предлагает полный комплекс услуг для пользователей высокопроизводительных вычислений — от проектирования максимально выгодного комплексного решения до разработки и адаптации приложений, обучения и консультирования специалистов заказчика, аренды машинного времени и оборудованных площадей.
Год назад ИПС РАН, НИВЦ МГУ, корпорация Intel и компания «Т-Платформы» анонсировали программу «СКИФ Университеты» по оснащению отечественных вузов суперкомпьютерами СКИФ. В рамках государственной суперкомпьютерной программы «СКИФ-ГРИД» разрабатываются новые приложения для суперкомпьютеров и grid-сетей, методы их применения, создается отечественная элементная база и суперкомпьютеры высшего диапазона производительности на базе новейших технологий. Программа формирует технологическую основу для обеспечения роста научного и экономического потенциала России и Белоруссии. Однако этой цели можно достичь только при наличии специалистов, умеющих использовать новые технологии для решения реальных научных и промышленных задач. Программа «СКИФ Университеты» должна обеспечить вузы необходимым инструментарием — суперкомпьютерами СКИФ — для подготовки таких специалистов. Эта программа позволит отечественным вузам воспользоваться опытом создания суперкомпьютерных конфигураций, оптимизированных для задач вузов, накопленным при выполнении программ «СКИФ» и «СКИФ-ГРИД». За семь лет развития суперкомпьютеры СКИФ перешли из разряда штучных изделий в разряд массовых продуктов, надежных и простых во внедрении. Компания «Т-Платформы» в партнерстве с Intel обеспечивает участников программы комплексными решениями на базе четырехъядерных процессоров Intel с полным комплектом ПО Intel для управления кластерами и разработки приложений. За обучение и переподготовку специалистов в самом мощном суперкомпьютерном центре страны отвечает НИВЦ МГУ, а ИПС РАН обеспечивает программную поддержку в решении реальных задач.
Что такое Тор50Совместный проект МСЦ и НИВЦ МГУ по формированию списка 50 наиболее мощных компьютеров СНГ стартовал в мае 2004 г. В рейтинг Тор50 (www.supercomputers.ru) входят 50 наиболее мощных вычислительных систем среди установленных на территории стран СНГ. Системы ранжируются по показателям реальной производительности, полученным в тестах Linpack в соответствии с мировым стандартом. Рейтинг Тор50 обновляется два раза в год и позволяет оперативно отслеживать тенденции развития суперкомпьютерной отрасли в СНГ. Генеральный спонсор проекта — компания «Т-Платформы». Спонсоры рейтинга Тор50 — корпорации AMD, IBM, Intel и Microsoft.
Приобретение суперкомпьютеров СКИФ производства компании «Т-Платформы» в рамках программы «СКИФ Университеты» предполагает также участие в «СКИФ Полигон» — крупной научной grid-сети, формируемой программой «СКИФ-ГРИД» в России и Белоруссии. Вместе с суперкомпьютером СКИФ учебное заведение получает доступ к неизмеримо более мощным вычислительным ресурсам всех суперкомпьютерных центров «СКИФ Полигон». В него входят мощнейшие суперкомпьютеры двух стран, установленные, в частности, в МГУ им. Ломоносова, Томском, Южно-Уральском, Владимирском, Белгородском, Санкт-Петербургском университетах, Объединенном институте проблем информатики НАН Белоруссии и во многих других. По разным оценкам, уже к середине этого года суммарная мощность grid-сети «СКИФ Полигон» составила более 100 TFLOPS. В дальнейшем ее ресурсы будут расширены за счет сопряжения с глобальными научными grid-сетями. Доступ к вычислительным ресурсам глобальной grid-сети открывает возможности решения самых ресурсоемких научных задач, таких, как разработка наноматериалов и наноустройств, исследования в ядерной физике и молекулярной динамике, разработка лекарств, предсказание глобальных изменений климата, космические и инженерные исследования. Партнеры «СКИФ Полигон» получат возможность немедленно использовать все новейшие разработки исполнителей программы «СКИФ-ГРИД», а также знания и опыт лучших специалистов двух стран в области параллельных вычислений и grid-технологий.
Российские блейд-технологииВ марте 2008 г. суперкомпьютерный парк Научно-исследовательского вычислительного центра МГУ пополнился кластером с пиковой производительностью 60 TFLOPS на базе 1250 четырехъядерных процессоров Intel Xeon, произведенных по 45-нм техпроцессу. По оценкам экспертов, на момент поставки эта система стала самой мощной законченной суперкомпьютерной установкой в России и СНГ и позволила МГУ занять место в десятке самых мощных научно-образовательных вычислительных центров мира.
Престижная наградаНа прошедшей в апреле в Риме конференции Intel Solutions Summit 2008 компания «Т-Платформы» получила награду «За внедрение четырехъядерных процессоров Intel Xeon на базе 45-нм техпроцесса». Ежегодная конференция Intel Solutions Summit — важнейшее событие для участников программы Intel Premier Provider. На этом мероприятии корпорация Intel делится своим опытом и предоставляет ресурсы и средства для развития и расширения бизнеса. На саммите организуется эксклюзивная выставка достижений участников маркетинговых программ, на которой демонстрируются самые современные и инновационные решения на базе технологий Intel.
Строительство нового суперкомпьютерного комплекса для МГУ — этап суперкомпьютерной программы «СКИФ-ГРИД» Союзного государства России и Белоруссии. Эта крупнейшая в мире установка на базе процессоров Intel нового поколения стала центральным элементом научной суперкомпьютерной сети «СКИФ Полигон», формируемой государственной программой «СКИФ-ГРИД».
В качестве вычислительных узлов суперкомпьютера для МГУ применяются первые блейд-системы российской разработки, «с нуля» сконструированные инженерами «Т-Платформы» и предназначенные специально для высокопроизводительных вычислений. Шасси T-Blade имеет высоту всего 5U и вмещает 20 четырехъядерных процессоров Intel Xeon E5472 c частотой 3,0 ГГц, позволяя достичь концентрации вычислительной мощности в 7,68 TFLOPS в стандартной 19-дюйм стойке. Это на 18% лучше, чем у самого плотного на данный момент конкурирующего блейд-решения на базе процессоров Intel западного производства. Системы T-Blade также стали единственными на тот момент блейд-решениями в отрасли с интегрированной поддержкой нового НМС Intel 5400 с увеличенной до 1600 МГц частотой системной шины, совместимыми с памятью DDR2-800. Это дало решению «Т-Платформы» выигрыш до 30% в производительности реальных приложений по сравнению с представленными на рынке вычислительными системами мировых поставщиков. За счет использования инновационных технологий Intel и оригинального термодизайна энергопотребление систем T-Blade составляет не более 435 Вт на модуль в максимально производительной конфигурации, что на 12% лучше, чем у лидирующего на данный момент западного блейд-решения аналогичной производительности на базе процессоров Intel.
В отличие от представленных на российском рынке блейд-систем, где выбор межсоединений и других внешних устройств ограничен типом установленных нестандартных промежуточных карт от самого производителя, системы T-Blade совместимы с любыми стандартными адаптерами сетевых устройств благодаря слотам расширения PCI-Express 2.0. Эта особенность не только оптимизирует стоимость узла и обеспечивает гибкость при конфигурировании кластерных решений, но в перспективе дает пользователям существенный выигрыш в производительности. Так, поддержка самой быстрой в отрасли технологии интерконнекта QDR InfiniBand увеличивает пропускную способность сетевых интерфейсов каждого модуля T-Blade до 40 Гбит/с.
Программа exCellenT-PlatformsВ прошлом году компания «Т-Платформы» объявила о начале реализации программы exCellenT-Platforms. Основная цель этого проекта заключается в разработке и внедрении широкой линейки собственных комплексных решений на базе инновационных восьмиядерных процессоров IBM Cell Broadband Engine, а также активное объединение и развитие сообществ разработчиков, с тем чтобы ускорить реализацию внутренних возможностей архитектуры Cell в отечественных программных разработках. По мнению специалистов компании, наличие столь мощных вычислительных решений параллельной обработки данных позволит российской науке сделать большой шаг к новым открытиям и внесет значительный вклад в развитие экономики страны.
Напомним, что процессор IBM Cell Broadband Engine был разработан альянсом Sony Group, Toshiba и IBM в центре STI Cell Design Center в Остине (шт. Техас, США). В его архитектуре используется управляющий процессор на базе архитектуры Power, совместно с которым работают несколько высокопроизводительных процессорных элементов Synergistic Processor Element (SPE) с архитектурой SIMD, и широкий набор команд DMA для эффективного обмена между процессорными элементами. За последнее время появилось несколько продуктов, реализующих нетрадиционные архитектуры многоядерных процессоров, перспективные для эффективной работы широкого класса приложений. В частности, одна из таких перспективных технологий — использование встроенной локальной буферной памяти для каждого процессорного ядра и обеспечение механизмов прямого доступа из нее к основной памяти системы и к буферной памяти других процессорных ядер. Одним из основных направлений разработки станет привязка новых технологий к существующим отраслевым стандартам, что значительно сократит расходы на разработку отдельных элементов изделия и расширит область его применения за счет стандартных дополнительных компонентов. Решения на базе архитектуры Cell обеспечивают лучшее соотношение цена/производительность для широкого класса реальных приложений по сравнению с решениями на основе процессоров х86. На базе новой архитектуры планируется внедрить широкую линейку продуктов для применения в области финансовых технологий, в промышленности, молекулярной биологии, медицине, разработке лекарств, развитии нанотехнологий, в аэрокосмических и военных исследованиях, высокопроизводительных вычислений и для создания коммуникационных приложений.
В рамках комплексной программы exCellenT-Platforms планируется создать не только собственный дистрибутив ОС Linux с коммерческой поддержкой, оптимизированный под архитектуру Cell, но и адаптированные прикладные пакеты, с тем чтобы в полной мере использовать параллелизм процессора Cell. Решение компании «Т-Платформы» будет представлять собой унифицированный двухпроцессорный вычислительный модуль в стандартном форм-факторе (в том числе сервер 1U) с особой архитектурой, позволяющей подключать стандартные периферийные устройства (PCI-Express). В рамках программы будут разработаны и выведены на рынок России и СНГ решения, многократно увеличивающие производительность целого ряда приложений.
Бюджет двухлетнего проекта exCellenT-Platforms составит в общей сложности 500 млн руб., из которых 210 млн — собственные средства компании «Т-Платформы», а остальное — привлеченные средства и гранты. Подобные проекты освоения и коммерциализации перспективных технологий создают базу для дальнейшего развития в России собственных стратегически важных технологий и, как следствие, укрепления конкурентоспособности и независимости отечественной экономики.
Программа «СКИФ-ГРИД»: итоги первого этапаСуперкомпьютерная программа «СКИФ-ГРИД» (2007—2010 гг.), финансируемая в размере более 1 млрд руб. из бюджета Союзного государства и заинтересованных предприятий, нацелена на разработку и внедрение отечественных средств создания grid-сетей и суперкомпьютеров высшего диапазона производительности. Важнейшим итогом первого этапа программы стала разработка отечественных аппаратных и программных решений для суперкомпьютеров СКИФ ряда 3. Эти решения были впервые применены при строительстве самого мощного в России, странах СНГ и Восточной Европы суперкомпьютера «СКИФ МГУ», а также самого производительного в регионе Урала, Дальнего Востока и Сибири суперкомпьютера «СКИФ Урал» в Южно-Уральском госуниверситете. Эти суперкомпьютеры вместе с установкой «СКИФ Мономах» Владимирского госуниверситета входят в распределенную вычислительную систему «СКИФ Полигон», суммарная производительность которой к июню нынешнего года достигла 100 TFLOPS.
Среди оригинальных российских решений для суперкомпьютеров СКИФ ряда 3 нужно отметить первые в отрасли отечественные блейд-системы T-Blade производства компании «Т-Платформы», разработанную в ИПС РАН систему мониторинга для кластеров с единым Web-интерфейсом на базе новой платы сервисной сети ServNet, а также средства разработки параллельных приложений OpenTS, российский дистрибутив ОС Linux от компании ALT Linux, систему организации распределенных вычислений в разнородных grid-средах X-Com разработки НИВЦ МГУ. Блейд-системы «Т-Платформы», служащие в качестве вычислительных узлов для суперкомпьютера «СКИФ МГУ», не только используют новейшие технологии Intel, такие, как четырехъядерные процессоры Intel Xeon Е54хх на базе 45-нм техпроцесса и НМС Intel 5400, но в отличие от других систем в этом форм-факторе уже сегодня обеспечивают совместимость со стандартами завтрашнего дня. Модули T-Blade совместимы с новым поколением системных плат и НМС Intel для процессоров следующего поколения Nehalem, а благодаря интеграции стандартных слотов расширения PCI-Express они поддерживают новое поколение интерконнекта QDR InfiniBand. Таким образом, эти системы уже сегодня формируют базу следующего, 4-го поколения суперкомпьютеров СКИФ.
О программе «СКИФ ГРИД»Суперкомпьютерная программа «СКИФ-ГРИД» Союзного государства России и Белоруссии («Разработка и использование программно-аппаратных средств grid-технологий перспективных высокопроизводительных (суперкомпьютерных) вычислительных систем семейства СКИФ) утверждена в апреле 2007 г. со сроком исполнения в 2010 г. Программа имеет целью развитие и поддержку оригинальных отечественных технологий высокопроизводительных вычислений, в том числе оригинальных средств для создания сервис-ориентированных grid-систем; разработку суперкомпьютеров семейства СКИФ (ряд 3 и ряд 4) и ПО для них; развертывание экспериментальной grid-системы «СКИФ-Полигон», объединяющей ресурсы нескольких отечественных суперкомпьютерных центров; выполнение ряда пилотных проектов. Государственные заказчики и координаторы союзной программы — Национальная академия наук Белоруссии и российское Федеральное агентство по науке и инновациям.
Партнерство с лидирующими производителями, такими, как Intel, дает возможность использовать в решениях СКИФ передовые достижения индустрии еще на этапе разработки. Intel обеспечивает исполнителям программы ранний доступ к программным и аппаратным новинкам, помощь в оптимизации ПО СКИФ для новых процессоров и запуске задач в распределенных grid-средах, специальные предложения для вузов по программе «СКИФ Университеты». Важно, что в «СКИФ МГУ» применена первая в России полнофункциональная программно-аппаратная система мониторинга разработки ИПС РАН, позволяющая удаленно управлять системой через единый иерархический Web-интерфейс на всех уровнях — от распределения процессорного времени для различных задач и управления нагрузкой системы хранения на верхнем уровне до контроля температуры, состояния блоков питания и автоматического изменения скорости вращения вентиляторов на вычислительных узлах. Вместе с оригинальным дистрибутивом ОС от ALT Linux, интегрирующим весь необходимый для работы кластера набор системного ПО, это решение позволит российским суперкомпьютерам удовлетворять самые высокие требования к управляемости и простоте использования.
Одна из сложнейших задач при строительстве мощных вычислительных установок СКИФ ряда 3 — организация надежной инженерной инфраструктуры суперкомпьютерных центров. Для «СКИФ МГУ», потребляющего до 720 кВт электроэнергии, спроектирована сложная система бесперебойного питания и охлаждения с использованием решений APC InfraStruXture. Только эти решения смогли обеспечить бесперебойное охлаждение 14 вычислительных стоек суперкомпьютера с энергопотреблением 28 кВт каждая.
Суперкомпьютеры семейства СКИФ создают новые возможности для решения научных задач, как фундаментальных, так и прикладных. Например, при помощи суперкомпьютеров в НИВЦ МГУ прогнозируют изменения в распределении вечной мерзлоты на территории России, что в конечном счете позволит предсказывать развитие и последствия глобального потепления. Огромных вычислительных ресурсов требуют задачи молекулярной биологии. Благодаря высокопроизводительным вычислениям специалистам НИВЦ менее чем за полтора года удалось найти несколько новых соединений для создания лекарства от смертельно опасных тромбозов и пройти путь от их синтеза и лабораторных исследований до предклинических испытаний.
Использование суперкомпьютерных мощностей позволяет вести работы в области новейших технологий, например, в разработке топливных элементов с использованием наноструктурированных материалов, позволяющих напрямую получать электрическую энергию из реакций водорода или метанола. Высокопроизводительные вычисления приобретают все большее значение и для проблем, непосредственно связанных с качеством жизни населения. Так, уже сегодня решаются задачи распространения загрязнений в городе, а также задачи, связанные с планированием градостроительных работ: благодаря компьютерному моделированию удается быстро определить скрытые под землей полости и дефекты конструкций.
Суперкомпьютер «СКИФ МГУ»В марте 2008 г. МГУ им. М. В. Ломоносова, ИПС РАН и компания «Т-Платформы» объявили о завершении строительства самого мощного в России, странах СНГ и Восточной Европы суперкомпьютера «СКИФ МГУ» в рамках суперкомпьютерной Программы «СКИФ-ГРИД». Пиковая производительность этого суперкомпьютера, построенного на базе 625 блейд-серверов производства «Т-Платформы» с 1250 четырехъядерными процессорами Intel Xeon E5472, составила 60 TFLOPS. Реальная производительность системы в тесте Linpack составила 47,04 TFLOPS, или 78,4% от пиковой — это лучший показатель эффективности среди всех систем на базе четырехъядерных процессоров Intel Xeon из первой сотни мирового списка Тор500. Реальная производительность суперкомпьютера «СКИФ МГУ» на тот момент соответствовала 22 позиции текущего рейтинга Тор500, что было абсолютным рекордом для России. Коме того, «СКИФ МГУ» стал седьмым по мощности среди всех суперкомпьютеров, использующихся в мировой системе образования. Московский университет первым среди высших учебных заведений России начал создавать мощные комплексы для современных супервычислений, основанных на совершенно новых на тот момент кластерных технологиях. Созданный в 1999 г. в МГУ кластер стал первым в системе образования и науки России.
Суперкомпьютер «СКИФ МГУ» построен на базе новейших технологических решений отрасли и использует целый ряд российских разработок, созданных в рамках суперкомпьютерных программ «СКИФ» и «СКИФ-ГРИД» Союзного государства. Основу суперкомпьютера составляют блейд-модули T-Blade от компании «Т-Платформы», позволяющие разместить 20 четырехъядерных процессоров Intel Xeon с частотой 3,0 ГГц в шасси высотой всего 5U и обеспечивающие наибольшую вычислительную плотность среди всех представленных на рынке блейд-решений на базе Intel. Напомним, что это первые блейд-решения в отрасли с интегрированной поддержкой НМС Intel 5400, что дает выигрыш в производительности реальных приложений до 30% и совместимость со следующим поколением процессоров Intel. Модули T-Blade также поддерживают любые стандартные виды интерконнекта и других внешних устройств благодаря слоту расширения PCI-Express 2.0. В качестве системной сети использована технология DDR InfiniBand с микросхемами компании Mellanox четвертого поколения. Архитектура этой реализации InfiniBand не только сокращает время задержки при передаче сообщений до 1,2 мкс и улучшает масштабируемость приложений, но и обеспечивает совместимость с новым, вдвое более производительным стандартом QDR InfiniBand. Таким образом, архитектура «СКИФ МГУ» уже сегодня ориентирована на технологии ближайшего будущего и позволяет легко и экономично модернизировать процессоры и интерконнект без замены блейд-модулей. Данная архитектура и технические решения приняты как базовые для ряда 4 суперкомпьютерного семейства СКИФ.
«СКИФ МГУ» впервые стал использовать российские программные средства для кластерных систем, создаваемые в рамках программы «СКИФ-ГРИД» и включающие специально разработанный кластерный дистрибутив ОС Linux, а также систему мониторинга и управления, которая объединяет информацию обо всех подсистемах суперкомпьютера в едином Web-интерфейсе. Инновационные программные разработки ИПС РАН и НИВЦ МГУ (OpenTS и X-Com) существенно упрощают разработку параллельных приложений и позволяют организовать распределенные вычисления с помощью разнородных вычислительных ресурсов.
«СКИФ МГУ» — законченное сбалансированное решение, включающее систему хранения данных с параллельной файловой системой T-Platforms ReadyStorage ActiveScale Cluster объемом 60 Тбайт, ленточную систему резервного копирования данных, выделенную подсистему мониторинга и управления с дублированием, подсистему бесперебойного электропитания и охлаждения с уровнем резервирования N+1. Параметры и состав всех подсистем подобраны таким образом, чтобы обеспечить максимальную эффективность выполнения пользовательских приложений. Так, система содержит вычислительные узлы с различными объемами памяти и дискового пространства для наиболее производительной работы различных приложений с индивидуальными требованиями к ресурсам. Большая часть вычислительных узлов не содержит жестких дисков, что улучшает отказоустойчивость системы. Бездисковая загрузка ОС в свою очередь упрощает администрирование: при любых обновлениях достаточно изменить только единый образ ОС на управляющем узле.
Общее энергопотребление суперкомпьютера в стандартном режиме составляет 520 кВт и может достигать 720 кВт при теоретически возможной пиковой нагрузке — этого хватит для отопления нескольких многоквартирных домов. Вся эта мощность сосредоточена на площади менее чем в 100 кв. м, причем температура в суперкомпьютерном центре не превышает 20°С. Для отвода тепла инженеры «Т-Платформы» спроектировали модульную систему охлаждения с герметичным «горячим коридором» между стойками с вычислительными узлами. Решение гарантирует отвод до 30 кВт тепловой энергии от каждой стойки, имеет уровень резервирования всех компонентов N+1 и в аварийном случае поддерживает температурный режим в помещении не менее 10 мин.
Новый суперкомпьютер для НИВЦ МГУ создан по плану работ суперкомпьютерной программы «СКИФ-ГРИД» на объединенные средства МГУ им. Ломоносова и программы «СКИФ-ГРИД», финансируемой из бюджета Союзного государства. Общая стоимость комплексного проекта составила 231 млн руб.
Суперкомпьютер «СКИФ Мономах»Компания «Т-Платформы», Владимирский государственный университет, ИПС РАН и корпорация Intel объявили об установке в университете суперкомпьютера семейства СКИФ на базе 128 четырехъядерных процессоров Intel Xeon серии 5345. Пиковая производительность «СКИФ Мономах» составила 4,7 TFLOPS, что позволило ему занять 12 место в рейтинге Top50 в СНГ. «СКИФ Мономах» станет основой лаборатории высокопроизводительных вычислений университета и даст ученым ВлГУ возможность участвовать в работе крупной научной grid-сети «СКИФ Полигон». Суперкомпьютер поставлен в рамках совместной программы «СКИФ Университеты», реализуемой компанией «Т-Платформы», ИПС РАН, НИВЦ МГУ им. Ломоносова и корпорацией Intel.
Суперкомпьютер на базе 64 четырехпроцессорных узлов с новыми процессорами Intel и системной сети InfiniBand укомплектован набором системного ПО, компиляторами Intel с языков Fortran и C/C++, средствами оптимизации Intel VTune Performance Analyzer 8.0, а также прикладными программными пакетами для промышленного моделирования ANSYS Mechanical, ANSYS CFD и DEFORM-3D.
Новый суперкомпьютер позволит университету готовить специалистов по высокопроизводительным вычислениям для региональной промышленности, а также проводить прикладные исследования и расчеты в интересах предприятий области. В числе таких «заказных» проектов на ближайшее будущее — целый ряд исследований в области радиоэлектроники, например, моделирование топологии интегральных схем на базе субмикронных технологий, моделирование дефектов для специализированных интегральных схем, анализ алгоритмов кодирования и шифрования для систем связи третьего и четвертого поколений, моделирование карты расположения и векторов направленности приемопередатчиков базовых станций, обеспечивающих устойчивую мобильную связь. Благодаря участию в распределенной сети «СКИФ Полигон» и совместной работе с лучшими командами СНГ в области высокопроизводительных вычислений ученые ВлГУ смогут быстрее и эффективнее использовать все возможности суперкомпьютера.
Среди приоритетных направлений использования «СКИФ Мономах» — инженерные промышленные расчеты для оптимизации процессов металлообработки и дизайна в машиностроении, медицинские исследования для создания искусственных органов и других биотехнических устройств. Руководство университета уделяет большое внимание развитию методов использования высокопроизводительных вычислений для решения экологических задач области, таких, как моделирование последствий прорыва плотины или аварий на химических предприятиях, прогнозы распространения лесных пожаров и загрязнений водной среды.
Во всемирный процесс активизации рынка высокопроизводительных вычислений (HPC) все активнее включается и Россия. В 2003 году компании Arbyte и Kraftway при поддержке корпорации Intel объявили о создании своих Центров компетенции на базе платформы Intel, деятельность которых, в том числе, будет направлена и на построение НРС-систем. Кроме того, компании Intel и IBM сообщили о том, что компания Paradigm, ведущий поставщик технологий для обработки геолого-геофизических данных и проектирования бурения для нефтегазовой отрасли, модернизировала свой расположенный в Москве центр обработки сейсмических данных, установив серверный кластер IBM из 34 двухпроцессорных серверов на базе процессоров Intel Xeon. Новая система ускорила работу ресурсоемких вычислительных приложений Paradigm за счет применения кластерных технологий на базе ОС Linux. Новые возможности проведения более точных расчетов, несомненно, увеличат конкурентоспособность российских нефтяных компаний на мировом рынке.
В июне 2004 г. представители компании «Т-Платформы», Института программных систем (ИПС) РАН и корпорации Intel объявили о создании четырехузлового кластера T-Bridge8i на базе процессоров Intel Itanium 2 и технологии InfiniBand, а также рассказали о перспективах использования данного решения в рамках программы «СКИФ». Кластер T-Bridge8i стал первой в России системой на основе процессоров Intel Itanium 2, двухпроцессорные узлы которой выполнены в конструктиве высотой 1U. Объединив в T-Bridge8i передовые достижения в области 64-разрядной процессорной архитектуры и кластерных коммуникаций, инженеры «Т-Платформы» построили уникальное по концентрации вычислительной мощности решение, обладающее широкими возможностями для масштабирования. Этот кластер предназначен для решения задач, требующих максимальной производительности вычислений с плавающей точкой, и может эффективно использоваться в различных отраслях промышленности и для научных расчетов. В рамках программы «СКИФ» T-Bridge8i будет применяться с целью адаптации для архитектуры Intel Itanium программного обеспечения, разработанного в рамках программы, а также для исследований в области GRID-технологий.
2005 год оказался довольно богатым на события в области суперкомпьютерных технологий. В России были завершены два крупных проекта, на очереди - еще один.
Двумя важнейшими из них стала установка суперкомпьютера МВС-15000BM отечественной разработки в Межведомственном Суперкомпьютерном Центре РАН (МСЦ) и установка на НПО кластера IBM eServer Cluster 1350, включающего 64 двухпроцессорных сервера IBM eServer xSeries 336. Последний является крупнейшей в России супер-ЭВМ используемой в промышленности и четвертым в совокупном рейтинге суперкомпьютеров на территории СНГ. НПО собирается использовать его в проектировании авиационных газотурбинных двигателей для самолетов гражданской авиации. На очереди - еще один крупный проект суперкомпьютера для Росгидромета, тендер на строительство которого выиграл системный интегратор i-Teco.
В частном секторе суперкомпьютеры используются для моделирования нефтяных скважин, краш-тестов, сложных аэродинамических и гидродинамических расчетов. Основными заказчиками выступают автомобильная, судостроительная, авиационная и нефтегазовая промышленность. По мнению экспертов, совокупный объем рынка больших вычислительных систем в России составляет $100-150 млн., причем видное место принадлежит отечественным разработчикам. В год устанавливается 3-4 суперкомпьютера с производительностью, близкой к 1 Терафлоп.
На сегодняшний день крупнейшими отечественными проектами в области суперкомпьютеров являются российский проект МВС и российско-белорусский СКИФ. Разработка СуперЭВМ проекта МВС финансировалась за счет средств Минпромнауки России, РАН, Минобразования России, РФФИ, Российского фонда технологического развития. В настоящее время машины этой серии установлены в МСЦ РАН и ряде региональных научных центров РАН (Казань, Екатеринбург, Новосибирск) и используются преимущественно для научных расчетов.
В настоящее время одним из разработчиков ПО для МВС является фирма InterProgma, работающая в Черноголовке в рамках уже существующего ИТ-парка. Компания в тесном сотрудничестве с ИПХФ РАН ведет разработку как базового программного обеспечения для крупномасштабного моделирования на суперкомпьютерных системах, т.е. программного обеспечения, позволяющего упростить и автоматизировать процесс распараллеливания, так и специального инженерного программного обеспечения для моделирования различных высокоэнергетических процессов в химической, атомной и аэрокосмической промышленности. Так, пакет IP-3D предназначен для численного моделирования газодинамических процессов в условиях экстремально высоких температур и давлений, невоспроизводимых в лабораторных условиях. Опыт работы на MBC1000M показали очень хорошую масштабируемость и высокую скорость вычисления данного пакета
Проект СКИФ финансировался за счет бюджетов России и Белоруссии в рамках союзной программы на паритетных началах. В настоящее время российско-белорусская программа СКИФ, объемом $10 млн., уже завершена, и в ходе ее реализации были созданы суперкомпьютеры СКИФ К-500 и СКИФ К-1000. Cтоимость СКИФ К-1000 составила $1,7 млн., что на порядок ниже стоимости иностранного аналога ($4 млн.). На сегодняшний день, основным пользователем данной разработки является белорусская сторона. СКИФ К-1000, установлен в Объединенном институте проблем информатики НАН Белоруссии, и уже сейчас используется не только учеными, но и крупнейшими предприятиями-экспортерами: МАЗом, БелАЗом, Белорусским тракторным заводом, Заводом карданных валов. Столь успешное внедрение суперкомпьютерных технологий в реальный сектор во многом объясняется тем, что доступ белорусских предприятий к СКИФу координируется государством и оплачивается из бюджета, поскольку сами предприятия находятся в государсвенной собственности.
В России же СКИФ и МВС пока воспринимаются лишь как академические проекты. Причина этого в том, что крупные российские машиностроительные корпорации, такие как НПО , предпочитают зарубежные суперЭВМ, поскольку отработанные прикладные решения от мировых лидеров, таких как IBM и HP уже снабжены готовым целевым ПО и средствами разработки, имеют лучший сервис. Сделать МВС и СКИФ востребованными для российской промышленности поможет создание общего вычислительного центра ориентированного на промышленный сектор, с распределенным доступом к машинному времени. Создание Центра резко удешевит затраты на обслуживание суперкомпьютера, а также ускорит процесс создания и систематизации ПО (написание драйверов, библиотек, стандартных приложений).
Продвижению отечественных суперкомпьютерных технологий в промышленной сектор России и за ее пределы будет способствовать рост отечественных компаний, способных конкурировать в данной сфере с транснациональными корпорациями. Такой компанией уже является , которая выступала в роли главного исполнителя СКИФ. Наряду с государственными и академическими структурами, клиентами компании являются , Rambler, рекрутинговая компания HeadHunter.ru, . были призаны лучшей компанией VI Венчурной Ярмарки в октябре 2005 года в Санкт-Петербурге.
Загрузка...
