eng
Выпуск #8/2013
М.Шейкин
Российские суперкомпьютерные технологии проблемы и перспективы
Российские суперкомпьютерные технологии проблемы и перспективы
Просмотры: 4101
С 26 по 29 ноября 2013 года в Институте программных систем имени А.К.Айламазяна РАН (Переславль-Залесский) прошел Второй национальный суперкомпьютерный форум (НСКФ-2013). Форум, ориентированный на всю отрасль, а не на конкретных участников рынка охватил все аспекты суперкомпьютерных технологий. В статье приведен обзор некоторых докладов форума, которые дают представление о перспективах и проблемах суперкомпьютерных технологий в России.
Несмотря на то что НСКФ проводился лишь во второй раз, он был поддержан всеми участниками российской суперкомпьютерной отрасли и по факту стал крупнейшим ежегодным мероприятием такого рода: в этом году в нем приняли участие 449 специалистов – представителей 170 организаций из
48 городов. Все организации, желавшие принять участие в форуме, получили возможность организовать собственные круглые столы, тренинги и т.д. Как и в прошлом году, качественный состав форума был на самом высоком уровне: половина участников имела ученую степень (среди них – шесть академиков, шесть член-корреспондентов РАН,
73 доктора наук, 134 кандидата), было много руководителей ведущих компаний российской суперкомпьютерной отрасли.
На форуме прозвучало 17 пленарных, 73 секционных и 20 стендовых докладов, прошли шесть мастер-классов и тренингов и три круглых стола. Двадцать организаций приняли участие в выставке, посвященной новым разработкам и наукоемким решениям суперкомпьютерной отрасли.
Внедрение суперкомпьютерных технологий имитационного моделирования
Одна из главных особенностей современного проектирования любых сложных изделий – моделирование поведения этих изделий с помощью компьютерных расчетов, не прибегая к экспериментам на реальных образцах. О текущем положении дел и планах внедрения суперкомпьютерных технологий в промышленности рассказал представитель Российского федерального ядерного центра (Всероссийского НИИ экспериментальной физики, РФЯЦ–ВНИИЭФ) А.С.Козелков.
Суперкомпьютерные технологии широко при-
меняются при моделировании как физических, так и химических и биологически процессов. Использование суперЭВМ позволяет не только получить комплексную полномасштабную модель технически сложного объекта с высокой степенью детализации, но и сократить сроки проведения экспериментов и число испытательных стендов. Анализ результатов моделирования позволяет улучшить характеристики продукции и, как следствие, ее качество и
конкурентоспособность.
Комплексное моделирование может применяться на различных этапах жизненного цикла изделий – от конструкторско-технологической отработки до утилизации – с целью оптимизации не только их конструкции, но и технологии производства, что в конечном итоге позволяет снизить стоимость продукции.
Докладчик подчеркнул важность разработки и внедрения суперкомпьютерных испытаний в стратегические отрасли промышленности – ракетно-космическую, авиа-, автомобилестроение, атомную энергетику, военно-промышленный комплекс и др. Традиционные методы инженерных расчетов, еще применяющиеся на предприятиях этих отраслей, не оправдывают себя. Недостаточные вычислительные мощности (менее 1 Тфлопс) вынуждают разработчиков применять вычисления фрагментарно, используя упрощенные модели и конструкции для расчета отдельных режимов и этапов, а не изделия в целом. При этом основная отработка изделий проводится на основе натурных испытаний, а расчеты играют роль лишь вспомогательного инструмента. В итоге большой объем натурных испытаний приводит к удлинению сроков разработки и повышению стоимости изделий.
Доступность же мощных вычислительных систем (10–100 Тфлопс) позволит проводить полномасштабное, комплексное моделирование и полностью отрабатывать деталь на основе компьютерных испытаний. Натурные испытания в этом случае проводятся лишь один, в некоторых случаях – два-три раза. Все это значительно уменьшает стоимость разработки и ее сроки. Иного инструмента, который позволит создавать конкурентоспособную продукцию мирового уровня, попросту нет.
Опыт стран – лидеров мирового рынка показывает, что залог развития суперкомпьютерной отрасли – мощная государственная поддержка. Так, в США были приняты законы "О поддержке суперкомпьютерных вычислений" (Public Law 102-194 the High Perfomance Computing Act of 1991) и "О технологическом, образовательном и научном превосходстве" (H.R. 2272, 2007), программы Министерства энергетики США ASC (развитие суперкомпьютерной индустрии США, в первую очередь в интересах поддержания и совершенствования ядерного арсенала) и ASCR (мирный аналог ASC) и др. Аналогичным образом суперкомпьютерная отрасль поддерживается правительственными программами и в Европе, становясь в итоге мощным оружием в конкурентной борьбе на рынке высоких технологий. Например, применив компьютерное моделирование, удалось на год сократить сроки разработки самолета Boeing-777, сэкономив при этом 2 млн. долл., а создатели Airbus-310 с помощью компьютерного моделирования смогли уменьшить лобовое сопротивление крыла самолета на 40%.
В 2009 году в России прошло выездное заседание Комиссии при Президенте РФ по вопросам модернизации и технологического развития экономики. На нем была поставлена задача разработки отечественных технологий проектирования и имитационного моделирования для суперЭВМ на основе базового программного обеспечения (протокол №2 от 22 июля 2009 года, утвержденный Президентом Российской Федерации 12.08.2009 №Пр-2129). Проект по развитию отечественных суперкомпьютеров и грид-технологий включает:
создание ПО для имитационного моделирования на суперЭВМ;
проектирование и разработку базового ряда
суперЭВМ;
создание и внедрение суперкомпьютерных технологий на предприятиях стратегических отраслей;
подготовку высококвалифицированных кадров в области суперкомпьютерных технологий;
создание инфраструктуры грид-сети для высокопроизводительных вычислений.
А.С.Козелков рассказал об успехах РФЯЦ–ВНИИЭФ в реализации этого проекта. В первом квартале 2011 года с опережением на девять месяцев была сдана в эксплуатацию сверхмощная суперЭВМ РФЯЦ–ВНИИЭФ, а в конце 2012 года ее производительность была увеличена в полтора раза – до 320 Тфлопс. Ресурсами суперЭВМ РФЯЦ–ВНИИЭФ пользуются 48 предприятий России. Также на предприятия было поставлено более 80 разработанных там же и не имеющих аналогов в России компактных суперЭВМ производительностью 1,1, 3 и 5 Тфлопс. В общем треть всех суперЭВМ, работающих на российских предприятиях, составляют вычислительные системы РФЯЦ–ВНИИЭФ.
Также в 2010–2012 годах для нужд предприятий авиастроительной и ракетно-космической отраслей, атомной энергетики и автомобилестроения были разработаны общие концепции виртуальных моделей и расчетно-экспериментальная база для их верификации и валидации. В 2013–2014 годах разрабатываются полномасштабные виртуальные модели, а на 2015–2020 годы планируется их промышленное внедрение.
Отечественное ПО
для имитационного моделирования
ПО имитационного моделирования – неотъемлемый компонент проектирования, разработки и сопровождения высокотехнологичных изделий на всех этапах их жизненного цикла. В ИТМФ
РФЯЦ–ВНИИЭФ в сотрудничестве с рядом предприятий атомной, ракетно-космической, авиа- и автомобилестроительной отраслей продолжается создание и внедрение отечественного ПО для комплексного имитационного моделирования на многопроцессорных системах. Об этом было рассказано в выступлениях А.С.Козелкова и А.А.Анищенко. В РФЯЦ–ВНИИЭФ были созданы следующие программные пакеты:
ЛОГОС-CFD – пакет для моделирования гидро- и аэродинамических процессов, турбулентных течений, тепломассопереноса, аэромеханики и акустики и т.д.;
ЛОГОС-Прочность (ЛЭГАК-ДК) – предназначен для моделирования динамической и статической прочностей, контактного взаимодействия, разрушения, детонации взрывчатых веществ и т.д.;
ДАНКО+ГЕПАРД – применяется для численного исследования поведения строительных конструкций и элементов оборудования АЭС при действии статических и динамических нагрузок;
НИМФА – позволяет моделировать течение жидкостей и перенос примесей в сложных геологических средах.
Ведется разработка пакета кросс-платформенных программных модулей ЛОГОС.ПреПост, дающих пользователю удобный интерфейс для создания расчетной модели, подготовки и запуска выбранного решателя, визуализации и постобработки полученных результатов. ЛОГОС.ПреПост должен заменить зарубежные аналоги, используемые для подготовки задач инженерного анализа, и обеспечить взаимодействие с современными многопроцессорными системами для полномасштабного имитационного моделирования инженерных задач с большим числом элементов сетки.
Суперкомпьютерный центр "Политехнический"
Санкт-Петербург значительно уступает Москве в доступных суперкомпьютерных вычислительных мощностях. Имеющиеся относительно мощные вычислительные системы изначально создавались для удовлетворения потребностей конкретных немногочисленных организаций, таких как СПбГУ, ФГУП ЦНИИ им. А.Н.Крылова и др. Появлению же новых доступных суперкомпьютерных систем и расширению возможностей имеющихся мешает высокая стоимость самих систем и ПО для них. О проекте создания суперкомпьютерного центра (СКЦ) коллективного пользования "Политехнический" на базе Санкт-Петербургского государственного политехнического университета (СПбГПУ) рассказал представитель этого вуза Е.П.Петухов.
Высокий авторитет СПбГПУ и его значимая роль во внедрении суперкомпьютерных технологий в России способствовали поддержке этой инициативы со стороны правительства. Федеральная целевая программа "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России" на 2014–2020 годы предусматривает реализацию предложенного СПбГПУ проекта в 2014–2015 годах. В рамках проекта стоимостью 1445 млн. руб. в строящемся научно-исследовательском корпусе будет установлена гетерогенная суперкомпьютерная система с инфраструктурой и комплектом ПО.
Процесс создания СКЦ был разделен на три этапа. В 2012 году завершилось формирование проектного облика центра, в 2013 году – техническое проектирование, а в 2015 году СКЦ будет полностью введен в эксплуатацию.
Структура СКЦ включает в себя четыре вычислительных сегмента, объединенных общей системой хранения данных:
гибридный кластер на основе многоядерных микропроцессоров и ускорителей вычислений;
вычислительная система с массовым параллелизмом и глобально-адресуемой памятью;
реконфигурируемая система на основе программируемых логических матриц;
вычислительная система для облачной инфраструктуры.
Гибридный кластер состоит из ~1000 вычислительных узлов на базе процессоров Intel, часть из которых планируется оснастить ускорителями NVIDIA Tesla и Intel Xeon Phi. Кластер будет обеспечивать основную вычислительную мощность системы – около 1 Пфлопс. Благодаря стандартной архитектуре ресурсы кластерной системы будут использоваться для решения самого широкого круга задач – от уникальных инженерных и естественнонаучных расчетов до массового использования в учебном процессе разных курсов и факультетов. Большая часть приобретаемого прикладного ПО будет применяться именно в этом кластере.
Вычислительная система с массовым параллелизмом будет иметь около 10 000 64-битных процессорных ядер с архитектурой x86 и 40 Тбайт оперативной памяти. Производительность системы будет превышать 100 Тфлопс. Особенности этой системы – сеть с топологией трехмерного тора, глобально-адресуемая память и возможность работы в режиме единого образа операционной системы. Система сможет работать под управлением обычных дистрибутивов Linux, что позволит решать задачи не только с помощью ПО с открытым исходным кодом, но и с помощью коммерческих прикладных программных комплексов, которые будут приобретаться для гибридного кластера.
Реконфигурируемая вычислительная система на основе программируемых логических матриц (ПЛИС) рассчитана на обработку и защиту информации и решение задач, связанных с некоторыми нестандартными вычислениями.
Кластер для реализации инфраструктуры облачных вычислений основывается на специализированной системе, которая будет содержать не менее 1200 процессорных ядер и отдельную систему хранения данных. Несколько узлов этого кластера будут оснащены графическими ускорителями для подготовки и обработки данных и итоговой визуализации результатов вычислений.
Общая система хранения данных будет доступна всем вычислительным сегментам, что позволит вести расчеты, использующие общие данные, на разных вычислителях. Полная емкость системы хранения составит около 1 Пбайт, а полезная запланирована в объеме не менее 600 Тбайт. В качестве файловой системы планируется использовать Lustre.
В проект заложена высокая энергоэффективность всех сегментов. В частности, энергоинформационная эффективность кластерного сегмента должна составлять не менее 1,4 Гфлопс/Вт, а показатель эффективности использования электро-
энергии в системе кондиционирования (PUE) – не ниже 1,25 в течение минимум одного года.
В рамках создания СКЦ СПбГПУ взаимодействует с ведущими мировыми производителями микропроцессоров, системного и прикладного ПО – Intel, NVIDIA, Ansys, MSC Software, Adaptive Computing и др.
Важно отметить, что создаваемый СКЦ будет оснащен практически всеми востребованными инженерным и научно-техническим сообществом программными инструментами. СПбГПУ рассматривает это обстоятельство как ключевое для эффективного взаимодействия центра с предприятиями промышленности и организациями науки. Это обстоятельство также будет способствовать внедрению новейших суперкомпьютерных технологий во все аспекты учебной и исследовательской деятельности университета.
Грид-центр для высокопроизводительных квантово-химических
и молекулярно-динамических расчетов
Из всех отраслей науки вычислительная (квантовая) химия, молекулярная динамика, молекулярное моделирование и сопряженные с ними области знаний более всего заинтересованы в высокопроизводительных вычислениях. В докладе представителя Института проблем химической физики РАН, доктора физ.-мат. наук, профессора В.М.Волохова было рассказано о проекте создания грид-центра для квантово-химических вычислений на базе имеющихся в ИПХФ мощностей и опыта.
Исследования, проводимые в этих областях науки, без применения сверхмощных параллельных и распределенных вычислительных ресурсов попросту неэффективны. Некоторые задачи оптимизации крупных молекулярных структур требуют выполнения до 109 отдельных расчетов. К примеру, одна из типичных задач – молекулярное моделирование, позволяющее предсказать наиболее выгодную для образования устойчивого комплекса ориентацию и положение молекул (докинг) с размерностью 200 атомов × 300 000 конфигураций × 1000 процессорных часов, – требует до 300 Пфлопс вычислительных мощностей.
Возрастающая потребность в вычислительных ресурсах для этой области науки подтверждается статистикой использования большинства суперкомпьютерных центров Европы и США, которые предоставляют для нужд биохимии, молекулярного моделирования, квантовой химии и нанотехнологических расчетов до 40% вычислительных мощностей. При этом существует устойчивая тенденция создания проблемно-ориентированных суперкомпьютерных центров (или же выделения фиксированных пулов ресурсов петафлопсных суперкомпьютеров), специализирующихся исключительно на квантово-химических и молекулярно-динамических расчетах.
К сожалению, при наличии в Российской Федерации мощных вычислительных суперкомпьютерных центров (МГУ, МСЦ, в г.Саров и т.п.), подобные проблемно-ориентированные центры достаточной мощности отсутствуют. Важность создания таких центров была особо подчеркнута в докладе В.М.Волохова.
ИПХФ с 2004 года ведет работу в области распределенных вычислений по программам Президиума РАН (Программа фундаментальных исследований), научно-техническим программам Союзного Государства (программы развития Национальной нанотехнологической сети (ГридННС)), федеральным целевым научно-техническим программам. В рамках этих проектов были выделены три направления исследований:
адаптация прикладного ПО для вычислительной химии к работе в параллельных средах и различных грид-инфраструктурах, в том числе для запуска задач на распределенных ресурсах;
развитие ресурсных грид-сайтов для нескольких распределенных сред, которые станут полигонами для проведения вычислительных экспериментов и решения реальных задач;
создание новых методик вычислений в параллельных и распределенных средах, связанных со спецификой применяемого ПО и основанных на внедрении новейших технологий вычислений (гибридные модели, виртуализация ресурсов и приложений, собственные авторские разработки и т.д.).
С 2004 года ИПХФ РАН – полноправный член вычислительных полигонов ВО RGSTEST консорциума EGEE-RDIG/EGI-[RU-NGI], СКИФ-Полигон, ВО Nanochem Национальной нанотехнологической сети (ГридННС) и российской грид-сети для высокопроизводительных вычислений. Ресурсные сайты всех этих полигонов были созданы и успешно функционируют на базе грид-кластера ИПХФ. Также были настроены полнофункциональные пользовательские интерфейсы для ряда прикладных программных пакетов в области квантовой химии и молекулярной динамики, позволяющие работать с вычислительными мощностями вплоть до нескольких тысяч CPU в условиях различных грид-сред. Был обеспечен доступ к входящим в состав грид-полигонов суперкомпьютерным установкам типа СКИФ-МГУ ("Чебышев"). Наконец, был создан веб-портал grid.icp.ac.ru, объединяющий несколько высокоуровневых веб-интерфейсов для запуска широкого класса задач химической физи-
ки и квантово-химических пакетов в различных распределенных средах. Таким образом, в ИПХФ был сформирован прототип проблемно-ориентированного вычислительного грид-центра.
В 2013 году на базе вычислительного кластера с пиковой производительностью около 15 Тфлопс, состоящего из 176 двухпроцессорных узлов HP Proliant на основе четырех- и шестиядерных процессоров Intel Xeon 5450 и 5670 частотой 3 ГГц и мини-кластера на базе двух высокопроизводительных гибридных узлов (по два шестиядерных процессора Intel Xeon X5675 частотой 3,46 ГГц и два графических ускорителя NVIDIA Tesla C2075) с пиковой производительностью около 2,6 Тфлопс, с применением существующего прототипа начато создание высокопроизводительного проблемно-ориентированного грид-сайта. Главные направления его работы – решение "тяжелых" задач квантовой химии и молекулярной динамики с применением новейших технологий параллельных, распределенных и гибридных вычислений, а также разработка и внедрение новых оригинальных методов вычислений для решения и оптимизации подобных задач. При этом основное внимание уделяется комбинированному применению новейших технологий и методов расчетов, в первую очередь гибридных вычислений, совместно с ранее разработанными методами расчетов в грид-средах. В результате будет создана сбалансированная проблемно-ориентированная структура, включающая:
комплекс разработанных методов расчетов;
центр компетенции ПО;
высокопроизводительные вычислительные ресурсы, ориентированные на решение задач квантовой химии и молекулярной динамики с поддержкой гибридной модели вычислений;
полноценный грид-сайт;
объединяющий все элементы в единое целое высокоуровневый веб-интерфейс.
Кроме рассказа о создании грид-центра, докладчик также отметил преимущества гибридных
вычислительных систем (центральный процес-
сор+графический ускоритель либо ускорители типа Intel Phi) для квантово-химических расчетов. Из-за стремительного развития гибридных вычислительных технологий множество приложений значительно быстрее работают на гибридных системах, чем на обычных многоядерных. В последнее время резко интенсифицировался перевод программного кода прикладных пакетов на параллельные вычисления с использованием сред CUDA и аналогичных ей. При этом программирование обновленного или создаваемого заново гибридного кода для квантово-химических и молекулярно-динамических пакетов занимает одну из ведущих позиций. Программирование соответствующей модели параллельных вычислений с использованием среды CUDA, которая обеспечивает набор абстракций, позволяющих выражать параллелизм и данных, и задач, существенно упростилось. Это дает возможность проводить высокоинтенсивные вычисления с применением встраиваемых в расчетные узлы кластеров высокопроизводительных графических ускорителей (NVIDIA Tesla и Kepler, AMD ATI Radeon), что значительно повышает эффективность применения параллельных методов расчетов и снижает требования к расчетным центрам и операционную стоимость расчетов, особенно при использовании большого числа вычислительных узлов. Применение методов параллелизации с использованием графических или физических ускорителей для прикладных пакетов в области квантовой химии и молекулярной динамики в большинстве случаев ведет к повышению эффективности расчетов на величины от десятков процентов до нескольких порядков либо, как вариант, дает возможность существенного повышения точности или детальности расчетов.
К сожалению, в России, несмотря на наличие достаточного количества ресурсов с технической поддержкой гибридных технологий, пока гораздо меньше внимания уделяется адаптации и тестированию прикладного ПО для работы в гибридной среде, что в значительной мере снижает эффективность использования дорогостоящих ускорителей.
Коммуникационная сеть "Ангара" для российских суперкомпьютеров
В большинстве современных высокопроизводительных компьютерных систем применяются коммерчески доступные сети InfiniBand и Ethernet. Заказные же сети занимают гораздо меньшую долю рынка, однако именно они используются в наиболее мощных суперкомпьютерах. Выступление представителя ОАО "НИЦЭВТ" А.С.Симонова началось с примеров самых мощных в мире вычислительных систем. Так, суперкомпьютеры, находящиеся на первых позициях списка Top500 (июнь 2013 года), – китайские Tianhe-2 и Tianhe-1A, японский K Computer, американские Cray Titan и IBM Blue Gene/Q – основаны на уникальных ("заказных") коммуникационных сетях в составе этих вычислительных систем и доступны только совместно с ними. Приобрести машины подобного уровня в России крайне сложно, если не невозможно. В то же время коммерчески доступные сети InfiniBand и Ethernet далеко не всегда подходят для эффективной реализации систем со столь высокими требованиями масштабируемости, надежности и производительности. Таким образом, вопрос разработки отечественной высокоскоростной сети, сравнимой с западными заказными аналогами, весьма актуален.
В нашей стране разработку коммуникационных сетей для суперкомпьютеров ведут несколько организаций – РФЯЦ–ВНИИЭФ, Институт программных систем РАН и РСК "СКИФ", ИПМ РАН и НИИ "Квант". В ОАО "НИЦЭВТ" с 2006 года ведется разработка коммуникационной сети "Ангара" – отечественной высокоскоростной сети с топологией четырехмерного тора, которая сможет стать основой для создания отечественных суперкомпьютеров. В 2013 году появились на свет маршрутизаторы сети "Ангара" первого поколения на базе СБИС ЕС8430.
Разработка сети "Ангара" началась в 2006 году с имитационного моделирования различных вариантов сети и изучения основных решений по топологии, архитектуре маршрутизатора, алгоритмам маршрутизации и арбитражу.
В процессе разработки коммуникационной сети перед инженерами встала задача нахождения оптимального соотношения цены, производительности, эффективности энергопотребления и других характеристик, зачастую конфликтующих между собой. Получалось так, что попытки улучшения одной характеристики приводили к ухудшению другой.
Помимо тороидальной топологии, рассматривались сети Кэйли и fat tree. Четырехмерный тор был выбран в силу более простой маршрутизации, хорошей масштабируемости и высокой связности по сравнению с торами меньшей размерности. Моделирование сети позволило изучить влияние различных параметров архитектуры сети на основные характеристики производительности, понять некоторые закономерности трафика
задач с интенсивным нерегулярным доступом к памяти. В результате были подобраны различ-
ные количественные характеристики будущего маршрутизатора, такие как оптимальные размеры буферов и число виртуальных каналов, и проанализированы потенциальные узкие места.
В 2007 году началось макетирование сети с помощью маршрутизаторов на базе ПЛИС FPGA. В 2008 году появились первые полнофункциональные прототипы маршрутизатора M2 на базе ПЛИС Xilinx Virtex-4, с применением которых был собран макет сети из шести узлов, соединенных в тор 3×2. На макете отлаживались базовые функции марш-
рутизатора и отрабатывалась отказоустойчивая передача данных, одновременно с этим было на-
писано и отлажено ПО. В сентябре 2010 года был запущен макет с прототипами маршрутизатора третьего поколения М3, состоящий из девяти узлов, соединенных в двухмерный тор 3×3, а в 2012 году – создан двухузловой макет для отладки высокоскоростных каналов передачи данных с пропускной способностью 12×6,25 Гбит/с. В 2013 году появилось первое поколение маршрутизаторов сети "Ангара" на базе СБИС (см. таблицу). На текущий момент продолжается их тестирование.
Кристалл СБИС ЕС8430 (рис.1) изготовлен на фабрике TSMC с использованием технологичес-
ких норм 65 нм, имеет размеры 13,0×10,5 мм, содержит 180 миллионов транзисторов. Он упакован в корпус FCBGA (flip-chip ball grid array) с 1521 выводом в виде массива 39×39 контактов с шагом 1 мм, размеры подложки – 40×40 мм. Плата сетевого адаптера (рис.2) изготавливается на собственном производстве в ОАО "НИЦЭВТ". СБИС работает на частоте 250/500 МГц (в зависимости от текущей скорости PCI Express) и потребляет 36 Вт. Плата маршрутизатора позволяет подключить до шести линков (восемь с платой расширения) с пропускной способностью 75 Гбит/с каждый. Взаимодействие адаптера с вычислительным узлом осуществляется через PCI Express 2.0×16 (80 Гбит/с, кодирование 8b/10b).
Продвигать сеть "Ангара" на рынок планируется двумя путями: в виде плат PCI Express для кластерных систем с коммерчески доступными серверными узлами и как компонент разрабатываемого в ОАО "НИЦЭВТ" суперкомпьютера транспетафлопсного уровня производительности.
Параллельно с выпуском СБИС первого поколения продолжается дальнейшая разработка и оптимизация архитектуры сети и готовится макет маршрутизатора М4 на базе ПЛИС Virtex-7. На основе опыта эксплуатации предыдущих макетов и кластера с маршрутизаторами на базе СБИС разрабатываются принципы работы сети "Ангара" второго поколения. Основные доработки будут направлены на поддержку большего числа топологий, повышение безопасности выполнения прикладных задач на узлах, добавление аппаратной поддержки атомарных операций с возвратом значений, оптимизацию RDMA-операций, поддержку технологии GPU Direct и множества потоков и процессов на узле.
Продолжение следует
48 городов. Все организации, желавшие принять участие в форуме, получили возможность организовать собственные круглые столы, тренинги и т.д. Как и в прошлом году, качественный состав форума был на самом высоком уровне: половина участников имела ученую степень (среди них – шесть академиков, шесть член-корреспондентов РАН,
73 доктора наук, 134 кандидата), было много руководителей ведущих компаний российской суперкомпьютерной отрасли.
На форуме прозвучало 17 пленарных, 73 секционных и 20 стендовых докладов, прошли шесть мастер-классов и тренингов и три круглых стола. Двадцать организаций приняли участие в выставке, посвященной новым разработкам и наукоемким решениям суперкомпьютерной отрасли.
Внедрение суперкомпьютерных технологий имитационного моделирования
Одна из главных особенностей современного проектирования любых сложных изделий – моделирование поведения этих изделий с помощью компьютерных расчетов, не прибегая к экспериментам на реальных образцах. О текущем положении дел и планах внедрения суперкомпьютерных технологий в промышленности рассказал представитель Российского федерального ядерного центра (Всероссийского НИИ экспериментальной физики, РФЯЦ–ВНИИЭФ) А.С.Козелков.
Суперкомпьютерные технологии широко при-
меняются при моделировании как физических, так и химических и биологически процессов. Использование суперЭВМ позволяет не только получить комплексную полномасштабную модель технически сложного объекта с высокой степенью детализации, но и сократить сроки проведения экспериментов и число испытательных стендов. Анализ результатов моделирования позволяет улучшить характеристики продукции и, как следствие, ее качество и
конкурентоспособность.
Комплексное моделирование может применяться на различных этапах жизненного цикла изделий – от конструкторско-технологической отработки до утилизации – с целью оптимизации не только их конструкции, но и технологии производства, что в конечном итоге позволяет снизить стоимость продукции.
Докладчик подчеркнул важность разработки и внедрения суперкомпьютерных испытаний в стратегические отрасли промышленности – ракетно-космическую, авиа-, автомобилестроение, атомную энергетику, военно-промышленный комплекс и др. Традиционные методы инженерных расчетов, еще применяющиеся на предприятиях этих отраслей, не оправдывают себя. Недостаточные вычислительные мощности (менее 1 Тфлопс) вынуждают разработчиков применять вычисления фрагментарно, используя упрощенные модели и конструкции для расчета отдельных режимов и этапов, а не изделия в целом. При этом основная отработка изделий проводится на основе натурных испытаний, а расчеты играют роль лишь вспомогательного инструмента. В итоге большой объем натурных испытаний приводит к удлинению сроков разработки и повышению стоимости изделий.
Доступность же мощных вычислительных систем (10–100 Тфлопс) позволит проводить полномасштабное, комплексное моделирование и полностью отрабатывать деталь на основе компьютерных испытаний. Натурные испытания в этом случае проводятся лишь один, в некоторых случаях – два-три раза. Все это значительно уменьшает стоимость разработки и ее сроки. Иного инструмента, который позволит создавать конкурентоспособную продукцию мирового уровня, попросту нет.
Опыт стран – лидеров мирового рынка показывает, что залог развития суперкомпьютерной отрасли – мощная государственная поддержка. Так, в США были приняты законы "О поддержке суперкомпьютерных вычислений" (Public Law 102-194 the High Perfomance Computing Act of 1991) и "О технологическом, образовательном и научном превосходстве" (H.R. 2272, 2007), программы Министерства энергетики США ASC (развитие суперкомпьютерной индустрии США, в первую очередь в интересах поддержания и совершенствования ядерного арсенала) и ASCR (мирный аналог ASC) и др. Аналогичным образом суперкомпьютерная отрасль поддерживается правительственными программами и в Европе, становясь в итоге мощным оружием в конкурентной борьбе на рынке высоких технологий. Например, применив компьютерное моделирование, удалось на год сократить сроки разработки самолета Boeing-777, сэкономив при этом 2 млн. долл., а создатели Airbus-310 с помощью компьютерного моделирования смогли уменьшить лобовое сопротивление крыла самолета на 40%.
В 2009 году в России прошло выездное заседание Комиссии при Президенте РФ по вопросам модернизации и технологического развития экономики. На нем была поставлена задача разработки отечественных технологий проектирования и имитационного моделирования для суперЭВМ на основе базового программного обеспечения (протокол №2 от 22 июля 2009 года, утвержденный Президентом Российской Федерации 12.08.2009 №Пр-2129). Проект по развитию отечественных суперкомпьютеров и грид-технологий включает:
создание ПО для имитационного моделирования на суперЭВМ;
проектирование и разработку базового ряда
суперЭВМ;
создание и внедрение суперкомпьютерных технологий на предприятиях стратегических отраслей;
подготовку высококвалифицированных кадров в области суперкомпьютерных технологий;
создание инфраструктуры грид-сети для высокопроизводительных вычислений.
А.С.Козелков рассказал об успехах РФЯЦ–ВНИИЭФ в реализации этого проекта. В первом квартале 2011 года с опережением на девять месяцев была сдана в эксплуатацию сверхмощная суперЭВМ РФЯЦ–ВНИИЭФ, а в конце 2012 года ее производительность была увеличена в полтора раза – до 320 Тфлопс. Ресурсами суперЭВМ РФЯЦ–ВНИИЭФ пользуются 48 предприятий России. Также на предприятия было поставлено более 80 разработанных там же и не имеющих аналогов в России компактных суперЭВМ производительностью 1,1, 3 и 5 Тфлопс. В общем треть всех суперЭВМ, работающих на российских предприятиях, составляют вычислительные системы РФЯЦ–ВНИИЭФ.
Также в 2010–2012 годах для нужд предприятий авиастроительной и ракетно-космической отраслей, атомной энергетики и автомобилестроения были разработаны общие концепции виртуальных моделей и расчетно-экспериментальная база для их верификации и валидации. В 2013–2014 годах разрабатываются полномасштабные виртуальные модели, а на 2015–2020 годы планируется их промышленное внедрение.
Отечественное ПО
для имитационного моделирования
ПО имитационного моделирования – неотъемлемый компонент проектирования, разработки и сопровождения высокотехнологичных изделий на всех этапах их жизненного цикла. В ИТМФ
РФЯЦ–ВНИИЭФ в сотрудничестве с рядом предприятий атомной, ракетно-космической, авиа- и автомобилестроительной отраслей продолжается создание и внедрение отечественного ПО для комплексного имитационного моделирования на многопроцессорных системах. Об этом было рассказано в выступлениях А.С.Козелкова и А.А.Анищенко. В РФЯЦ–ВНИИЭФ были созданы следующие программные пакеты:
ЛОГОС-CFD – пакет для моделирования гидро- и аэродинамических процессов, турбулентных течений, тепломассопереноса, аэромеханики и акустики и т.д.;
ЛОГОС-Прочность (ЛЭГАК-ДК) – предназначен для моделирования динамической и статической прочностей, контактного взаимодействия, разрушения, детонации взрывчатых веществ и т.д.;
ДАНКО+ГЕПАРД – применяется для численного исследования поведения строительных конструкций и элементов оборудования АЭС при действии статических и динамических нагрузок;
НИМФА – позволяет моделировать течение жидкостей и перенос примесей в сложных геологических средах.
Ведется разработка пакета кросс-платформенных программных модулей ЛОГОС.ПреПост, дающих пользователю удобный интерфейс для создания расчетной модели, подготовки и запуска выбранного решателя, визуализации и постобработки полученных результатов. ЛОГОС.ПреПост должен заменить зарубежные аналоги, используемые для подготовки задач инженерного анализа, и обеспечить взаимодействие с современными многопроцессорными системами для полномасштабного имитационного моделирования инженерных задач с большим числом элементов сетки.
Суперкомпьютерный центр "Политехнический"
Санкт-Петербург значительно уступает Москве в доступных суперкомпьютерных вычислительных мощностях. Имеющиеся относительно мощные вычислительные системы изначально создавались для удовлетворения потребностей конкретных немногочисленных организаций, таких как СПбГУ, ФГУП ЦНИИ им. А.Н.Крылова и др. Появлению же новых доступных суперкомпьютерных систем и расширению возможностей имеющихся мешает высокая стоимость самих систем и ПО для них. О проекте создания суперкомпьютерного центра (СКЦ) коллективного пользования "Политехнический" на базе Санкт-Петербургского государственного политехнического университета (СПбГПУ) рассказал представитель этого вуза Е.П.Петухов.
Высокий авторитет СПбГПУ и его значимая роль во внедрении суперкомпьютерных технологий в России способствовали поддержке этой инициативы со стороны правительства. Федеральная целевая программа "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России" на 2014–2020 годы предусматривает реализацию предложенного СПбГПУ проекта в 2014–2015 годах. В рамках проекта стоимостью 1445 млн. руб. в строящемся научно-исследовательском корпусе будет установлена гетерогенная суперкомпьютерная система с инфраструктурой и комплектом ПО.
Процесс создания СКЦ был разделен на три этапа. В 2012 году завершилось формирование проектного облика центра, в 2013 году – техническое проектирование, а в 2015 году СКЦ будет полностью введен в эксплуатацию.
Структура СКЦ включает в себя четыре вычислительных сегмента, объединенных общей системой хранения данных:
гибридный кластер на основе многоядерных микропроцессоров и ускорителей вычислений;
вычислительная система с массовым параллелизмом и глобально-адресуемой памятью;
реконфигурируемая система на основе программируемых логических матриц;
вычислительная система для облачной инфраструктуры.
Гибридный кластер состоит из ~1000 вычислительных узлов на базе процессоров Intel, часть из которых планируется оснастить ускорителями NVIDIA Tesla и Intel Xeon Phi. Кластер будет обеспечивать основную вычислительную мощность системы – около 1 Пфлопс. Благодаря стандартной архитектуре ресурсы кластерной системы будут использоваться для решения самого широкого круга задач – от уникальных инженерных и естественнонаучных расчетов до массового использования в учебном процессе разных курсов и факультетов. Большая часть приобретаемого прикладного ПО будет применяться именно в этом кластере.
Вычислительная система с массовым параллелизмом будет иметь около 10 000 64-битных процессорных ядер с архитектурой x86 и 40 Тбайт оперативной памяти. Производительность системы будет превышать 100 Тфлопс. Особенности этой системы – сеть с топологией трехмерного тора, глобально-адресуемая память и возможность работы в режиме единого образа операционной системы. Система сможет работать под управлением обычных дистрибутивов Linux, что позволит решать задачи не только с помощью ПО с открытым исходным кодом, но и с помощью коммерческих прикладных программных комплексов, которые будут приобретаться для гибридного кластера.
Реконфигурируемая вычислительная система на основе программируемых логических матриц (ПЛИС) рассчитана на обработку и защиту информации и решение задач, связанных с некоторыми нестандартными вычислениями.
Кластер для реализации инфраструктуры облачных вычислений основывается на специализированной системе, которая будет содержать не менее 1200 процессорных ядер и отдельную систему хранения данных. Несколько узлов этого кластера будут оснащены графическими ускорителями для подготовки и обработки данных и итоговой визуализации результатов вычислений.
Общая система хранения данных будет доступна всем вычислительным сегментам, что позволит вести расчеты, использующие общие данные, на разных вычислителях. Полная емкость системы хранения составит около 1 Пбайт, а полезная запланирована в объеме не менее 600 Тбайт. В качестве файловой системы планируется использовать Lustre.
В проект заложена высокая энергоэффективность всех сегментов. В частности, энергоинформационная эффективность кластерного сегмента должна составлять не менее 1,4 Гфлопс/Вт, а показатель эффективности использования электро-
энергии в системе кондиционирования (PUE) – не ниже 1,25 в течение минимум одного года.
В рамках создания СКЦ СПбГПУ взаимодействует с ведущими мировыми производителями микропроцессоров, системного и прикладного ПО – Intel, NVIDIA, Ansys, MSC Software, Adaptive Computing и др.
Важно отметить, что создаваемый СКЦ будет оснащен практически всеми востребованными инженерным и научно-техническим сообществом программными инструментами. СПбГПУ рассматривает это обстоятельство как ключевое для эффективного взаимодействия центра с предприятиями промышленности и организациями науки. Это обстоятельство также будет способствовать внедрению новейших суперкомпьютерных технологий во все аспекты учебной и исследовательской деятельности университета.
Грид-центр для высокопроизводительных квантово-химических
и молекулярно-динамических расчетов
Из всех отраслей науки вычислительная (квантовая) химия, молекулярная динамика, молекулярное моделирование и сопряженные с ними области знаний более всего заинтересованы в высокопроизводительных вычислениях. В докладе представителя Института проблем химической физики РАН, доктора физ.-мат. наук, профессора В.М.Волохова было рассказано о проекте создания грид-центра для квантово-химических вычислений на базе имеющихся в ИПХФ мощностей и опыта.
Исследования, проводимые в этих областях науки, без применения сверхмощных параллельных и распределенных вычислительных ресурсов попросту неэффективны. Некоторые задачи оптимизации крупных молекулярных структур требуют выполнения до 109 отдельных расчетов. К примеру, одна из типичных задач – молекулярное моделирование, позволяющее предсказать наиболее выгодную для образования устойчивого комплекса ориентацию и положение молекул (докинг) с размерностью 200 атомов × 300 000 конфигураций × 1000 процессорных часов, – требует до 300 Пфлопс вычислительных мощностей.
Возрастающая потребность в вычислительных ресурсах для этой области науки подтверждается статистикой использования большинства суперкомпьютерных центров Европы и США, которые предоставляют для нужд биохимии, молекулярного моделирования, квантовой химии и нанотехнологических расчетов до 40% вычислительных мощностей. При этом существует устойчивая тенденция создания проблемно-ориентированных суперкомпьютерных центров (или же выделения фиксированных пулов ресурсов петафлопсных суперкомпьютеров), специализирующихся исключительно на квантово-химических и молекулярно-динамических расчетах.
К сожалению, при наличии в Российской Федерации мощных вычислительных суперкомпьютерных центров (МГУ, МСЦ, в г.Саров и т.п.), подобные проблемно-ориентированные центры достаточной мощности отсутствуют. Важность создания таких центров была особо подчеркнута в докладе В.М.Волохова.
ИПХФ с 2004 года ведет работу в области распределенных вычислений по программам Президиума РАН (Программа фундаментальных исследований), научно-техническим программам Союзного Государства (программы развития Национальной нанотехнологической сети (ГридННС)), федеральным целевым научно-техническим программам. В рамках этих проектов были выделены три направления исследований:
адаптация прикладного ПО для вычислительной химии к работе в параллельных средах и различных грид-инфраструктурах, в том числе для запуска задач на распределенных ресурсах;
развитие ресурсных грид-сайтов для нескольких распределенных сред, которые станут полигонами для проведения вычислительных экспериментов и решения реальных задач;
создание новых методик вычислений в параллельных и распределенных средах, связанных со спецификой применяемого ПО и основанных на внедрении новейших технологий вычислений (гибридные модели, виртуализация ресурсов и приложений, собственные авторские разработки и т.д.).
С 2004 года ИПХФ РАН – полноправный член вычислительных полигонов ВО RGSTEST консорциума EGEE-RDIG/EGI-[RU-NGI], СКИФ-Полигон, ВО Nanochem Национальной нанотехнологической сети (ГридННС) и российской грид-сети для высокопроизводительных вычислений. Ресурсные сайты всех этих полигонов были созданы и успешно функционируют на базе грид-кластера ИПХФ. Также были настроены полнофункциональные пользовательские интерфейсы для ряда прикладных программных пакетов в области квантовой химии и молекулярной динамики, позволяющие работать с вычислительными мощностями вплоть до нескольких тысяч CPU в условиях различных грид-сред. Был обеспечен доступ к входящим в состав грид-полигонов суперкомпьютерным установкам типа СКИФ-МГУ ("Чебышев"). Наконец, был создан веб-портал grid.icp.ac.ru, объединяющий несколько высокоуровневых веб-интерфейсов для запуска широкого класса задач химической физи-
ки и квантово-химических пакетов в различных распределенных средах. Таким образом, в ИПХФ был сформирован прототип проблемно-ориентированного вычислительного грид-центра.
В 2013 году на базе вычислительного кластера с пиковой производительностью около 15 Тфлопс, состоящего из 176 двухпроцессорных узлов HP Proliant на основе четырех- и шестиядерных процессоров Intel Xeon 5450 и 5670 частотой 3 ГГц и мини-кластера на базе двух высокопроизводительных гибридных узлов (по два шестиядерных процессора Intel Xeon X5675 частотой 3,46 ГГц и два графических ускорителя NVIDIA Tesla C2075) с пиковой производительностью около 2,6 Тфлопс, с применением существующего прототипа начато создание высокопроизводительного проблемно-ориентированного грид-сайта. Главные направления его работы – решение "тяжелых" задач квантовой химии и молекулярной динамики с применением новейших технологий параллельных, распределенных и гибридных вычислений, а также разработка и внедрение новых оригинальных методов вычислений для решения и оптимизации подобных задач. При этом основное внимание уделяется комбинированному применению новейших технологий и методов расчетов, в первую очередь гибридных вычислений, совместно с ранее разработанными методами расчетов в грид-средах. В результате будет создана сбалансированная проблемно-ориентированная структура, включающая:
комплекс разработанных методов расчетов;
центр компетенции ПО;
высокопроизводительные вычислительные ресурсы, ориентированные на решение задач квантовой химии и молекулярной динамики с поддержкой гибридной модели вычислений;
полноценный грид-сайт;
объединяющий все элементы в единое целое высокоуровневый веб-интерфейс.
Кроме рассказа о создании грид-центра, докладчик также отметил преимущества гибридных
вычислительных систем (центральный процес-
сор+графический ускоритель либо ускорители типа Intel Phi) для квантово-химических расчетов. Из-за стремительного развития гибридных вычислительных технологий множество приложений значительно быстрее работают на гибридных системах, чем на обычных многоядерных. В последнее время резко интенсифицировался перевод программного кода прикладных пакетов на параллельные вычисления с использованием сред CUDA и аналогичных ей. При этом программирование обновленного или создаваемого заново гибридного кода для квантово-химических и молекулярно-динамических пакетов занимает одну из ведущих позиций. Программирование соответствующей модели параллельных вычислений с использованием среды CUDA, которая обеспечивает набор абстракций, позволяющих выражать параллелизм и данных, и задач, существенно упростилось. Это дает возможность проводить высокоинтенсивные вычисления с применением встраиваемых в расчетные узлы кластеров высокопроизводительных графических ускорителей (NVIDIA Tesla и Kepler, AMD ATI Radeon), что значительно повышает эффективность применения параллельных методов расчетов и снижает требования к расчетным центрам и операционную стоимость расчетов, особенно при использовании большого числа вычислительных узлов. Применение методов параллелизации с использованием графических или физических ускорителей для прикладных пакетов в области квантовой химии и молекулярной динамики в большинстве случаев ведет к повышению эффективности расчетов на величины от десятков процентов до нескольких порядков либо, как вариант, дает возможность существенного повышения точности или детальности расчетов.
К сожалению, в России, несмотря на наличие достаточного количества ресурсов с технической поддержкой гибридных технологий, пока гораздо меньше внимания уделяется адаптации и тестированию прикладного ПО для работы в гибридной среде, что в значительной мере снижает эффективность использования дорогостоящих ускорителей.
Коммуникационная сеть "Ангара" для российских суперкомпьютеров
В большинстве современных высокопроизводительных компьютерных систем применяются коммерчески доступные сети InfiniBand и Ethernet. Заказные же сети занимают гораздо меньшую долю рынка, однако именно они используются в наиболее мощных суперкомпьютерах. Выступление представителя ОАО "НИЦЭВТ" А.С.Симонова началось с примеров самых мощных в мире вычислительных систем. Так, суперкомпьютеры, находящиеся на первых позициях списка Top500 (июнь 2013 года), – китайские Tianhe-2 и Tianhe-1A, японский K Computer, американские Cray Titan и IBM Blue Gene/Q – основаны на уникальных ("заказных") коммуникационных сетях в составе этих вычислительных систем и доступны только совместно с ними. Приобрести машины подобного уровня в России крайне сложно, если не невозможно. В то же время коммерчески доступные сети InfiniBand и Ethernet далеко не всегда подходят для эффективной реализации систем со столь высокими требованиями масштабируемости, надежности и производительности. Таким образом, вопрос разработки отечественной высокоскоростной сети, сравнимой с западными заказными аналогами, весьма актуален.
В нашей стране разработку коммуникационных сетей для суперкомпьютеров ведут несколько организаций – РФЯЦ–ВНИИЭФ, Институт программных систем РАН и РСК "СКИФ", ИПМ РАН и НИИ "Квант". В ОАО "НИЦЭВТ" с 2006 года ведется разработка коммуникационной сети "Ангара" – отечественной высокоскоростной сети с топологией четырехмерного тора, которая сможет стать основой для создания отечественных суперкомпьютеров. В 2013 году появились на свет маршрутизаторы сети "Ангара" первого поколения на базе СБИС ЕС8430.
Разработка сети "Ангара" началась в 2006 году с имитационного моделирования различных вариантов сети и изучения основных решений по топологии, архитектуре маршрутизатора, алгоритмам маршрутизации и арбитражу.
В процессе разработки коммуникационной сети перед инженерами встала задача нахождения оптимального соотношения цены, производительности, эффективности энергопотребления и других характеристик, зачастую конфликтующих между собой. Получалось так, что попытки улучшения одной характеристики приводили к ухудшению другой.
Помимо тороидальной топологии, рассматривались сети Кэйли и fat tree. Четырехмерный тор был выбран в силу более простой маршрутизации, хорошей масштабируемости и высокой связности по сравнению с торами меньшей размерности. Моделирование сети позволило изучить влияние различных параметров архитектуры сети на основные характеристики производительности, понять некоторые закономерности трафика
задач с интенсивным нерегулярным доступом к памяти. В результате были подобраны различ-
ные количественные характеристики будущего маршрутизатора, такие как оптимальные размеры буферов и число виртуальных каналов, и проанализированы потенциальные узкие места.
В 2007 году началось макетирование сети с помощью маршрутизаторов на базе ПЛИС FPGA. В 2008 году появились первые полнофункциональные прототипы маршрутизатора M2 на базе ПЛИС Xilinx Virtex-4, с применением которых был собран макет сети из шести узлов, соединенных в тор 3×2. На макете отлаживались базовые функции марш-
рутизатора и отрабатывалась отказоустойчивая передача данных, одновременно с этим было на-
писано и отлажено ПО. В сентябре 2010 года был запущен макет с прототипами маршрутизатора третьего поколения М3, состоящий из девяти узлов, соединенных в двухмерный тор 3×3, а в 2012 году – создан двухузловой макет для отладки высокоскоростных каналов передачи данных с пропускной способностью 12×6,25 Гбит/с. В 2013 году появилось первое поколение маршрутизаторов сети "Ангара" на базе СБИС (см. таблицу). На текущий момент продолжается их тестирование.
Кристалл СБИС ЕС8430 (рис.1) изготовлен на фабрике TSMC с использованием технологичес-
ких норм 65 нм, имеет размеры 13,0×10,5 мм, содержит 180 миллионов транзисторов. Он упакован в корпус FCBGA (flip-chip ball grid array) с 1521 выводом в виде массива 39×39 контактов с шагом 1 мм, размеры подложки – 40×40 мм. Плата сетевого адаптера (рис.2) изготавливается на собственном производстве в ОАО "НИЦЭВТ". СБИС работает на частоте 250/500 МГц (в зависимости от текущей скорости PCI Express) и потребляет 36 Вт. Плата маршрутизатора позволяет подключить до шести линков (восемь с платой расширения) с пропускной способностью 75 Гбит/с каждый. Взаимодействие адаптера с вычислительным узлом осуществляется через PCI Express 2.0×16 (80 Гбит/с, кодирование 8b/10b).
Продвигать сеть "Ангара" на рынок планируется двумя путями: в виде плат PCI Express для кластерных систем с коммерчески доступными серверными узлами и как компонент разрабатываемого в ОАО "НИЦЭВТ" суперкомпьютера транспетафлопсного уровня производительности.
Параллельно с выпуском СБИС первого поколения продолжается дальнейшая разработка и оптимизация архитектуры сети и готовится макет маршрутизатора М4 на базе ПЛИС Virtex-7. На основе опыта эксплуатации предыдущих макетов и кластера с маршрутизаторами на базе СБИС разрабатываются принципы работы сети "Ангара" второго поколения. Основные доработки будут направлены на поддержку большего числа топологий, повышение безопасности выполнения прикладных задач на узлах, добавление аппаратной поддержки атомарных операций с возвратом значений, оптимизацию RDMA-операций, поддержку технологии GPU Direct и множества потоков и процессов на узле.
Продолжение следует
Отзывы читателей
