ⓘ Тесты производительности LINPACK. Тесты LINPACK служат для измерения вычислительной производительности компьютеров при обработке чисел с плавающей запятой. Созд ..

                                     

ⓘ Тесты производительности LINPACK

Тесты LINPACK служат для измерения вычислительной производительности компьютеров при обработке чисел с плавающей запятой. Созданы Джеком Донгаррой в 1979, измеряют скорость решения компьютером плотной системы линейных уравнений Ax=b, где A является матрицей размера n на n. Подобная задача часто возникает в области машиностроения.

Последняя версия этих тестов производительности используется для составления рейтинга TOP500, списка, в котором перечислены самые высокопроизводительные суперкомпьютеры в мире.

Целью создания тестов является оценка скорости решения компьютером реальных задач. Однако оценка при помощи одного теста является упрощением, поскольку ни одна вычислительная задача не может отражать общую производительность компьютерной системы. Производительность теста LINPACK предоставить данные для уточнения пиковой производительности, предоставляемой производителем компьютера. Пиковая производительность - это максимальная теоретическая производительность, которую может достичь компьютер, рассчитанная как произведение тактовой частоты процессора на число операций выполняемых за такт. Фактическая производительность всегда будет ниже максимальной производительности. Производительность компьютера представляет собой сложную характеристику, которая зависит от множества взаимосвязанных компонентов. Производительность, измеренная эталонным тестом LINPACK показывает количество операций над 64-битными числами с плавающей запятой сложений и умножений, которые компьютер выполнял за секунду, соотношение, обозначаемое "FLOPS". Однако производительность компьютера при работе с реальными приложениями, вероятно, будет значительно ниже максимальной производительности, достигаемой при выполнении соразмерного теста LINPACK.

Название этих тестов получено пакета LINPACK, набора алгебраических подпрограмм Фортрана, широко использовавшихся в 1980-х годах и изначально тесно связанных с тестом LINPACK. С тех пор пакет LINPACK был заменен другими библиотеками.

                                     

1. История

Тест производительности LINPACK впервые появился в 1979 году как приложение к руководству пользователя библиотеки математических функций LINPACK.

LINPACK был разработан, чтобы помочь пользователям оценить время, необходимое их компьютерным системам для решения задач при помощи пакета LINPACK. Для этого экстраполируются результаты производительности, полученные на 23 разных компьютерах, решающих задачу с размером матрицы 100 на 100 элементов.

Этот размер задачи был выбран с учетом характерных размеров памяти и производительности процессоров в ту эпоху:

  • 10000 чисел с плавающей запятой со значением от −1 до 1 генерируются случайным образом для заполнения общей плотной матрицы,
  • затем производится замер длительности LU-разложения с частичным поворотом.

За последующие годы были выпущены дополнительные версии с увеличенными различными размерами задач, например с матрицами в 300 на 300 и 1000 на 1000 чисел. Также появились реализации, использующие аппаратные возможности по ускорению операций матрица-вектор и матрица-матрица. Параллельная обработка данных появилась в варианте теста LINPACK Parallel в конце 1980-х годов.

В 1991 году тест LINPACK был модифицирован для решения задач произвольного размера, что позволило высокопроизводительным компьютерам HPC приблизиться к своей асимптотической производительности.

С 1993 года этот тест начал использоваться для составления рейтинга TOP500.

                                     

2.1. Тесты производительности LINPACK 100

LINPACK 100 очень близок к оригинальному тесту, опубликованному в 1979 году в руководстве пользователя LINPACK ISBN 089871172X. Решение СЛАУ производится методом исключения Гаусса с частичным поворотом, с выполнением 2 / 3 n³ + 2n² операций над числами с плавающей точкой, где n равно 100, а плотная матрица A имеет размер 100 на 100. Малый размер матрицы и отсутствие программной гибкости не многим современным компьютерам продемонстрировать на этом тесте производительность, близкую к максимальной. Тем не менее, этот тест все еще может быть полезным при прогнозировании производительности в численно интенсивном пользовательском коде, скомпилированном с оптимизациями.

                                     

2.2. Тесты производительности LINPACK 1000

LINPACK 1000 увеличивает размер матрицы до 1000 на 1000 элементов и обеспечивает производительность, более близкую к максимальной для компьютера. Допускаются изменения в алгоритме, однако не допускается снижение относительной точности решения. При подсчете производительности теста всегда используется формула для количества выполненных плавающих операций 2 / 3n³ + 2n², при значении n = 1000.

                                     

2.3. Тесты производительности HPLinpack

Предыдущие поколения теста не подходили для тестирования параллельных компьютеров, и был разработан так называемый тест "Linpack’s Highly Parallel Computing", он же HPLinpack. В новом тесте размер задачи n может быть увеличен до размера, необходимого для оптимизации результатов работы машины. Все еще используется формула числа операций 2 / 3n³ + 2n², независимо от фактически используемого алгоритма. Использование алгоритма Штрассена не допускается, поскольку оно искажает реальную скорость выполнения. Точность найденного решения должна быть такой, чтобы выполнялось следующее свойство:

‖ A x − b ‖ ‖ A ‖ ‖ x ‖ n ϵ ≤ O 1 {\displaystyle {\lVert Ax-b\rVert \over \lVert A\rVert \lVert x\rVert n\epsilon }\leq O1}, где ϵ {\displaystyle \epsilon } это точность машины, а n это размер задачи, ‖ ⋅ ‖ {\displaystyle \lVert \cdot \rVert } это норма матрицы, а O 1 {\displaystyle O1} соответствует обозначению big-O "O" большое.

Для каждой компьютерной системы сообщаются следующие величины:

  • N 1/2: размер, при котором достигается половина от производительности Rmax.
  • R peak: теоретическая пиковая производительность в GFLOPS для машины.
  • N max: размер самой большой проблемы, выполненной на машине.
  • R max: производительность в GFLOPS для самой большой проблемы, выполненной на машине.

Эти результаты используются для составления списка TOP500 самых производительных суперкомпьютеров в мире, а также Green500. Публикуется два раза в год.



                                     

3.1. Реализация тестов LINPACK HPL

HPL - мобильная реализация задачи HPLinpack, созданная на языке программирования Си. Изначально она служила примером реализации, но затем стала широко использоваться для получения данных для списка TOP500, хотя могут использоваться и иные реализации и пакеты. HPL создает линейную систему уравнений порядка n со случайными коэффициентами и затем решает её, используя LU-разложение с частичным поворотом строк. Для работы реализации требуются установленные реализации MPI библиотеки передачи сообщений и математическая библиотека: BLAS, либо VSIPL.

В целом, данная реализация имеет следующие характеристики:

  • Алгоритм обмена-рассылки с уменьшенными требованиями к пропускной способности.
  • Шесть различных методов групповой рассылки данных broadcast.
  • Циклическое распределение данных в плоской решетке в 2D блоках.
  • LU-разложение в варианте с просмотром правого элемента и различной глубиной упреждения look-ahead.
  • Рекурсивная факторизация панелей.
  • Обратная подстановка с упреждением на глубину 1.
                                     

4. Критика

Иногда заявляется, что успех теста LINPACK связан с хорошей масштабируемостью задачи HPLinpack, тому, что результатом теста является одно число, простое для сравнения, и большим количеством исторических данных. Однако уже вскоре после его появления тест LINPACK подвергся критике за демонстрирование уровней производительности, "как правило, недоступных для всех, кроме очень небольшого числа программистов, утомительно оптимизирующих свой код для данного компьютера и только для него". Бенчмарк проверяет скорость решения плотных линейных систем, но эта задача не является репрезентативной для всех операций, обычно производимых в научных вычислениях. Джек Донгарра, соавтор тестов LINPACK и списка TOP500, отмечал что эти тесты уделяют больше значения только "пиковой" скорости процессора и их числу, недостаточно при этом нагружая локальные шины памяти и сетевые межсоединения.

Том Даннинг-младший, директор Национального центра суперкомпьютерных приложений описал тесте LINPACK так: "Тест Linpack - одно из тех интересных явлений, полезность которых высмеивается почти каждым, кто знает о нём. Они понимают его ограничения, но тест пользуется популярностью, поскольку показывает одно число и использовался на протяжении многих лет."

По словам Донгарры, "организаторы рейтинга Top500 активно стремятся расширить охват сравнительных тестов производительности", поскольку "важно включить больше характеристик производительности и сигнатур для каждого участника рейтинга". Один из вариантов дополнения тестов для TOP500 - набор HPC Challenge Benchmark. С появлением суперкомпьютеров петафлопсного уровня производительности Petascale, был предложен тест Graph500, измеряющий число пройденных ребер в секунду TEPS в качестве альтернативы FLOPS, измеряемой LINPACK. Другой альтернативой является тест производительности HPCG, предложенный Донгаррой.



                                     

4.1. Критика Время выполнения теста

По словам Джека Донгарры, время работы теста HPLinpack, необходимое для получения хороших результатов постепенно увеличивается. На конференции в 2010 году он заявил, что уже через "несколько лет" ожидает увеличения длительности запуска до порядка 2.5 дней.

                                     
  • под названием LINPACK часто понимают тесты производительности LINPACK решение плотной СЛАУ методом LU - декомпозиции Изначально тест был опубликован
  • Наиболее популярным тестом производительности является Linpack benchmark. В частности, HPL высокопараллельная реализация Linpack с применением MPI используется
  • была решена. Наиболее популярным тестом производительности на сегодняшний день являются тесты производительности LINPACK в частности HPL, используемый
  • Штатов. Теоретическая производительность Sierra оценивается в 125 ПФлопс, практически достигнута на тесте производительности LINPACK 94.6 ПФлопс. Sierra
  • суперкомпьютер на время, необходимое для запуска теста При этом с ростом производительности кластеров для запуска Linpack требуется все больше времени, вплоть до
  • набор тестов производительности предназначенный для оценки нескольких атрибутов суперкомпьютеров, которые значительно влияют на производительность реальных
  • в рейтинг, имеют суммарную производительность 6.8 ПФлопс тест linpack и 10.8 ПФлопс пиковая Сумма производительностей компьютеров рейтинга составляла
  • объявил, что K computer возглавил список самых производительных суперкомпьютеров мира с результатом в тесте LINPACK в 8, 162 петафлопс или 8, 162 квадриллиона
  • измерение его производительности с помощью теста Linpack решение больших систем линейных уравнений затруднено. А так как на основе Linpack продолжают ранжировать
  • работающий в Томском государственном университете. Производительность системы в стандартном тесте Linpack составляет 8, 9 TFLOPS - по этому показателю СКИФ
  • Вильям Крамер, один из руководителей проекта, считает, что тест производительности Linpack на котором основан TOP500, устарел и не подходит для ранжирования
  • государственном университете, с производительностью по LINPACK на уровне 902 Тфлопс и пиковой производительностью 1, 7 Пфлопс по состоянию на 2014 год