OpenMP.ru » Новости http://openmp.ru Эффективное программирование Wed, 23 Sep 2009 05:31:00 +0000 http://wordpress.org/?v=2.9.2 en hourly 1 Развитие стандарта MPI http://openmp.ru/2009/09/09/%d1%80%d0%b0%d0%b7%d0%b2%d0%b8%d1%82%d0%b8%d0%b5-%d1%81%d1%82%d0%b0%d0%bd%d0%b4%d0%b0%d1%80%d1%82%d0%b0-mpi/ http://openmp.ru/2009/09/09/%d1%80%d0%b0%d0%b7%d0%b2%d0%b8%d1%82%d0%b8%d0%b5-%d1%81%d1%82%d0%b0%d0%bd%d0%b4%d0%b0%d1%80%d1%82%d0%b0-mpi/#comments Wed, 09 Sep 2009 16:04:45 +0000 dmitry http://openmp.ru/?p=20 Не так давно (4 сентября 2009г) была принята новая версия стандарта MPI-2.2. В основном содержащий косметические изменения по сравнению с предыдущим вариантом (уточнения различных моментов, введение новых типов данных).

Полный вариант стандарта  (и всех предыдущих) в формате pdf можно скачать тут:
http://www.mpi-forum.org/docs/docs.html

Но более интересным представляется MPI-3,  предложения, обсуждаемые комитетом, можно увидеть здесь: http://meetings.mpi-forum.org/MPI_3.0_main_page.php

Для меня наиболее интересным расширением оказались так называемые Persistent Operations, позволяющие закэшировать соединения для коллективной операции и исключить оверхед при повторном использовании.

]]> http://openmp.ru/2009/09/09/%d1%80%d0%b0%d0%b7%d0%b2%d0%b8%d1%82%d0%b8%d0%b5-%d1%81%d1%82%d0%b0%d0%bd%d0%b4%d0%b0%d1%80%d1%82%d0%b0-mpi/feed/ 0 Проверка кластерной сети http://openmp.ru/2009/04/14/proverka-klasternoj-seti/ http://openmp.ru/2009/04/14/proverka-klasternoj-seti/#comments Mon, 13 Apr 2009 21:21:36 +0000 dmitry http://openmp.ru/?p=15 Одна из основных проблем крупных кластеров – это поддержка работоспособного состояния сетевой системы. Кроме терминального состояния “коннект отпал” возможны так же промежуточные варианты – падения скорости или возникновение задержек. Ситуация усугубляется тем что сложная фабрика может реагировать на битый кабель неочевидно – скорость может упасть в каком-то сегменте, при определенной передаче между определенными нодами. Поэтому иногда стоит устраивать прогоны-тесты сетевой подсистемы с нагрузкой Point-To-Point перебирая все возможные варианты. Это долго, и объемно по анализу, но спокойствие пользователей кластера того стоит.

Хочу поделится с обществом найденной интересной программой.
Скачать ее можно с Sourceforge: http://sourceforge.net/projects/mpigraph. Программа прогоняет пинг-понг тест между всеми ранками по принципу каждый-с-каждым, распараллеливая значительную часть работы. В результате работы получается сводная таблица с намерянными скоростями между ранками.
Кроме того в пакете идет перловый скрипт, который позволяет сделать из текстовой таблички, совершенно не читаемой при количестве обмерянных нод >10, картинку в градациях серого. Каждый пиксель на которой представляет ту же таблицу, чем ярче цвет тем больше скорость, черный цвет – обрыв линка. Получаем примерно такую картинку на больном кластере:
Send Pattern
Визуально получается интересно, а чтобы выяснить где именно проседает Bandwidth скрипт генерирует еще и html файл со скриптами. При наведении мышкой на картинку выскакивает всплывающая подсказка с объяснением на какой именно пиксель вы “наехали” – с какого ранка была передача и на какой. Вообщем это уже можно использовать для диагонстики неполадок сети.
Попутно у меня возникла идея о снятии серии таких картинок, и дальнейшего микширования в короткий ролик. Тогда на ролике случайные провисания линков будут видны как шум, а имеющие место проблемы – постоянными пятнами. Пока что я попробую снять 250 кадров-замеров для 10-секундного ролика. На 64-х нодах это потребует примерно 10*250  примерно 2500 секунд

]]> http://openmp.ru/2009/04/14/proverka-klasternoj-seti/feed/ 0