Параллельные вычисления

OpenMP

OpenMP – очень удобный и простой способ распараллелить вычисления, проводимые в рамках одного компьютера (несколько ядер или процессоров, но общая оперативная память).

https://computing.llnl.gov/tutorials/openMP/

MPI

http://www.mpi-forum.org/docs/docs.html

https://computing.llnl.gov/tutorials/mpi/

http://mpitutorial.com/beginner-mpi-tutorial/

OpenMPI

https://www.open-mpi.org/

Сначала нужно настроить доступ через SSH по ключу.

Для проверки работоспособности системы запустим программу hostname на нескольких компьютерах из локальной сети:

mpirun -np 2 --host 192.168.1.2,192.168.1.3 hostname

После написания программы с использованием технологии MPI, запустить её можно так:

Компиляция:

mpicc -o mpi-test.bin mpi-test.c

Копирование на другие компьютеры:

scp -P22 mpi-test.bin Calculator1:~/

Выделение ресурсов SLURM:

salloc -n8 /bin/bash

Запуск:

mpirun ./mpi-test.bin

Опыт показал, что вместо последних двух команд лучше задавать одну такую:

salloc -n8 mpirun ./mpi-test.bin

Тогда после завершения работы программы, соответствующее задание удаляется из очереди SLURM, и ресурсы освобождаются для следующих задач.

MPICH

http://www.mpich.org/documentation/guides/

Планировщики задач

https://research.cs.wisc.edu/htcondor/manual/v8.3/2_9Parallel_Applications.html

https://computing.llnl.gov/linux/slurm/

http://www.adaptivecomputing.com/products/open-source/torque/

Grun

A lightweight replacement for job queueing systems like LSF, Torque, condor, SGE, for private clusters.
…
Grun doesn't support MPI and other fancy grid things (although you can layer map-reduce on it)

https://github.com/earonesty/grun