OpenMP – очень удобный и простой способ распараллелить вычисления, проводимые в рамках одного компьютера (несколько ядер или процессоров, но общая оперативная память).

https://computing.llnl.gov/tutorials/openMP/

http://www.mpi-forum.org/docs/docs.html

https://computing.llnl.gov/tutorials/mpi/

http://mpitutorial.com/beginner-mpi-tutorial/

https://www.open-mpi.org/

Сначала нужно настроить доступ через SSH по ключу.

Для проверки работоспособности системы запустим программу hostname на нескольких компьютерах из локальной сети:

mpirun -np 2 --host 192.168.1.2,192.168.1.3 hostname

После написания программы с использованием технологии MPI, запустить её можно так:

Компиляция:

mpicc -o mpi-test.bin mpi-test.c

Копирование на другие компьютеры:

scp -P22 mpi-test.bin Calculator1:~/

Выделение ресурсов SLURM:

salloc -n8 /bin/bash

Запуск:

mpirun ./mpi-test.bin

Опыт показал, что вместо последних двух команд лучше задавать одну такую:

salloc -n8 mpirun ./mpi-test.bin

Тогда после завершения работы программы, соответствующее задание удаляется из очереди SLURM, и ресурсы освобождаются для следующих задач.

http://www.mpich.org/documentation/guides/

https://research.cs.wisc.edu/htcondor/manual/v8.3/2_9Parallel_Applications.html

https://computing.llnl.gov/linux/slurm/

http://www.adaptivecomputing.com/products/open-source/torque/

A lightweight replacement for job queueing systems like LSF, Torque, condor, SGE, for private clusters.
…
Grun doesn't support MPI and other fancy grid things (although you can layer map-reduce on it)

https://github.com/earonesty/grun

https://wiki.debian.org/DebianBeowulf

https://wiki.debian.org/DebianScience/Grid

https://wiki.debian.org/DebianScience

https://wiki.debian.org/HighPerformanceComputing

http://www.debianclusters.net/index.php/Main_Page

https://research.cs.wisc.edu/htcondor/manual/v8.3/1_1High_Throughput_Computin.html

http://toolkit.globus.org/toolkit/

http://www.openlava.org/

http://graal.ens-lyon.fr/diet/

LLNL Linux Clusters Overview

LLNL Introduction to Parallel Computing

https://class.coursera.org/scicomp-003

http://ganglia.info