====== Параллельные вычисления ======

===== OpenMP =====

[[openmp|OpenMP]] -- очень удобный и простой способ распараллелить вычисления, проводимые в рамках одного компьютера (несколько ядер или процессоров, но общая оперативная память).

https://computing.llnl.gov/tutorials/openMP/



===== MPI =====


http://www.mpi-forum.org/docs/docs.html

https://computing.llnl.gov/tutorials/mpi/

http://mpitutorial.com/beginner-mpi-tutorial/


==== OpenMPI ====

https://www.open-mpi.org/

Сначала нужно настроить [[ssh#подключение_по_ключу|доступ через SSH по ключу]].

Для проверки работоспособности системы запустим программу ''hostname'' на нескольких компьютерах из локальной сети:

  mpirun -np 2 --host 192.168.1.2,192.168.1.3 hostname

После написания [[mpi|программы]] с использованием технологии MPI, запустить её можно так:

Компиляция:
  mpicc -o mpi-test.bin mpi-test.c

Копирование на другие компьютеры:
  scp -P22 mpi-test.bin Calculator1:~/

Выделение ресурсов [[slurm|SLURM]]:
  salloc -n8 /bin/bash

Запуск:
  mpirun ./mpi-test.bin

Опыт показал, что вместо последних двух команд лучше задавать одну такую:
  salloc -n8 mpirun ./mpi-test.bin
Тогда после завершения работы программы, соответствующее задание удаляется из очереди SLURM, и ресурсы освобождаются для следующих задач.
==== MPICH ====

http://www.mpich.org/documentation/guides/


===== Планировщики задач =====

https://research.cs.wisc.edu/htcondor/manual/v8.3/2_9Parallel_Applications.html

https://computing.llnl.gov/linux/slurm/

http://www.adaptivecomputing.com/products/open-source/torque/

== Grun ==

> A lightweight replacement for job queueing systems like LSF, Torque, condor, SGE, for private clusters.
> ...
> Grun doesn't support MPI and other fancy grid things (although you can layer map-reduce on it)

https://github.com/earonesty/grun


===== Ссылки =====

https://wiki.debian.org/DebianBeowulf

https://wiki.debian.org/DebianScience/Grid

https://wiki.debian.org/DebianScience

https://wiki.debian.org/HighPerformanceComputing

http://www.debianclusters.net/index.php/Main_Page

https://research.cs.wisc.edu/htcondor/manual/v8.3/1_1High_Throughput_Computin.html

http://toolkit.globus.org/toolkit/

http://www.openlava.org/

http://graal.ens-lyon.fr/diet/

[[https://computing.llnl.gov/tutorials/linux_clusters/ | LLNL Linux Clusters Overview]]

[[https://computing.llnl.gov/tutorials/parallel_comp/ | LLNL Introduction to Parallel Computing]]



===== Видеокурсы =====

https://class.coursera.org/scicomp-003

====== Наблюдение/Управление ======

http://ganglia.info