병렬처리기법이란 하나의 프로세서가 아닌 여러개의 프로세서를 동시에 이용해서 큰 문제를 보다 효율적으로 풀고자 하는 방법을 말한다. 이 방법은 중앙처리장치의 성능증가가 한계에 도달함에 따라 이러한 cpu를 하나가 아닌 여러개를 동시에 사용하여 성능의 한계를 극복하고자 하는 생각에서 나온 것이다. 물론 cpu의 성능이 계속적으로 향상될 경우에도 최상의 성능을 갖는 cpu 여러개를 동시에 사용함으로써 그 성능의 몇 배에 달하는 효과를 볼 수 있을 것이다. 이 기법은 현재 공학 및 과학계산 분야에서 널리 응용되고 있으며 그 효과가 널리 알려져 있다. 특히 엄청난 기억용량을 요구하는 문제를 해석하고자 할 경우는 단일 cpu를 갖는 시스템에서는 불가능한 경우가 많기 때문에 병렬처리기법을 반드시 이용해야 한다.
병렬 처리 기법은 어떤 방식으로 이를 구현하는가에 따라 여러가지로 구분할 수 있다. 먼저 병렬처리를 구현하는 명령어가 어떤식으로 병렬처리를 수행하는가에 따라
SIMD(single instruction multiple data)와 MIMD(multiple instruction multiple data)방식으로 나눌 수 있다.
simd방식은 하나의 명령어에 의해서 여러개의 프로세서들이 같은 작용을 서로 다른 데이터에 대해서 수행하는 방식을 말한다. 이는 특히 벡터나 행렬 연산의 경우 매우 효율적이라고 알려져있으며 프로그래머가 특별히 병렬처리에 대해서 프로그램상에서 구현할 필요가 없으므로 프로그래밍하기가 대단히 쉽다. 그러나 일반성이 떨어져 다양한 응용에는 한계가 있다. 이러한 방식을 택하고 있는 기종으로는 cray, illiac, cm등이 있다. cray의 경우를 예를 들면 프로그래머는 동시처리와 벡터처리가 가능하도록 루프 인덱스를 고치거나 적절한 스칼라 임시변수를 사용하여 연산식들이 병렬처리 되도록 해야 한다. 이렇게 한 후에 컴파일을 하면 컴파일러가 벡터처리를 할 수 있도록 컴파일하게 된다. 이 경우 프로그래머는 각각의 프로세서간의 데이타 전송이나 벡터처리등에 대해서 직접 제어할 필요가 없게 된다.
mimd방식은 각 프로세서가 각각의 명령어에 대해서 자신의 독립된 제어 흐름에 따라 연산을 수행하게 된다. 이 경우 프로세서간의 통신 및 데이타의 일치에 대해서 프로그래머가 직접 책임쳐야 하며 이러한 과정이 자신의 프로그램안에 포함되어 있어야만 한다. 따라서 프로그램 작성이 힘들게 된다. 이러한 방식을 사용하고 있는 기종으로는 rp3, hypercube, ipsc등이 있다.
다음으로 병렬처리 하드웨어의 주기억 장치와 프로세서의 구조에 따라 공유메모리방식과 분할 메모리 방식으로 나눌 수 있다. 공유메모리방식은 모든 프로세서가 하나의 공유메모리를 액세스 할 수 있도록 되어 있으며 cray와 alliant등이 이러한 구조로 되어 있다.
분할 메모리 방식은 각 프로세서가 자신만이 액서스할 수 있는 독립적인 메모리를 가지고 연산을 수행하며 프로세서간의 데이타 교환은 서로 메시지를 주고 받음으로써만 가능하게되어 있다. 네트웍을 통해 연결된 워크스테이션들은 개념적으로 분할 메모리 방식의 컴퓨터와 같은 구조를 이루고 있으므로 분산처리 개념을 적용하기가 용이하다.