Dalam taksonomi arsitektur paralel ada dua keluarga arsitektur paralel yang banyak diterapkan adalah: SIMD dan MIMD, dimana untuk mesin yang murni MISD tidak ada.

Mesin SIMD secara umum mempunyai karakteristik sbb:

♦ Mendistribusi proses ke sejumlah besar hardware

♦ Beroperasi terhadap berbagai elemen data yang berbeda

♦ Melaksanakan komputasi yang sama terhadap semua elemen data

Peningkatan kecepatan pada SIMD proporsional dengan jumlah hardware (elemen pemroses) yang tersedia.

Sebagai perbandingan, pada gambar dibawah, untuk sistem SISD (a), X1, X2, X3, dan X4 merepresentasikan blok instruksi, setelah mengeksekusi X1, tergantung dari nilai X, X3 atau X2 dieksekusi kemudian X4. Pada sistem SIMD, beberapa aliran data ada yang memenuhi X=? dan ada yang tidak, maka beberapa elemen akan melakukan X3 dan yang lain akan melakukan X2 setelah itu semua elemen akan melakukan X4.

Array Element pemroses atau biasa disebut Processor Array dapat berbeda satu sama lain berdasarkan:

♦ Struktur elemen pemroses

♦ Struktur unit kontrol

♦ Struktur memori

♦ Topologi interkoneksi

♦ Struktur input/output

MasPar MP-1

Dua bagian utama  dalam arsitektur MasPar yaitu:

1.   MasPar Front End (DEC3100 WS dgn ULTRIX)

2.   Data Parallel Unit (DPU)

♦ Array Control Unit (ACU)

♦ Processor Element Array (PE Array) (64X64 =4096 PEs)

Array Control Unit (ACU) melaksanakan dua tugas:

1.   Eksekusi instruksi trehadap data singular

2.   Secara simultan memberi instruksi yang beroperasi pada data paralel untuk tiap PE

Prosesor pipeline adalah prosesor MISD yang bekerja berdasarkan prinsip pipelining. Pada pipeline proses dapat dibagi menjadi beberapa tahap dan beberapa proses dapat dilaksanakan secara simultan.

Waktu eksekusi lebih cepat dibandingkan dengan proses serial.

Prinsip pipelining dapat digunakan pada dua level yang berbeda: 

 Pipeline unit aritmatika

 Pipeline unit kontrol

Seperti terlihat pada gambar dibawah:

Operasi pipeline dapat dilaksanakan secara siklus yaitu cyclic pipeline, dimana dapat dibagi dalam 5 tahap: 

•              Operasi baca (dari shared memories)

•              Operasi transfer (memori ke elemen pemroses)

•              Operasi eksekusi (di elemen pemroses)

•              Operasi transfer (elemen pemroses ke memori)

•              Operasi simpan (di shared memories)

Secara umum, prinsip pipeline dapat diterapkan pada beberbagai level, seperti:

•              Level instruksi (unit pemrosesan instruksi)

•              Level subsystem (unit aritmatika pipeline)

•              Level system (level hardware/software) Secara umum arsitektur pipeline dapat dilihat pada gambar dibawah ini

CDC Star 100

CPU terdiri dari  dua unit aritmatika floating point pipeline

Systolic Array Processor

Merupakan arsitektur array pipeline multidimensional yang dirancang untuk mengimplementasikan fixed algorithm. Array systolic dibentuk dengan jaringan unit fungsional yang secara lokal terkoneksi. Array dapat beroperasi secara sinkronus dengan multidimensional pipelining.

Sistem MIMD merupakan sistem multiprocessing atau multicomputer dimana tiap prosesor mempunyai unit kontrol dan program sendiri. Karakteristiknya:

•      Proses didistribusikan ke beberapa prosesor independent

•      Berbagi sumbar daya, termasuk memori, processor

•      Operasi tiap processor secara independent dan simultan

•      Tiap processor menjalankan programnya sendiri

Komputer MIMD: sistem tightly coupled (global memory) dan loosely coupled (local memory). 

Intel iPSC Machines

Sistem iPSC terdiri dari: 1, 2 atau 4 unit komputesi (cube) dan prosesor host (cube manager). Cube merupakan processing nodes yang terinterkoneksi hypercube yang mempunyai memori dan prosesor sendiri. 

Symmetry Machine

SM dapat memperkejakan 30 processor, dimana merupakan contoh UMA MIMD (tightly coupled)

Carnegie-Mellon Multi-Mini_Processor (C.mmp) Processor dikelompokkan ke dalam cluster local dan diorganisasikan kedalam struktur tree dan berkoneksi lewat Inter-Cluster Buses.

Arsitektur hibrid SIMD-MIMD adalah sistem pemrosesan paralel dengan struktur yang dapat diubah sebagai satu atau lebih arsitektur SIMD dan /atau MIMD independen dengan ukuran yang bervariasi.

Ada tiga kategori utama arsitektur SIMD-MIMD:

1.   PASM: Partionable SIMD-MIMD systems

2.   VLIW: Very Long Instruction Word systems

3.   MSIMD: Multiple SIMD systems

Arsitektur PASM

Arsitektur PASM dikembangkan unutk image processing.

System Control Unit bertanggung jawab terhadap penjadualan proses, alokasi sumber daya, modus paralelisme, dan koordinasi keseluruhan.

Microcontrollers mengontrol aktivitas, dimana masingmasing memiliki microprocessor dan dua unit memori untuk melaksanakan loading memori dan  komputasi. Microprocessors melaksanakan komputasi SIMD dan MIMD.

Memory modules digunakan untuk penyimpanan data dalam modus SIMD dan penyimpanan kedua data dan instruksi pada modus MIMD

Arsitektur VLIW

Elemen pemroses dibawah kontrol terpusat, tetapi individual elemen pemroses dapat melaksanakan operasi berbeda pada data yang berbeda. Instruksi yang sangat panjang pelaksanaannya dapat dilakukan secara paralel.

Arsitektur Aliran Data

Pada arsitektur aliran data, operasi dapat dilaksanakan dengan memperbolehkan instruksi dilaksanakan segera setelah operand dan sumber daya komputasinya tersedia. Bila data untuk beberapa instruksi datang secara berbarengan maka instruksi dapat dieksekusi secara paralel.

Arsitektur aliran data dibagi menjadi tiga kategori yagn berbeda:

1.      Arsitektur statis; dapat mengevaluasi hanya satu graf program

2.      Arsitektur statis yang dapat di rekonfigurasi ulang; mempunyai beberapa processor dimana interkoneksi logika antar processor dibuat setelah program diload, maka koneksi ini harus ditentukan pada saat kompilasi dan program yang diload tetap selama eksekusi

3.      Arsitektur Dinamis; arsitektur ini mengijinkan program untuk dievaluasi secara dinamis, koneksi logika antar processor dapat berubah selama eksekusi berlangsung