parallel computing

parallel computing (tsz. parallel computings)

1. (informatika) A parallel computing (párhuzamos számítás) a számítástudomány azon területe, amely egy probléma több részre osztásával és ezek egyidejű végrehajtásával próbálja felgyorsítani a számításokat. Célja, hogy kihasználja a modern hardverek (többmagos processzorok, fürtözött rendszerek, GPU-k) párhuzamos feldolgozási képességeit.

Párhuzamos számítás akkor történik, amikor több művelet hajtódik végre egy időben, különálló végrehajtó egységek segítségével. Ez jelentheti:

• Több processzor (CPU)
• Több processzormag
• Több számítógép (cluster)
• Több szál vagy folyamat (thread, process)
• Grafikus processzor (GPU)

A processzorok órajele már évek óta nem növelhető jelentősen a hő és energiafogyasztás miatt, ezért a teljesítménynövelés a párhuzamos feldolgozás irányába tolódott el.

• Fizikai szimulációk (pl. időjárásmodellek)
• Képfeldolgozás, videótranszkódolás
• Gépi tanulás (pl. neurális hálók tanítása)
• Nagy adatfeldolgozás (pl. genomika, pénzügy)

• Minden szál ugyanazt a memóriát éri el
• Egyszerűbb kommunikáció, de nehezebb szinkronizáció
• Példák: OpenMP, POSIX Threads

#pragma omp parallel for
for (int i = 0; i < N; i++) {
    a = b + c;
}

• Minden folyamat saját memóriával rendelkezik
• Üzenetküldés szükséges a kommunikációhoz
• Példák: MPI, PVM

MPI_Send(buffer, count, MPI_INT, dest, tag, MPI_COMM_WORLD);
MPI_Recv(buffer, count, MPI_INT, source, tag, MPI_COMM_WORLD, &status);

Párhuzamos programozás során gondoskodni kell a szálak/folyamatok koordinációjáról.

• Mutual exclusion (mutex) – kizárólagos hozzáférés biztosítása
• Semaphore – számlálószinkronizáció
• Barrier – minden szálnak meg kell várnia a többieket egy ponton
• Deadlock – körkörös várakozás, elkerülendő állapot

• Versenyhelyzetek (race condition)
• Deadlock, livelock
• Debug nehézségek
• Skálázódás határai
• Load balancing – munkaegységek egyenletes elosztása
• Cache koherencia és memóriahierarchia kezelése

• HPC (High Performance Computing) – szuperszámítógépek
• Heterogén számítás – CPU + GPU + FPGA együttműködés
• Párhuzamos gépi tanulás – TensorFlow, PyTorch GPU-n
• Edge computing – valós idejű párhuzamos feldolgozás IoT eszközökön
• Cloud computing – párhuzamos feldolgozás skálázható módon

• parallel computing - Szótár.net (en-hu)
• parallel computing - Sztaki (en-hu)
• parallel computing - Merriam–Webster
• parallel computing - Cambridge
• parallel computing - WordNet
• parallel computing - Яндекс (en-ru)
• parallel computing - Google (en-hu)
• parallel computing - Wikidata
• parallel computing - Wikipédia (angol)