یک برنامه چند داده

در تکنیک SPMD، چندین پروسه اتوماتیک به صورت هم‌زمان یک برنامه را در نقاط مختلف اجرا می‌نمایند، بر خلاف روش SIMD که هر برنامه در مرحله قفل قرار می‌گیرد. با استفاده از SPMD وظایف می‌توانند بر روی کامپیوترهای با کاربرد عمومی اجرا شوند. روش SIMD برای تغییر جریان‌های داده، نیازمند پردازنده‌های برداری می‌باشند.

تکنیک SPMD معمولاً به روش انتقال پیام‌های برنامه در یک معماری کامپیوتر با استفاده از حافظه توزیع شده اطلاق می‌شود، یک کامپیوتر با معماری توزیع شده از تعدادی کامپیوتر مستقل تشکیل شده که هر یک از آن‌ها را گره (Node) می‌نامیم. هر گره برنامه خود را آغاز می‌کند و از طریق ارسال و دریافت پیام با دیگر گره‌ها ارتباط برقرار می‌نماید. با استفاده از فراخوانی‌های ارسال/دریافت. امکان پیاده‌سازی دستورهایی نظیر عدم امکان همگام سازی (Barrier Synchronization) نیز با پیام‌ها وجود دارد. این پیام‌ها با روش‌های انتقال اطلاعات مختلف مانند TCP/IP بر روی اترنت یا روش‌های اختصاصی بسیار پرسرعت مانند Myrinet و اتصالات داخلی ابر کامپیوترها قابل پیاده‌سازی هستند. بخش Serial برنامه از طریق محاسبه‌گر کاملاً مشابه در تمامی گره‌ها پیاده‌سازی شده‌است و عملاً از روش‌هایی نظیر محاسبه نتیجه در یک گره و ارسال نتیجه به گره‌های دیگر استفاده نمی‌کند.

در یک ماشین با حافظه اشتراکی، می‌توان به یک پیام با ارسال مجدد محتویات آن در یک فضای آدرس اشتراکی دسترسی پیدا نمود. این روش معمولاً بهینه‌ترین روش در برنامه‌ریزی کامپیوترهای با فضای آدرس اشتراکی و تعداد پردازنده بالا می‌باشد. بخصوص در ماشین‌های NUMA که حافظه متعلق به هر پردازنده است و دسترسی به حافظه دیگر پردازنده‌ها به زمان بیشتری نیاز دارد. تکنیک SPMD در ماشین‌های حافظه اشتراکی معمولاً به وسیلهٔ پروسه‌های استاندارد بسیار سنگین پیاده‌سازی می‌گردد.

بر خلاف SPMD، چندپردازنده با حافظه اشتراکی که به آن چند پردازنده موازی (SMP) نیز اطلاق می‌گردد، به برنامه‌نویس امکان استفاده از یک فضای حافظه اشتراکی را می‌دهد که در آن پروسه‌ها موازی در پردازنده‌های مختلف و مسیر مجزا اجرا می‌گردند. برنامه در یک پردازنده شروع می‌شود و اجرای آن به نواحی موزای تقسیم می‌گردد که در زمان شروع دستورالعمل‌های موازی اجرا می‌شوند. در نواحی موازی، پردازنده‌ها یک برنامه را با داده‌های مختلف اجرا می‌نمایند. یک مثال عمومی، حلقه Do .... Loop می‌باشد، که در آن پردازنده‌های مختلف مشغول اجرای بخش‌های مختلف آرایه‌های درون حلقه را بر عهده دارند. در پایان حلقه، نتایج سنکرون می‌شوند در این زمان تنها یک پردازنده مشغول است و دیگر پردازنده‌ها در حالت انتظار می‌باشند. رابط استاندارد فعلی برای جندپردازنده‌ای با حافظه مشترک OpenMP نامیده می‌شود و معمولاً با استفاده از پردازه‌های غیر پیجیده‌ای به نام نخ (threads) پیاده‌سازی می‌شوند.

کامپیوترهای کنونی امکان ترکیب بسیاری از قوانین و حالت‌های موازی را برای دستیابی به حداکثر میزان بهره‌وری به برنامه‌نویس می‌دهند. یک برنامه توزیع شده حافظه که از MPI استفاده می‌کند می‌تواند روی تعداد بسیار زیادی از گره‌ها اجرا گردد، هر گره می‌تواند یک کامپیوتر با حافظه اشتراکی باشد و به صورت موازی در چندین پردازنده توسط OpenMP اجرا شود. درون هر پردازنده، دستور العمل‌های برداری SIMD (معمولاً به صورت اتوماتیک توسط کامپایلر اجرا می‌شوند) و دستورالعمل‌های Superscalar (که معمولاً توسط CPU به صورت مستقل اجرا می‌گردند) مانند Pipelining و استفاده از چندین واحد عملیاتی مجزای موازی برای دستیابی به حداکثر سرعت در هر پردازنده استفاده می‌شوند.

تکنیک SPMD ابتدا در سال ۱۹۸۳ توسط Michel Auguin و Francois Larbey در کامپیوتر موازی OPSILA استفاده شده و سپس در سال ۱۹۸۴ توسط Frederica Darema در IBM برای ماشین‌های فوق موازی نظیر RP3 استفاده گردید. بر اساس یکی از مستندات غیر انتشار یافته IBM در دهه ۱۹۸۰ از روش‌های غیر استاندارد بسیاری برای انتقال پیام‌ها یاد شده‌است ولی اولین روش استاندارد SPMD روش PVM بوده‌است. استاندارد غالب امروز روش MPI می‌باشد.

تکنیک موازی سازی Cray نسل قبلی روش OpenMP می‌باشد.