2009
Per quanto riguarda la pura potenza elaborativa, i progressi nel campo dei supercomputer sono incontestabili; tuttavia, è necessario coordinare il lavoro di centinaia di migliaia di processori, per non incorrere in degradi prestazionali, come segnalato in un recente articolo. Un nuovo modello di computazione — il Many Task Computing (MTC) — potrebbe essere la risposta a problemi che solo qualche anno fa erano considerati intrattabili.
Attualmente esistono due paradigmi, che funzionano bene nei rispettivi campi di impiego. Il primo è l'High-performance computing, adatto ad applicazioni strettamente connesse, nelle quali i singoli job devono spesso comunicare tra di loro durante l'esecuzione; in questo contesto prevale il meccanismo del Message Passing Interface (MPI). Il secondo modello, l'High Throughput Computing (HTC), si rivela efficiente per attività che coinvolgono enormi quantità di dati, come il data mining, e con task lascamente accoppiati.
Ioan Raicu e Ian Foster — dell'Università di Chicago e dell'Argonne National Laboratory — e Yong Zhao — di Microsoft Corporation — hanno esaminato molte applicazioni, appartenenti ai campi dell'astrofisica e della bioinformatica. La loro conclusione è che il nuovo concetto di MTC sia il più adeguato per la soluzione di certi problemi, come illustra quest'immagine, tratta dal sito di iSGTW.
I vari componenti dell'applicazione possono essere task grandi o piccoli, mono- o multi-processore, compute-intensive o data-intensive, e operare nel complesso su insiemi di dati dell'ordine dei TB o PB. MTC si posiziona bene nell'ambito delle applicazioni non strettamente connesse e communication-intensive, per le quali però l'MPI non rappresenta la soluzione ideale.
I ricercatori vedono un buon supporto per le applicazioni MTC su un'ampia varietà di risorse, come cluster, grid o supercomputer. Questa convinzione deriva dai risultati del loro lavoro su Swift — un linguaggio/motore di scripting altamente scalabile, sviluppato per procedure formate da componenti debolmente connessi — e su Falkon, un sistema di job management in grado di gestire miliardi di job.