Acerca de la eficiencia de la computación paralela (CPU en paralelo de múltiples núcleos, en paralelo de múltiples CPU de un solo nodo, en paralelo de múltiples nodos)...

Caché de nivel 2: 6x256 KB

Caché de nivel 3: 15 MB

Esto significa que el caché de nivel 1 y 2 son exclusivos de cada núcleo , mientras que el caché de nivel 3 está descargado.

Cada núcleo debe recuperar datos de la memoria para realizar cálculos, lo cual es un proceso lento. Una caché es un espacio pequeño (costoso) que se utiliza para almacenar datos utilizados con frecuencia, lo que reduce el tiempo que lleva recuperar datos de la memoria.

Durante la computación de múltiples nodos, las CPU en diferentes nodos necesitan intercambiar datos. El cuello de botella radica en la transmisión de red. Incluso el hardware de conexión más caro es muy lento. En este momento, básicamente no tiene nada que ver. almacenamiento en caché.