🧠 La RAM en la IA: lo que necesita tu equipo y lo que depende del servidor.

PARA ENTENDER EL ESQUEMA

Sobre esta infografía

Un ordenador con más RAM puede trabajar con modelos locales mayores o manejar más contexto, siempre que el resto del hardware y el software lo permitan. Pero ampliar la memoria de tu PC no aumenta la capacidad del modelo que utilizas en la nube.

La diferencia está en dónde se ejecuta la IA.

💻 En local, tu equipo almacena los pesos del modelo y realiza los cálculos. La memoria necesaria depende del número de parámetros, la cuantización, el contexto y la arquitectura.

Cada componente cumple una función:

🔹 CPU: utiliza la RAM del sistema.
🔹 GPU dedicada: trabaja principalmente con su VRAM.
🔹 NPU integrada: acelera operaciones de inferencia compatibles con un consumo eficiente y suele compartir la RAM del equipo.

La NPU tampoco sustituye a la memoria: necesita acceder a los datos que procesa.

☁️ En la nube, los pesos del modelo, su caché de atención y los cálculos principales están en el servidor. Tu RAM sostiene el navegador, la aplicación, los archivos y las demás tareas abiertas.

Por eso, más RAM local puede mejorar la multitarea y evitar bloqueos por falta de memoria, pero no amplía la memoria disponible para el modelo remoto.

📐 Un ejemplo concreto: 7.000 millones de parámetros a 4 bits representan aproximadamente 3,5 GB solo para los valores de los pesos. Todavía hay que añadir metadatos, cachés y memoria de ejecución.

El tamaño del archivo del modelo es solo una parte de la cuenta.

En esta infografía animada de Infograph explico cómo se relacionan RAM, VRAM, CPU, GPU, NPU y nube, y qué conviene entender antes de decidir cuánta memoria necesitas.

La capacidad determina cuánto cabe. El ancho de banda y el procesamiento también influyen en la fluidez.

🔗 https://palentino.es/infograph

#InteligenciaArtificial #RAM #IALocal #GPU #NPU #Infograph