Second Hand News

La informática es fácil. Todo lo que necesitas hacer es pulsar el botón correcto.

El coste de la IA

Entrenar un modelo de IA de gran escala es, con diferencia, la etapa más intensiva en consumo de recursos. Aunque los datos exactos son confidenciales, se estima que el entrenamiento de GPT-3 consumió alrededor de 1.287 MWh según un estudio de la Universidad de Massachusetts Amherst, equivalente al consumo anual de 120 hogares estadounidenses. Los modelos más recientes, como GPT-4, superan fácilmente esta cifra alcanzando los 1.750 MWh (unos 160 hogares).

Para visualizar la magnitud de estos procesos, consideremos Colossus de xAI, actualmente el mayor supercomputador del mundo con más de 200.000 GPUs. En su sistema cerrado de refrigeración circulan aproximadamente 3,8 millones de litros de agua al día, suficientes para llenar una piscina olímpica cada 40 minutos. El consumo real por evaporación ronda los 76.000 litros diarios, apenas un 2% del total circulante.

La buena noticia es que el coste por unidad de procesamiento está disminuyendo rápidamente gracias a mejoras combinadas en hardware, algoritmos y arquitecturas. Un ejemplo reciente es DeepSeek-R1, cuyo equipo afirma haber reducido entre un 75% y un 90% el consumo energético del entrenamiento gracias a un diseño altamente optimizado que requirió muchos menos procesadores que proyectos comparables. Paradójicamente, su inferencia puede resultar algo menos eficiente —al generar cadenas de razonamiento más largas— aunque su mayor precisión en tareas complejas compensa ese coste adicional en muchos casos.

Desde el punto de vista del hardware, la adopción de procesadores especializados como las TPU de Google o las GPU de última generación de Nvidia ha mejorado notablemente el rendimiento por vatio. Las GPU H100, por ejemplo, ofrecen una eficiencia significativamente mayor que las generaciones anteriores, especialmente en cargas de entrenamiento e inferencia de gran escala

Si el entrenamiento es la gran inversión inicial, el uso cotidiano tiene un impacto mucho más moderado. Una consulta típica a un LLM consume entre 0,3 y 0,5 vatios hora (Wh), una cifra similar al consumo de unos diez segundos de televisión o una búsqueda tradicional en Google. En cuanto a la huella hídrica, esta se estima en apenas 3 a 5 mililitros (ml) por consulta (gráficamente, unas cinco gotas), según investigaciones de Microsoft y UC Riverside de 2023. El verdadero desafío, sin embargo, no reside en el consumo de cada interacción individual, sino en el volumen global de millones de peticiones que se multiplican simultáneamente por un número creciente de usuarios a nivel mundial.

La IA, al igual que cualquier infraestructura digital masiva, consume recursos. Su impacto final depende de factores clave como la eficiencia del modelo utilizado, el origen de la energía que alimenta los centros de datos, su diseño y, fundamentalmente, la utilidad real que esta tecnología genera. Por ello, el debate esencial no es solo cuánto consume la IA, sino si estamos utilizándola de forma responsable y con modelos correctamente dimensionados para cada tarea específica.
datanalytics.com
baeldung

IA

TOP