4. El entrenamiento de modelos de IA: requisitos legales, explicabilidad y estado del arte (2025)
4.1 Introducción
El entrenamiento es el proceso mediante el cual un modelo de IA aprende a partir de grandes volúmenes de datos. Aunque su funcionamiento interno pueda parecer opaco, la nueva regulación europea —el AI Act, en vigor desde agosto de 2025, aunque estudiándose a finales de dicho año la posibilidad de modificaciones y aplazamientos— impone obligaciones precisas sobre la documentación, la trazabilidad y la explicabilidad de los modelos de IA.
Los proveedores deben poder describir con claridad cómo y con qué datos aprende un modelo. Esta exigencia marca un cambio de paradigma: ya no basta con que el sistema funcione, debe ser comprensible y auditable.
4.2 Cómo funciona el entrenamiento de un modelo de lenguaje
Aunque suele decirse, simplificando, que un LLM “aprende de cantidades ingentes de texto”, el proceso real puede desglosarse en pasos más concretos y comprensibles.
4.2.1 Tokenización automática
Antes de entrenar, los textos se transforman en tokens, fragmentos mínimos como sílabas, trozos de palabra o signos.
Un programa llamado tokenizer traduce el texto a secuencias numéricas:
Ejemplo: “El gato duerme” → [231, 1045, 882]
El modelo no entiende palabras, sino patrones estadísticos entre estos números.
4.2.2 Predicción del siguiente token
El modelo aprende intentando adivinar, una y otra vez, qué token viene a continuación.
- Ejemplo: ante “El gato se subió al …”, debe predecir “árbol”.
- Si acierta, refuerza sus ajustes; si falla, los corrige.
Este proceso se repite millones de veces sobre enormes conjuntos de texto. El modelo no razona: solo optimiza su capacidad para anticipar el próximo fragmento con mayor probabilidad.
4.2.3 Pesos o parámetros
En su interior, un modelo posee miles de millones de conexiones o parámetros.
Cada parámetro es un número que regula la fuerza de la relación entre nodos.
Durante el entrenamiento, estos valores se ajustan automáticamente mediante retropropagación del error (backpropagation).
El modelo prueba, mide su error y corrige. Con cada iteración, mejora su predicción.
4.2.4 Épocas o pasadas
El entrenamiento no se hace en una sola lectura. Una época es una lectura completa del conjunto de datos de entrenamiento.
Como un estudiante que repasa varias veces el mismo libro, cada pasada refuerza o corrige lo aprendido.
Los modelos actuales pueden requerir decenas o cientos de épocas para alcanzar estabilidad y generalización adecuadas.
4.2.5 Escala y coste
El ciclo de tokenización, predicción y ajuste de parámetros se ejecuta sobre cantidades colosales de texto.
Para procesar este volumen se usan GPUs especializadas, que calculan en paralelo millones de operaciones matemáticas.
Entrenar un modelo de última generación (70.000 millones de parámetros o más) puede requerir semanas de cálculo continuo y un coste de varios millones de euros.
Analogía:
Un estudiante de idiomas lee millones de frases. Cada vez que se equivoca, un profesor corrige la palabra. Tras millones de correcciones, desarrolla una “intuición” estadística sobre qué palabra encaja mejor en cada contexto.
4.3 El problema de la memoria en el entrenamiento
Durante el entrenamiento, los LLM pueden memorizar fragmentos exactos del material que procesan.
No ocurre de forma sistemática, pero se ha demostrado que:
- Pueden conservar literalmente fragmentos de texto o código del corpus.
- Esta memorización se da sobre todo en secuencias raras o únicas.
- Estudios recientes estiman que un modelo puede almacenar alrededor de 3,6 bits por parámetro.
- El fenómeno del doble descenso muestra cómo un modelo puede sobreajustarse (memorizar en exceso) y, paradójicamente, mejorar su generalización al aumentar aún más la capacidad.
Implicaciones:
- Puede ser útil para conservar hechos literales o citas exactas.
- Supone riesgo si los datos incluyen información sensible o protegida por derechos de autor.
- Es independiente de la memoria de sesión o persistente descrita en la Lección 3.
Nota: Privacidad y propiedad intelectual - La memorización durante el entrenamiento plantea riesgos legales: un modelo puede reproducir fragmentos privados o con copyright. Por eso el AI Act exige documentar y justificar la procedencia de los datos empleados.
4.4 Exigencias del AI Act en el entrenamiento
La regulación europea establece un marco detallado para los sistemas de IA de propósito general, incluyendo los modelos de lenguaje.
4.4.1 Expediente técnico
Debe mantenerse un registro completo del ciclo de vida del modelo, desde la preparación de los datos hasta las actualizaciones posteriores.
Este expediente ha de estar disponible para las autoridades en cualquier momento.
4.4.2 Resumen de datos de entrenamiento
Los desarrolladores deben publicar un resumen estandarizado con los criterios y tipos de datos utilizados, garantizando trazabilidad y detección de sesgos o posibles usos indebidos de información protegida.
4.4.3 Política de derechos de autor
Es obligatorio demostrar cómo se han respetado los derechos de autor de los datos empleados.
El uso de corpus que contengan obras protegidas sin permiso puede conllevar sanciones severas.
4.4.4 Actualización y re-registro
Cualquier cambio sustancial en los datos o en la arquitectura requiere nuevo registro y documentación, normalmente en un plazo máximo de 15 días naturales.
4.4.5 Evaluación de riesgos
Los sistemas de alto impacto deben incorporar políticas reforzadas de ciberseguridad, supervisión y notificación de incidentes graves.
Nota: Cumplimiento obligatorio - No documentar el proceso o falsear información puede acarrear sanciones de hasta el 6% de la facturación global anual o 30 millones de euros (lo que sea mayor).
4.5 Transparencia y explicabilidad
Uno de los objetivos del AI Act es que tanto desarrolladores como usuarios puedan entender y justificar el funcionamiento del modelo.
Esto implica:
- Mantener evidencia verificable de los datos y procesos de entrenamiento.
- Explicar de forma clara y comprensible las bases de las respuestas generadas.
- Permitir auditorías externas y responder ante autoridades nacionales en caso de incidentes o reclamaciones.
4.6 DeepSeek y el cambio de paradigma en el entrenamiento
(impacto técnico, reacción del ecosistema y límites del metaanálisis)
4.6.1 Por qué el caso de DeepSeek merece atención
DeepSeek recibió una atención inusual en el ecosistema de IA a finales de 2024 y comienzos de 2025. No tanto por una supuesta superioridad cualitativa inmediata de sus modelos, sino por el impacto sistémico que tuvo su aparición: alteró expectativas sobre costes, escalabilidad y barreras de entrada en el entrenamiento de grandes modelos de lenguaje.
El espacio dedicado a DeepSeek en este manual responde a ese impacto contextual —técnico, económico y discursivo— y no a la idea de que represente, por sí solo, un nuevo estándar dominante.
4.6.2 Qué aporta realmente DeepSeek (hechos técnicos)
Desde un punto de vista estrictamente técnico, DeepSeek introduce una combinación de enfoques ya conocidos, aplicados con una coherencia poco habitual:
- Uso intensivo de arquitecturas Mixture of Experts (MoE), con activación parcial de parámetros.
- Empleo sistemático de datos sintéticos para reducir dependencia de corpus masivos no controlables.
- Estrategias de aprendizaje por refuerzo centradas en la corrección del resultado final, sin supervisión humana paso a paso.
- Optimización agresiva del uso de memoria y del cómputo durante el entrenamiento.
Estos elementos no suponen una ruptura radical con la arquitectura Transformer ni con los principios básicos del entrenamiento moderno, pero sí muestran que es posible obtener modelos competitivos reduciendo de forma significativa los costes declarados.
La publicación del proceso de entrenamiento en revistas científicas, revisada por pares, constituye un hito relevante en términos de transparencia. No obstante, como en otros casos recientes, la auditabilidad externa completa de los procesos y costes sigue siendo limitada.
4.6.3 Lo que DeepSeek no implica
Conviene acotar con precisión qué conclusiones no deben extraerse de este caso:
- DeepSeek no democratiza el entrenamiento completo de modelos fundacionales.
- No elimina la dependencia de infraestructuras de alto rendimiento ni de equipos altamente especializados.
- No convierte el fine-tuning real en una tarea accesible para usuarios o empresas pequeñas.
- No invalida los modelos occidentales existentes ni desplaza a los grandes proveedores consolidados.
En otras palabras: DeepSeek reduce ciertas barreras, pero no redistribuye el poder estructural del entrenamiento de IA.
4.6.4 El impacto inicial
En el momento de su aparición, DeepSeek provocó una reacción desproporcionada si se analiza únicamente desde métricas de rendimiento. Hubo caídas bursátiles significativas -incluida NVIDIA- y una sensación generalizada de inestabilidad entre los actores dominantes.
Esta reacción no se correspondía con una evaluación técnica del modelo, sino que respondía a una ruptura del relato dominante: se cuestionaba el dogma asumido de que el progreso en IA avanzada estaba ligado necesariamente a costes crecientes y a una concentración extrema de recursos.
DeepSeek introdujo contingencia en un discurso que se presentaba como inevitable.
4.6.5 DeepSeek como caso de fricción sistémica
Más que un “modelo milagro” o un episodio de hype, DeepSeek funciona como un caso de fricción que pone a prueba los supuestos del sistema:
- técnicos (coste, eficiencia, escalabilidad),
- discursivos (quién puede innovar legítimamente),
- y regulatorios (trazabilidad, explicabilidad, control).
Su valor analítico reside menos en sus resultados inmediatos que en el tipo de reacción que provocó y en lo que esa reacción revela sobre el estado del ecosistema global de IA.
4.6.6 Reacciones divergentes y sesgo del metaanálisis
Como técnica de evaluación, pedimos de forma rutinaria a los modelos que analicen los puntos fuertes de plataformas y modelos competidores. Cuando propusimos que valorasen el último modelo de DeepSeek, un aspecto especialmente revelador fue la divergencia en las evaluaciones :
- En algunos entornos, el énfasis se puso en la eficiencia, el avance metodológico, la transparencia y el potencial disruptivo.
- En otros, surgieron advertencias sobre exceso de entusiasmo, falta de validación independiente o riesgo de hype.
Esta divergencia no invalida el análisis técnico realizado por modelos, pero demuestra que el análisis automatizado no es neutral.
Los modelos de lenguaje reproducen, de forma estadística, jerarquías implícitas del ecosistema en el que han sido entrenados. Los actores consolidados tienden a reconocerse entre sí como legítimos, mientras que los outsiders -por origen, tono o ruptura de costes- son evaluados con mayor cautela.
El caso DeepSeek ilustra una lección aplicable a todo el uso avanzado de IA:
Incluso el análisis asistido por modelos de lenguaje está sujeto a sesgos de alineación, pertenencia y contexto institucional.
Por ello:
- ninguna evaluación automática debe tomarse como definitiva,
- la comparación cruzada entre plataformas es obligatoria,
- y el juicio humano no desaparece: se vuelve más exigente.
4.7 Riesgos y sesgos
Los LLMs son potentes, pero imperfectos. Tres problemas estructurales limitan su fiabilidad: sesgos, alucinaciones y cámaras de eco. Aunque cada uno tiene causas distintas, todos afectan a la capacidad del modelo para producir información fiable y verificable.
1. Sesgos (Biases)
Definición: Prejuicios sistemáticos heredados del dataset de entrenamiento.
Los sesgos derivan de los datos con los que se entrena el modelo —se habla de más de 80 mil millones de textos extraídos de internet— que reflejan y amplifican desigualdades del mundo real. Ejemplos conocidos incluyen asociar “enfermera” con “mujer”, representar al “CEO típico” como “hombre blanco de Harvard”. En el ámbito STEM (Ciencia, Tecnología, Ingeniería y Matemáticas), el sesgo es especialmente evidente: el dataset contiene un 85% de referencias a hombres, lo que invisibiliza a las mujeres, que representan el 28% de los profesionales en este campo. Estos prejuicios sistemáticos, lejos de ser irrelevantes, pueden perpetuar discriminación en contrataciones o distorsionar la percepción cultural.
Mitigación:
La solución a este problema pasa por adoptar datasets mas diversos, y técnicas de fine-tuning específico, como el Refuerzo por Retroalimentación Humana (RLHF), que son práctica común en todos los LLMs. Así Grox (xAi) al describir una de sus últimas versiones, señalaba que durante su entrenamiento se identificaron 500.000 prompts sesgados, como "buen programador = hombre joven de Stanford". Luego, humanos (labelers) calificaron las respuestas: las sesgadas recibieron 2/5 puntos, mientras que las equilibradas obtuvieron 5/5. El modelo se reentrenó exclusivamente con las respuestas mejor valoradas mediante RLHF (Refuerzo por Retroalimentación Humana), afirmando una reducción importante del sesgo.
2. Alucinaciones (Hallucinations)
Definición: Generación de información falsa pero convincente, priorizando la verosimilitud sobre la verdad.
La diferencia clave entre ambos problemas es que los sesgos son prejuicios consistentes causados por datos desiguales, mientras que las alucinaciones son errores aislados de predicción. Surgen cuando el modelo carece de datos concretos y rellena huecos basándose en patrones estadísticos, priorizando la coherencia lingüística sobre la veracidad.
Las alucinaciones son consecuencia directa de la arquitectura Transformer: los LLM comprimen conocimiento humano mediante una compresión con pérdida, y reconstruyen respuestas probabilísticas en lugar de recuperar hechos exactos. Cuando la huella del dato original se ha difuminado, el modelo genera un contenido plausible pero falso. Por tanto, la alucinación no es propiamente un error del sistema, sino una característica de su funcionamiento generativo
Mitigación:
Mientras que los sesgos se suavizan reentrenando el modelo, las alucinaciones se reducen mediante RAG (Retrieval-Augmented Generation), que obliga al modelo a consultar fuentes externas fiables antes de responder.
3. Cámaras de eco (Echo Chambers)
Definición: Fenómeno en el que el modelo amplifica y valida premisas introducidas por el usuario —aunque sean erróneas— reforzando la información falsa en lugar de corregirla.
Este riesgo procede de la tendencia de los modelos conversacionales a resultar útiles y complacientes (sycophancy). Si el usuario introduce una afirmación incorrecta (“la inflación de España en 2023 fue del 0,5 %”), el modelo tiende a aceptarla como verdadera y construir la respuesta sobre ella. El usuario cree estar contrastando información, pero solo recibe el eco de su propia premisa.
A gran escala, este mecanismo alimenta un problema sistémico: el model collapse. Si los futuros modelos se entrenan con corpus que contienen cantidades crecientes de contenido generado por otras IAs —incluidas respuestas incorrectas validadas en estas cámaras de eco— la calidad global de la información podría degradarse progresivamente. Este colapso no se produce por el uso ocasional de contenido generado, sino por su acumulación masiva sin filtrado en los datasets de entrenamiento.
Mitigación:
Las estrategias pasan por reforzar la detección automática de premisas falsas, incorporar verificaciones internas explícitas y, en contextos sensibles, combinar la interacción con sistemas de recuperación (RAG) o fuentes verificadas para evitar que el modelo simplemente replique la entrada del usuario.
Estos tres fenómenos muestran que la fiabilidad de un LLM depende tanto de su entrenamiento como de la interacción del usuario y del ecosistema de datos que lo rodea.
4.8 Conclusión
El entrenamiento determina qué puede y qué no puede hacer un modelo de lenguaje. Su comportamiento resulta de la combinación de tres elementos: el corpus utilizado, los mecanismos de optimización y los criterios de alineación aplicados en fases posteriores.
La entrada en vigor del AI Act formaliza esta realidad al establecer requisitos de documentación, trazabilidad y políticas explícitas sobre los datos y procesos empleados, si bien su aplicación práctica es progresiva y ha sido objeto de ajustes y aplazamientos parciales.
Casos recientes como DeepSeek muestran, además, que distintas estrategias de entrenamiento pueden alterar de forma significativa la eficiencia, el coste y el comportamiento observable de los modelos sin modificar la arquitectura base. Estas variaciones no solo tienen consecuencias técnicas, sino que también influyen en cómo el ecosistema interpreta, evalúa y reacciona ante nuevos desarrollos.
En conjunto, el entrenamiento ya no puede entenderse únicamente como una fase técnica previa al despliegue. Es el principal determinante de la calidad, los sesgos y las capacidades de los LLM, y un punto de fricción donde convergen decisiones científicas, económicas y regulatorias.
Contenido revisado a diciembre de 2025.