Cómo medir si la formación en IA de tu empresa está dando resultados

Invertir en formación en IA y no saber si ha servido de algo es el patrón más habitual que vemos. La empresa contrata un curso, los empleados asisten, los certificados se acumulan en el perfil de LinkedIn y seis meses después el uso real de IA en el equipo es prácticamente el mismo que antes. El dinero se ha ido, el tiempo también, y nadie tiene ni idea de qué salió mal.

El problema no es la formación en sí. Es que nadie definió qué significa “que funcione” antes de empezar.

Este post va de eso: de cómo medir el impacto real de la formación en IA en tu empresa, con métricas concretas que puedes empezar a rastrear desde mañana.

Por qué fracasan las métricas tradicionales de formación IA

Las empresas que miden formación suelen hacerlo con dos indicadores: asistencia y satisfacción. Cuántos empleados completaron el curso y si les gustó. Ambos miden el consumo del contenido, no el cambio de comportamiento.

En formación tradicional esto ya era cuestionable. En formación de IA es directamente inútil. La razón es que el objetivo no es que los empleados sepan cosas sobre IA. El objetivo es que cambien cómo trabajan.

Un empleado puede salir de un curso de ChatGPT sabiendo perfectamente la diferencia entre un prompt zero-shot y uno few-shot, y seguir haciendo su trabajo exactamente igual que antes. La formación habrá sido exitosa según las métricas habituales y un fracaso total en términos de impacto real.

La formación en IA no se mide por lo que la gente aprende. Se mide por lo que la gente hace distinto.

Esta distinción cambia completamente cómo tienes que diseñar el sistema de medición.

Los cuatro niveles para medir el impacto real

El marco de Kirkpatrick, adaptado al contexto de IA empresarial, ofrece una estructura útil. Cuatro niveles, de menor a mayor rigor y dificultad de medición:

Nivel 1 — Reacción: ¿Cómo ha vivido el equipo la formación? Aquí sí tiene sentido una encuesta de satisfacción, pero orientada a percepción de utilidad práctica, no a si el formador explicaba bien. Las preguntas relevantes son: “¿Puedes aplicar algo de esto la semana que viene?” y “¿Qué sigue sin estar claro?”

Nivel 2 — Aprendizaje: ¿Ha cambiado el nivel de conocimiento y habilidades? Esto se puede medir con ejercicios prácticos antes y después, no con tests de opción múltiple. Si la formación es de prompting, el ejercicio es: resuelve este problema real de tu trabajo usando el modelo. El evaluador valora si el output es útil, no si la persona recuerda definiciones.

Nivel 3 — Comportamiento: ¿Ha cambiado cómo trabaja el equipo? Este es el nivel crítico y el más difrecuente de ignorar. Se mide con observación directa y con datos de uso. Ejemplos concretos: frecuencia de uso de herramientas IA en el trabajo diario, número de tareas delegadas a sistemas de IA, tiempo invertido en tareas que antes se hacían manualmente.

Nivel 4 — Resultados: ¿Ha cambiado algo que importa para el negocio? Velocidad de procesos, calidad de outputs, tiempo liberado para trabajo de mayor valor. Este es el nivel más difícil de medir porque implica aislar el efecto de la formación de otros factores, pero es el único que justifica la inversión ante dirección.

KPIs concretos por tipo de formación

No todas las formaciones en IA tienen los mismos objetivos, así que las métricas tienen que adaptarse. Estos son los indicadores que recomendamos según el enfoque:

Formación de uso general (ChatGPT, Copilot, herramientas genéricas)

• Tasa de adopción activa: porcentaje de empleados que usan la herramienta al menos 3 veces por semana, cuatro semanas después de la formación. Línea de base: 0%. Objetivo realista: 40-60% en tres meses.
• Tipos de uso: ¿para qué la están usando? Redacción, resúmenes, búsqueda de información, generación de ideas. Esto se puede capturar con una encuesta corta mensual o, si tienes licencias corporativas, directamente desde los dashboards de uso de Microsoft 365 o Google Workspace.
• Calidad autopercibida del output: escala simple del 1 al 5, cada semana, sobre si la IA les está ayudando a producir trabajo mejor o más rápido. Sencillo y útil para detectar problemas de adopción temprano.

Formación de automatización y prompting avanzado

• Número de flujos automatizados creados: cuántos procesos ha automatizado el equipo usando las herramientas aprendidas. En empresas donde hemos trabajado junto con formación de Héctor Matías, este número suele ser el indicador que más convence a dirección porque es observable y concreto.
• Tiempo ahorrado por automatización: para cada flujo creado, estimación del tiempo que ahorrará por semana. Multiplicado por el coste/hora del empleado, esto da el ROI financiero de la formación.
• Tasa de finalización de proyectos IA propios: de los proyectos de automatización iniciados durante o tras la formación, qué porcentaje han llegado a estar en uso real (no en demo, no en pruebas).

Formación para mandos intermedios y dirección

• Calidad de las decisiones sobre IA: esto se mide de forma cualitativa, con casos concretos. ¿El manager ha rechazado una propuesta tecnológica innecesaria? ¿Ha identificado un caso de uso válido en su área? ¿Ha asignado tiempo real a su equipo para probar IA?
• Cambios en la forma de gestionar al equipo: ¿se ha modificado algún proceso del área para incluir IA? ¿Se han redefinido roles o responsabilidades?
• Indicadores de ROI de proyectos IA del área: si el mando intermedio tiene criterio para evaluar propuestas de IA, los proyectos que aprueba deberían tener mejor retorno. Esto se puede medir a posteriori comparando proyectos pre y post formación.

Cuándo medir: el error del momento único

Uno de los errores más comunes es medir solo al acabar la formación. El problema es que justo al terminar, la motivación y el conocimiento están en su pico. Lo que importa es qué pasa tres semanas después, cuando la adrenalina del curso ha desaparecido y la gente vuelve a la presión del día a día.

El calendario recomendado es este:

1. Antes de la formación: encuesta de nivel de partida y hábitos de uso actuales. Esto es la línea de base. Sin ella, no hay comparación posible.
2. Al acabar la formación: reacción y aprendizaje (niveles 1 y 2).
3. Tres semanas después: primera medición de comportamiento. Es el momento en que la mayoría de las iniciativas de formación empiezan a morir. Si el uso no ha arranacdo aquí, necesitas intervención.
4. Tres meses después: medición completa de comportamiento y primeros resultados de negocio.
5. Seis meses después: medición de resultados consolidados. Si a los seis meses no hay impacto medible, la formación no ha funcionado como debería.

Señales de que la formación no está funcionando (y qué hacer)

No todo el seguimiento tiene que ser cuantitativo. Hay señales cualitativas que indican que algo no va bien:

• Los empleados dicen que “no tienen tiempo” para usar IA. En realidad, significa que no ven el valor suficiente para cambiar su rutina. El problema no es el tiempo, es que la formación no fue suficientemente práctica y contextualizada a su trabajo real.
• El uso de IA está concentrado en 2-3 personas entusiastas y el resto no ha cambiado nada. El efecto “early adopter” es normal al principio, pero si a los dos meses no se ha extendido, hay un problema de relevancia o de cultura.
• La gente usa IA para tareas triviales (escribir emails de agradecimiento, resumir documentos de un párrafo) pero no para las tareas donde realmente ahorraría tiempo. Señal de que la formación fue genérica y no se vinculó a los procesos reales del negocio.

En todos estos casos, la solución no es más formación. Es formación diferente: más práctica, más específica, más vinculada a los procesos reales de cada departamento. Esto es exactamente lo que diferencia un plan de formación bien diseñado de uno que acumula certificados sin cambiar nada.

El papel del responsable interno: sin sponsor, no hay resultado

Una de las variables que más correlaciona con el éxito de la formación en IA es tener un responsable interno que la lleve. No un champion entusiasta que lo hace a ratos entre otras responsabilidades, sino alguien con tiempo asignado para hacer seguimiento, responder dudas, compartir casos de uso internos y visibilizar los éxitos del equipo.

En las empresas donde esto funciona, suele haber alguien —en muchos casos del área de Operaciones o RRHH— que actúa como enlace entre el proveedor de formación y el equipo. Esta persona revisa las métricas, detecta quién se ha quedado atrás y se asegura de que los aprendizajes no mueran en la carpeta de “cursos completados”.

Sin este rol, incluso la mejor formación del mundo tiene una vida útil de tres semanas.

Cómo integrar la medición desde el diseño, no como añadido

La medición del impacto de la formación no puede añadirse al final, cuando el proveedor ya ha cobrado y el equipo ha cerrado el capítulo. Tiene que estar integrada en el diseño desde el principio.

Esto significa que antes de contratar cualquier programa de formación en IA para tu empresa, deberías tener respuesta a estas cuatro preguntas:

1. ¿Cuál es el comportamiento específico que queremos que cambie?
2. ¿Cómo vamos a saber si ese comportamiento ha cambiado?
3. ¿Quién es el responsable interno de hacer el seguimiento?
4. ¿Cuál es el umbral de éxito a tres meses que justificaría la inversión?

Si el proveedor de formación no te hace estas preguntas antes de empezar, es una señal de alerta. Un buen programa de formación empieza por entender qué necesita cambiar, no por presentar el catálogo de cursos disponibles.

En Everglow trabajamos con equipos que ya han pasado por formaciones genéricas y se han quedado a medias. La parte de implantación —conectar el aprendizaje con los procesos reales, los sistemas existentes y los flujos de trabajo del día a día— es donde el impacto se convierte en algo medible y sostenible en el tiempo.

Si lo que necesitas es diseñar o mejorar el programa de formación en sí, Héctor Matías trabaja específicamente con equipos y directivos de empresa para que la formación en IA tenga impacto real, no solo horas certificadas.

Resumen: lo que debes medir y cuándo

Para no perderse en la teoría, aquí está la versión práctica:

• Antes de empezar: línea de base de uso actual y nivel de conocimiento.
• Al acabar: satisfacción percibida y habilidades prácticas demostradas.
• A las 3 semanas: adopción activa (¿cuántos lo están usando?) y tipos de uso.
• A los 3 meses: comportamiento consolidado y primeros resultados de negocio.
• A los 6 meses: impacto en productividad, calidad y ROI de proyectos IA iniciados.

La formación en IA que no se mide no mejora. Y la que no mejora se convierte en un gasto que nadie en la empresa puede justificar cuando llega la siguiente ronda de presupuesto.

Si quieres empezar a implantar IA de verdad en tus operaciones, con o sin formación como parte del proceso, puedes contactar con Everglow.