Deflexión, contención y resolución: qué resuelve de verdad un agente de IA

En cualquier demo de un agente de IA vas a escuchar un número redondo y grande. Setenta por ciento. A veces ochenta. Casi nunca alguien aclara qué se está contando cuando dice “resuelve el 70% de tus tickets”, y ahí está el detalle que importa: bajo esa frase caben tres métricas distintas, dan resultados muy diferentes, y la más generosa de las tres es la que suele terminar en el slide.

El cobro duplicado que el bot dio por cerrado

Un cliente escribe preguntando por qué le cobraron dos veces. El agente le contesta con el artículo de la política de reembolsos. El cliente lo lee, no encuentra su caso, cierra la ventana. El lunes esa conversación aparece en el tablero como éxito. El miércoles el mismo cliente pide el contracargo a su banco y nadie relaciona una cosa con la otra.

Esa conversación cuenta como deflexión, porque la consulta nunca llegó a la cola humana. También cuenta como contención, porque terminó dentro del canal automático sin transferencia a una persona. Las dos métricas miran el recorrido de la conversación y se dan por satisfechas cuando nadie del equipo tuvo que intervenir.

La resolución es la única que mira el problema del cliente. Para que una consulta cuente como resuelta tiene que haberse cerrado, el cliente tiene que haber obtenido lo que necesitaba, y no tiene que volver a escribir por lo mismo en los días siguientes. Es la más difícil de medir, porque obliga a mirar qué pasó después de que la conversación terminó, y por eso mismo es la que menos aparece en los materiales comerciales. El caso del cobro duplicado suma en las dos primeras y no suma nada en esta.

67%, 80%, 41,2%: la tasa de resolución que publica cada proveedor

Todos los números del mercado son auto-reportados y ninguno está auditado por un tercero. Intercom cita 67% para Fin, con materiales de marketing que llegan a mencionar entre 76% y 82%. Decagon publica 80%, Ada entre 70% y 80%, Sierra alrededor de 70%. Zendesk reporta una mediana de 41,2% en sus cuentas enterprise, que es la cifra más baja del grupo y probablemente la más honesta justamente por eso.

Cuando alguien mide desde afuera, la foto cambia. Los análisis independientes del rendimiento de Fin en producción documentan tasas reales entre 45% y 53%, un hueco de entre 23 y 31 puntos contra su propio marketing. Al abrir el número por tipo de consulta se entiende de dónde sale: entre 60% y 70% en preguntas frecuentes de una sola vuelta, y entre 15% y 25% en tickets complejos de varios intercambios.

Hay un dato adentro de ese análisis que conviene leer dos veces. Cerca de la mitad de las consultas se desvían de la cola humana, pero solo alrededor del 14% se resuelven sin que después intervenga una persona. Buena parte de lo que un tablero muestra como éxito reaparece más tarde por otro canal, con otro número de ticket, y nadie conecta los dos eventos.

“Los agentes de IA sirven, y bastante. Lo que pasa es que el número que te van a mostrar mide una cosa distinta de la que a ti te interesa.”

Tu techo lo fija tu cola de tickets

Dos empresas pueden implementar exactamente el mismo agente y terminar con 65% y 30% de resolución. La composición de la cola explica casi toda esa diferencia.

Con un 70% de tickets del tipo “¿cómo cambio mi contraseña?”, “¿cuándo llega mi pedido?” o “¿dónde descargo la factura?”, un agente bien alimentado te va a dar un número alto y verdadero. Con una cola llena de casos que exigen mirar tres sistemas, entender una excepción comercial o decidir si corresponde una nota de crédito, ningún agente del mercado llega hoy al 70%, por mucho que la demo haya salido impecable.

De ahí que el primer trabajo sea abrir los últimos 300 tickets y clasificarlos: cuántos son repetitivos y se cierran en una vuelta, cuántos necesitan consultar un dato de tu sistema, cuántos requieren criterio humano. Ese porcentaje es tu techo realista, y lo tienes antes de hablar con ningún vendedor. Si nunca hiciste ese ejercicio, medir tus tiempos de soporte es un buen punto de entrada, porque ya te obliga a mirar tus tickets uno por uno en vez de a ojo.

La ventana de siete días

Un número de resolución empieza a ser creíble cuando tiene una regla de reapertura atrás. Si el cliente vuelve a escribir por el mismo motivo dentro de los 7 días, esa conversación no se resolvió y hay que descontarla. Parece obvio y casi nadie lo aplica, porque sin esa regla cualquier cierre computa como éxito y el tablero se ve mucho mejor.

El segundo requisito es que los canales estén cruzados. Con WhatsApp y email viviendo separados, el cliente que el bot “resolvió” en el chat y que después manda un correo aparece como dos casos sin relación entre sí, y el error se te esconde en la estadística. Es el mismo problema que aparece cuando el soporte multicanal crece sin una bandeja común, solo que ahora contamina la medición del proyecto de IA.

Después está el CSAT, que conviene mirar partido en dos: la satisfacción de las conversaciones que cerró el agente, y la de las que terminó una persona. El promedio de las dos juntas no te dice nada.

Preguntas para hacerle al proveedor

• ¿Ese porcentaje es deflexión, contención o resolución? ¿Cómo lo definen exactamente?
• ¿Cuentan como resolución un caso donde el cliente volvió a escribir a los tres días?
• ¿De qué cuentas sale el número y qué mix de tickets tenían?
• ¿Puedo ver la tasa abierta por tipo de consulta, en vez del promedio?
• ¿Qué pasa con la facturación cuando el agente falla y el ticket termina en manos de una persona?

Si la respuesta a la primera es vaga, el número no vale nada. Y si a la tercera te contestan con el caso de éxito de un ecommerce donde el 90% de las consultas eran “dónde está mi pedido”, ya sabes por qué esa cifra era tan alta y por qué la tuya no lo va a ser.

Preguntas frecuentes