Alucinaciones en soporte con IA: cómo detectarlas y evitarlas

En febrero de 2024, un tribunal de pequeñas causas de Columbia Británica condenó a Air Canada a pagar 812,02 dólares canadienses a un pasajero llamado Jake Moffatt. La causa: el chatbot de la aerolínea le había asegurado que podía pedir la tarifa de duelo después de viajar, algo que la política real de la empresa no permitía. Air Canada intentó defenderse alegando que el chatbot era una especie de entidad separada, responsable de sus propias palabras. El tribunal rechazó el argumento de plano: dictaminó que la aerolínea responde por todo lo que dice cualquier parte de su sitio, un bot incluido.

El caso quedó como referencia obligada en cualquier conversación seria sobre IA en atención al cliente, no porque Air Canada haya hecho algo particularmente descuidado. Cualquier agente conectado a soporte puede inventar una política, un plazo o un monto con la misma seguridad con la que responde algo cierto. La pregunta que importa no es si tu agente puede alucinar, porque puede, todos pueden. Lo que importa es qué tan rápido lo detectas y qué tan bien armaste el sistema para que pase lo menos posible.

Qué pasa técnicamente cuando un agente inventa una respuesta

Un modelo de lenguaje no busca la verdad: calcula qué palabra sigue con más probabilidad dado el contexto que tiene. Cuando la respuesta correcta está en su base de conocimiento, ese cálculo suele coincidir con la realidad. El problema aparece cuando la pregunta cae fuera de lo documentado, porque el modelo igual completa la oración; completar es lo único que sabe hacer. La alucinación no es un bug puntual que se corrige con un parche: es una consecuencia de cómo funciona el modelo, y se controla diseñando el sistema alrededor de esa limitación, no esperando a que desaparezca sola.

En un agente de soporte el riesgo pesa más que en un chatbot genérico de preguntas frecuentes, porque las consultas rozan zonas grises todo el tiempo. Un cliente casi nunca pregunta “¿cuál es tu política de reembolsos?” en abstracto: pregunta si SU caso puntual, con esa fecha y ese monto, entra en la excepción. Justo ahí, donde el documento original nunca contempló ese cruce exacto, un agente sin freno empieza a improvisar con el mismo tono de certeza que usaría para citar el manual.

Señales de que tu agente ya está alucinando

No hace falta esperar a un tribunal para notarlo. Estas señales aparecen antes:

• Un cliente cita, con total seguridad, una política, un plazo o un descuento que no existe en ningún documento tuyo.
• La misma pregunta, hecha dos veces con semanas de diferencia, recibe respuestas distintas entre sí.
• Empiezan a aparecer reclamos con variantes de "esto no es lo que me dijeron por el chat".
• Un agente humano tiene que deshacer una promesa que hizo el bot, lo que suele dañar más la confianza del cliente que si el bot nunca hubiera contestado nada.

La primera señal es la más peligrosa porque casi nunca llega como una queja explícita. Llega como una venta que se cae, un reembolso que terminas dando igual para no pelear, o, en el peor de los casos, como una demanda.

Cómo probarlo antes de confiar en cualquier agente

Antes de firmar con un proveedor (el que sea, incluido MelonHelp), hay una prueba de media hora que dice más que cualquier demo armada:

Cómo lo maneja MIA

En MIA, el asistente de IA de MelonHelp, la regla de diseño es fácil de explicar y difícil de ejecutar bien todos los días: responde apoyado solo en la información real que cargaste (tus artículos, tus políticas, tus tickets ya resueltos) y, cuando la pregunta cae afuera de eso, lo dice y pasa el caso a una persona con el historial completo. Ninguna instrucción de “sonar mejor” pesa más que esa regla.

Cuándo el riesgo real es bajo

Si tu volumen es chico y tu base de conocimiento cubre casi todo lo que preguntan (cinco o seis temas que se repiten sin variantes raras), el riesgo de una alucinación costosa es bajo, más allá de cualquier titular alarmista sobre IA. El problema crece con el volumen de conversaciones y con la variedad de casos límite, no con la tecnología en sí misma.

Preguntas frecuentes