Mide el esfuerzo del cliente de tu chatbot mediante la desambiguación y el aprendizaje automático

Original article was published by Cobus Greyling on Artificial Intelligence on Medium


A medida que los usuarios introducen utterances, que el modelo NLU del chatbot considera ambiguos, se presenta un breve menú relacionado. Cuando el usuario selecciona una de estas opciones dentro del modelo de desambiguación, se establece una relación.

Un ejemplo práctico de un menú de desambiguación.

Un ejemplo práctico de un menú de desambiguación.

Cuando se aplica este enlace, el chatbot puede aprender de esto. En el futuro, cuando el usuario ingrese expresiones similares, el menú de desambiguación se puede reordenar para presentar primero el elemento seleccionado más probable.

Los elementos que nunca se seleccionan se pueden eliminar por completo del menú de desambiguación.

Por lo tanto, el chatbot aprende automáticamente del input del usuario cuál podría ser la opción probable. A partir del ejemplo de prototipo anterior, se creó una habilidad de chatbot de préstamos. Estos intents son muy similares y son realmente ambiguos.

Si se introduce la utterance de préstamo de pago y se selecciona Pagar, seguidamente la opción se mueve hacia arriba en el menú. Creando así un menú hecho a medida a partir del enunciado, clasificado según la probabilidad de ser seleccionado.

La desambiguación permite que los chatbots soliciten ayuda al usuario cuando más de un nodo de diálogo puede aplicarse a su consulta.

La combinación de desambiguación y aprendizaje automático dentro de un chatbot permite medir el esfuerzo del cliente .

¿Qué es el esfuerzo del cliente?

El esfuerzo del cliente es una métrica extremadamente conveniente para medir el rendimiento de tus chatbots.

La medición del esfuerzo del cliente de un chatbot se reduce a su facilidad de uso. Puedes verlo como el esfuerzo realizado o invertido por el usuario para lograr su objetivo.

Si el esfuerzo del cliente ( fricción ) es demasiado alto, el usuario volverá a otros medios y, en este caso, el chatbot habría fallado en su misión.

A partir de este gráfico, es evidente que el esfuerzo del cliente para llegar al nodo de pago / diálogo es mucho mayor que el nodo de préstamo .

A continuación se muestra un ejemplo práctico del esfuerzo del cliente.

  • Si tu cliente elige la tercera opción en una lista de opciones, el esfuerzo invertido se considera mayor que el esfuerzo invertido para elegir la primera opción.
  • Del mismo modo, si un cliente elige Ninguna de las opciones anteriores, para significar que ninguna de las opciones aborda su necesidad, la métrica de esfuerzo es aún mayor.
  • Por ejemplo, IBM Watson Assistant utiliza un notebook para trazar gráficamente los valores de la métrica del esfuerzo del cliente, de modo que tienes una indicación visual de cómo cambia la métrica con el tiempo.
  • También puedes ver información relacionada, como el volumen de desambiguación y qué nodos de diálogo se incluyen con más frecuencia como opciones de lista de desambiguación.
Este gráfico muestra la cantidad de clics gastados por el usuario para lograr su objetivo.

El esfuerzo del cliente se puede calcular y mostrar por nodo y a lo largo del tiempo. Esto te ayuda a identificar qué nodos están produciendo NPS negativos y dónde se requiere una mejora.

El esfuerzo del cliente se puede mostrar por nodo de diálogo a lo largo del tiempo.

Arriba puedes ver que el esfuerzo del cliente para el nodo o cuadro de diálogo contratar préstamo es mucho menor que el nodo Pagar . Por lo tanto, está claro dónde se debe reducir la fricción.

El esfuerzo del cliente con el tiempo disminuyó durante el tiempo en que se aplicó el aprendizaje automático.

El gráfico anterior muestra el esfuerzo total (línea roja) y promedio (línea azul) del cliente a lo largo del tiempo. El área sombreada indica el tiempo durante el que se aplicó el aprendizaje automático. Hay una caída considerable en el esfuerzo del cliente durante el tiempo que se aplicó el aprendizaje automático.

El mapa de calor de arriba muestra el recuento de co-ocurrencia de los N pares de nodos principales en las listas de desambiguación. Mover el cursor en cada cuadrado para ver la información del recuento.

Puedes ver que los usuarios que muestran interés en un préstamo llegan al nodo de contratar un préstamo . Mostrar interés y preguntar sobre el pago también es algo común. Contratar un préstamo y el pago también va de la mano.

Es evidente que el pago es primordial en el interés de los usuarios.

Conclusión

Combinando estos tres elementos:

  • Desambiguación.
  • Aprendizaje automático.
  • Esfuerzo del cliente.

Ayudas a una mejora continua medida y centrada en el la experiencia del usuario.