Sergio Hurtado

13 · Proyectos

Pôle emploi, Dirección de Sistemas (Bertin)

Pôle emploi – Prueba de un motor de recomendación

2017 · 8 meses · Evaluación de la usabilidad

La solicitud

Pôle emploi, el servicio público de empleo francés, añadía a su Emploi Store «On vous guide», un motor de recomendación que orienta al usuario hacia los servicios adaptados a sus respuestas. Había que evaluar su usabilidad con futuros usuarios antes de la puesta en línea.

La solución

Realicé pruebas con trece participantes, en zona rural en Seclin y en zona urbana en Montreuil: exploración libre, escenarios, entrevista, cuestionario SUS y test A/B de dos versiones del cuestionario. Entregué una síntesis de 83 páginas con recomendaciones ilustradas, como mantener el acceso al motor por encima de la línea de flotación.

El protocolo

Trece participantes, siete en zona rural en Seclin y seis en zona urbana en Montreuil, con perfiles variados: edad, situación, soltura con internet. Cada sesión combinaba exploración libre, escenarios (buscar un servicio con el buscador y luego con el motor de recomendación), entrevista y cuestionario SUS. Se compararon en A/B dos versiones del cuestionario, vertical y horizontal. Redacté la síntesis y las recomendaciones.

La línea de flotación

Muy pocos participantes desplazaban la página de inicio. En los equipos de Seclin, el acceso al motor de recomendación quedaba por debajo de la línea de flotación: pasaba desapercibido.

Montreuil

Seclin

La misma página de inicio en los equipos de prueba de Montreuil y de Seclin: según la pantalla, el banner « On vous guide » se ve o desaparece. Las imágenes de vídeo de los participantes están difuminadas.
Recomendación: reducir la imagen de cabecera para que el banner del motor se vea desde 768 px de altura de pantalla.

El cuestionario

Muchos dudaban: ¿se podían elegir varias respuestas?, ¿era obligatoria cada pregunta? La información estaba arriba de la página, pero pocos la leían. En el A/B, cada versión tenía sus argumentos: la vertical pide menos clics, la horizontal guía paso a paso e indica el número de preguntas. Y la mayoría prefirió la versión que no había usado.

A/B test del cuestionario: siete participantes con la versión vertical, seis con la horizontal.

La mayoría de los participantes prefirió la versión que no había usado.

La página de resultados

En la página de resultados, las acciones del pie pasaban desapercibidas y « Recommencer » (empezar de nuevo) hacía temer perderlo todo, cuando los participantes solo querían ajustar una respuesta.

La página de resultados probada: nueve servicios recomendados en forma de tarjetas.
Recomendación: subir las acciones por encima de la línea de flotación y renombrar « Recommencer » como « Modifier mes réponses » (modificar mis respuestas).

Medir y matizar

La puntuación SUS media fue de 65, con una desviación típica alta (19,3): tres participantes, dos de ellos poco familiarizados con lo digital, bajaban la media. De ahí una lectura detallada, participante por participante, en lugar de una sola cifra.