13 · Projets
Pôle emploi, DSI (Bertin)
Pôle emploi – Test d'un moteur de recommandation
La demande
Pôle emploi ajoutait à l'Emploi Store « On vous guide », un moteur de recommandation qui oriente l'internaute vers les services adaptés à ses réponses. Il fallait évaluer son utilisabilité avec de futurs utilisateurs, avant la mise en ligne.
La solution
J'ai mené des tests avec treize participants, en zone rurale à Seclin et en zone urbaine à Montreuil : exploration libre, scénarios, entretien, questionnaire SUS et A/B test de deux versions du questionnaire. J'ai livré une synthèse de 83 pages avec des recommandations illustrées, comme garder l'accès au moteur au-dessus de la ligne de flottaison.
Le protocole
Treize participants, sept en zone rurale à Seclin et six en zone urbaine à Montreuil, aux profils variés : âge, situation, aisance avec internet. Chaque séance mêlait exploration libre, scénarios (chercher un service avec le moteur de recherche, puis avec le moteur de recommandation), entretien et questionnaire SUS. Deux versions du questionnaire, verticale et horizontale, étaient comparées en A/B. J'ai rédigé la synthèse et les recommandations.
La ligne de flottaison
Très peu de participants faisaient défiler la page d'accueil. Sur les postes de Seclin, l'accès au moteur de recommandation tombait sous la ligne de flottaison : il passait inaperçu.
Montreuil
Seclin
Le questionnaire
Beaucoup hésitaient : plusieurs réponses étaient-elles possibles, chaque question était-elle obligatoire ? L'information existait, en haut de page, mais peu la lisaient. En A/B, chaque version avait ses arguments : la verticale demande moins de clics, l'horizontale guide pas à pas et annonce le nombre de questions. Et la majorité a préféré la version qu'elle n'avait pas utilisée.
La majorité des participants a préféré la version qu'elle n'avait pas utilisée.
Les résultats
Sur la page de résultats, les actions de bas de page passaient inaperçues et « Recommencer » faisait craindre de tout perdre, alors que les participants voulaient seulement ajuster une réponse.
Mesurer, puis nuancer
Le score SUS moyen s'établit à 65, avec un écart type élevé (19,3) : trois participants, dont deux très peu à l'aise avec le numérique, tiraient la moyenne vers le bas. D'où une lecture détaillée, participant par participant, plutôt qu'un chiffre unique.