L'IA générative a besoin de l'UXR (partie 2/2)

Votre organisation se pose certainement de nombreuses questions suite à l'émergence de l'IA générative : des considérations métaphysiques jusqu'aux questions tech très précises en passant par l'impact business. Et votre organisation consacre probablement du temps et des ressources au fait de trouver des réponses à ces questions.
‍
Fort heureusement, il y a des experts du sujet formés pour y répondre : les Researchers.

Claire Jin est User Research Manager et a 10 ans d’expérience dans le domaine : d’abord chez Orange, puis chez TotalEnergies et enfin aujourd’hui chez Brevo. En parallèle de ses activités de Researcher, Claire dispense son savoir et partage son expertise à la communauté en école de Design et via Medium.

Cet article constitue la seconde partie d’une conversation que nous avons eue avec Claire sur le rôle de l’UXR dans l’IA Générative :

• [Partie 1] Contexte et enjeux : pourquoi les researchers peuvent (et doivent) devenir des références sur les enjeux liés à l’IA ?
• [Partie 2] Sujets de recherche : comment faire de la recherche sur les sujets IA ?

Il est important de sortir de l’approche techno-centrique : parfois, une solution sans IA est plus appropriée !

Quelles sont les interrogations possibles des équipes sur les sujets IA ?

Pour les entreprises, les premières interrogations sont souvent autour des aspects business et tech. Elles concernent souvent le positionnement sur le marché, les objectifs de performance visés et la manière de mesurer les résultats, ou encore le choix d’utiliser un modèle propriétaire ou open source, de l’héberger en interne, etc. Il y a bien entendu des questions relatives aux biais ou au manque d’explicabilité, mais de la même manière que les questions de ressources ou de sécurité, elles sont souvent abordées avec un angle technique.
En tant que researchers nous pouvons accompagner les équipes pour mieux prendre en compte l’humain lors des différentes étapes de conception. Tout d’abord au moment du cadrage en les aidant à creuser le problème à résoudre et à voir comment l’IA peut répondre ou non aux besoins des utilisateurs. Il est important de sortir de l’approche techno-centrique : parfois, une solution sans IA est plus appropriée !

Nous pouvons également les accompagner dans la définition d’indicateurs de performance qui prennent en compte l’expérience des utilisateurs et dans la mise en place de feedback loops pour s'assurer en continu que l’on va dans la bonne direction et faire remonter immédiatement les potentiels problèmes pour favoriser la confiance des utilisateurs et l’adoption. Aujourd’hui, si notre rôle est bien identifié sur tous les sujets d’utilisabilité, nous devons par contre souvent aider les équipes à prendre de la hauteur concernant l’impact de l’IA dans le contexte global de l’utilisateur et les enjeux éthiques.
C’est en suscitant ces interrogations que nous pouvons valoriser la recherche exploratoire.

Il faut prendre [l’IA] pour ce qu’elle est : un outil qui agit comme un assistant dont les résultats doivent être évalués par l’esprit critique du Researcher.

Comment faire de la Research sur des sujets IA ?

Faire de la recherche sur l'IA, c'est comme explorer une nouvelle frontière.

Il faut adopter un esprit pionnier tout en restant critique. Si les fondamentaux de la Research restent les mêmes, nous devons adapter nos méthodes et notre approche pour adresser les défis spécifiques à l’IA. J’ai d’ailleurs écrit un article avec des exemples détaillés à ce sujet. Un cas typique est la nécessité de tester un concept qui n’existe pas encore et est difficile à prototyper. Dans ce cas, on peut utiliser la méthode du magicien d’Oz où un humain opère en coulisse pour simuler une interface automatisée. Cela permet d’avancer de manière flexible et économique.
L’IA introduit de nouvelles interfaces qui nécessitent souvent une phase d'adaptation, les études longitudinales sont donc très utiles. Elles permettent d’observer la courbe d’apprentissage, l’évolution des usages et des perceptions dans le temps et la formation de nouveaux modèles mentaux. On peut par exemple utiliser la méthode les journaux de bord ou encore mettre en place des sessions de tests itératifs avec un même groupe d’utilisateurs. Les études ethnographiques permettent également une compréhension approfondie des facteurs culturels et du contexte de l’utilisateur.
Les modèles d’IA évoluent en permanence, il est donc important de mettre en place des feedback loops par exemple via la possibilité de laisser des commentaires directement dans le produit et de noter les résultats obtenus. Cela peut même permettre au modèle de faire de l’apprentissage en temps réel. Il est également important d’analyser les logs, et dans le cas de l’utilisation d’un LLM, par exemple, d’analyser les reformulations ou encore les corrections manuelles. La mise en place d’alpha et bêta tests permet également d’obtenir des insights précieux.
Une autre approche complémentaire que j’ai trouvée très efficace dans mes expériences passées pour explorer les perceptions et les attentes des utilisateurs autour de technologies émergentes est le design fiction. Il peut notamment permettre de creuser les enjeux éthiques et d’anticiper les craintes des utilisateurs.
Et comme dans tout projet de recherche, il est conseillé de combiner différentes méthodes et de trianguler les données.

Je suis également convaincue que les sujets IA ont beaucoup à gagner d’une approche pluridisciplinaire. Un de mes premiers projets de recherche, il y a une dizaine d'années, portait sur la perception du guidage algorithmique des utilisateurs de Google, Facebook, Twitter, YouTube et Amazon. J’ai par exemple eu la chance de collaborer avec des data scientists, des économistes, ou encore des juristes. Cela permet de croiser les perspectives et d’avoir une approche globale des enjeux. La bonne nouvelle c’est que l’IA peut d’ailleurs contribuer au process de recherche et nous aider à augmenter nos capacités, par exemple dans l’automatisation du recrutement des utilisateurs, pour le formatage et l’analyse de données, la génération de résumés, la création d’éléments visuels ou encore l’analyse thématique.
Il faut cependant la prendre pour ce qu’elle est : un outil qui agit comme un assistant dont les résultats doivent être évalués par l’esprit critique du Researcher. En effet, nous ne créons pas pour des robots et aucun outil d'IA ne peut remplacer la recherche menée avec de vrais humains. Une machine ne vit ni ne ressent le monde comme nous. Ce serait un peu comme écrire une recette sans jamais goûter un plat ni expérimenter ses saveurs...

Je pense qu’avec la “hype” autour de l’IA, on a parfois tendance à sous-estimer la place de l’humain et le fait que les meilleurs résultats sont atteints dans une approche hybride et non pas par l’IA seule.

Comme pour n’importe quelle nouvelle technologie, il y a beaucoup d’incertitudes aujourd’hui sur l’IA… quelle valeur peut-on avoir ?

Dans cette période de transformation et d’incertitude, je pense que les Researchers ont un rôle clé en tant que pont entre la technologie et l’humain. Ils aident à comprendre les besoins des utilisateurs, leurs préoccupations vis-à-vis de l’IA et à les traduire en insights qui permettent de concevoir des solutions qui favorisent une collaboration homme-machine équilibrée. Je pense qu’avec la “hype” autour de l’IA, on a parfois tendance à sous-estimer la place de l’humain et le fait que les meilleurs résultats sont atteints dans une approche hybride et non pas par l’IA seule. D’ailleurs cette notion de collaboration revient souvent dans le champ lexical utilisé pour parler de l’IA dans les entretiens utilisateurs. Pour moi les Researchers ont un rôle de conseiller stratégique, de partenaire de confiance, qui permet d’éviter de nombreux écueils et favorise des prises de décision éclairées et responsables, à la fois dans l’intérêt de l’entreprise et dans l’intérêt général. Personne n’a envie de dépenser des sommes faramineuses pour développer un produit qui ne sera pas adopté car il ne répond pas à un besoin ou parce qu’il n’est pas jugé fiable ou digne de confiance.

Les Researchers représentent les utilisateurs, les clients… mais là on a l’impression que cela va au delà, et que nous représentons les intérêts de l’humain de façon globale.
Quels sont les enjeux éthiques liés à l’IA ?

Absolument, l’IA est un sujet qui nous pousse à nous poser des questions fondamentales sur ce que signifie être humain à l’ère du numérique. Nous passons souvent du “est-ce faisable?” à “devrions-nous le développer?” et si oui “comment le développer dans l’intérêt de ceux qui vont l’utiliser?”.

Malgré les avancées fulgurantes, les défis restent nombreux. Les utilisateurs doivent être informés de la manière dont sont collectées, traitées et stockées leurs données. Beaucoup de questions restent ouvertes à ce stade : pendant combien de temps est-il légitime de conserver les données ? Sera-t-il possible de mettre en œuvre le droit à l’oubli ? La question des biais constitue également un défi majeur. Les données d'entraînement peuvent être biaisées, la collecte de données peut souffrir d'un biais statistique, les algorithmes eux-mêmes peuvent être conçus avec des biais conscients ou inconscients, et les interactions avec le système en contexte réel peuvent également introduire un biais humain. L'IA ne peut pas différencier les faits objectifs des opinions, ni les sources fiables de celles qui ne le sont pas, c’est une des raisons des “hallucinations”, c’est-à-dire des situations où le modèle génère des données incorrectes qu’il présente avec confiance. Si l’on prend l’exemple des LLMs, beaucoup de modèles comme GPT ont été d’abord entraînés en anglais et sur des données de pays occidentaux, ils ont donc tendance à refléter ces cultures. ll faut donc trouver des moyens d’établir des gardes-fous afin de garantir le même niveau d’expérience et d’équité à tous les utilisateurs. Et cela nous amène à un autre enjeu majeur : peu de structures disposent des ressources nécessaires au développement et au déploiement de l'IA générative à grande échelle. Ces technologies se trouvent donc entre les mains de quelques acteurs dont les intérêts peuvent entrer en conflit avec ceux de leurs utilisateurs.De nombreuses interrogations émergent autour de la transparence et de la responsabilité. Peut-on créer un cadre pour auditer les systèmes ? Comment mettre en avant la responsabilité des entreprises ? Quel type de gouvernance peut être créé ? Tous ces sujets nécessitent une prise de conscience collective et une approche systémique incluant tous les acteurs de la société, allant des entreprises, aux organismes publics et aux États.

La Research a la capacité d’éclairer les angles morts de l’innovation.

Quel rôle de la Research dans tout ça ?

Pour moi, la Research a un rôle de facilitateur en posant les bonnes questions et en créant des espaces de discussions nécessaires, par exemple entre développeurs et utilisateurs. Elle permet d’analyser les préoccupations et le degré de transparence attendu par les utilisateurs pour orienter le développement produit, créant ainsi des solutions plus adaptées et favorisant une adoption réussie. Elle a également un rôle de garde-fou, notamment à travers l’anticipation et l’analyse des conséquences inattendues de cette technologie. La Research a en quelque sorte la capacité d’éclairer les angles morts de l’innovation. Elle a notamment un rôle important à jouer concernant les biais et l’équité des modèles développés. Elle peut aider à avoir une démarche plus inclusive et mieux intégrer les données des différents utilisateurs. Par exemple, en testant des assistants vocaux avec des utilisateurs aux accents et aux modes d’expression variés pour s'assurer que personne ne soit exclu ou désavantagé. Elle est également bien placée pour rendre l’IA plus accessible et aider les utilisateurs à mieux comprendre son fonctionnement et à se sentir plus confiants dans son utilisation. Si l’on prend l’exemple d’applications comme ChatGPT, on se rend compte qu’une grande partie de la population a des difficultés à formuler des prompts efficaces. L’émergence du prompt engineering montre bien que ces interfaces restent complexes à utiliser. Il y a encore beaucoup d’améliorations à apporter pour que les interactions soient plus naturelles et à la portée de tous. La Research peut aider à faciliter le dialogue homme-machine et à lutter contre la fracture numérique. Ceci dit, les questions éthiques liées au design et au produit ne peuvent reposer sur les seules épaules de la Research : il s’agit d’une responsabilité partagée. Et la collaboration de différentes expertises est nécessaire, comme le montre l’émergence de principes IA pour gérer les risques et les dommages potentiels au sein des entreprises et des organismes publics.

Quel dernier conseil pour les Researchers qui se sentiraient affectés par cette révolution de l’IA ?

Mon dernier conseil serait d’aborder cette révolution avec optimisme et résilience, de rester curieux et ouverts d’esprit, et de partager votre expertise pour que les applications de l’IA soient les plus bénéfiques possible. Il est important de prendre conscience qu’il s’agit d’une révolution collective et que vous n’êtes pas seuls !

‍