Comment l'analytique IA contextualisée peut renforcer l'éducation en design

Table des liens

Abstrait et 1. Introduction

1. Travaux antérieurs et 2.1 Objectifs éducatifs des activités d'apprentissage

   2.2 Conception multi-échelle

   2.3 Évaluation de la conception visuelle créative

   2.4 Analyse de l'apprentissage et tableaux de bord

2. Artefact/Sonde de recherche

   3.1 Environnement de conception multi-échelle

   3.2 Intégration d'un tableau de bord d'analyse de conception avec l'environnement de conception multi-échelle

3. Méthodologie et contexte

   4.1 Contextes des cours

   4.2 Entretiens avec les instructeurs

4. Résultats

   5.1 Acquérir des connaissances et informer l'action pédagogique

   5.2 Support pour l'exploration, la compréhension et la validation des analyses

   5.3 Utilisation des analyses pour l'évaluation et le feedback

   5.4 L'analyse comme source potentielle d'auto-réflexion pour les étudiants

5. Discussion + Implications : Contextualisation : Analyses pour soutenir l'éducation en design

   6.1 Indexicalité : Démontrer les analyses de conception en les reliant à des instances

   6.2 Soutenir l'évaluation et le feedback dans les cours de design grâce à l'analyse de conception multi-échelle

   6.3 Limites de l'analyse de conception multi-échelle

6. Conclusion et Références

A. Questions d'entretien

\

6 DISCUSSION ET IMPLICATIONS : CONTEXTUALISER LES ANALYSES POUR SOUTENIR L'ÉDUCATION EN DESIGN

Selon le modèle du traité fondateur de Suchman, Plans and Situated Actions [71], le succès de l'IA repose sur l'intelligibilité mutuelle entre l'IA et les utilisateurs ; dans notre contexte situé, les utilisateurs sont les instructeurs et les étudiants. Cette intelligibilité mutuelle dépend de la façon dont les analyses, qui fonctionnent comme des expressions linguistiques, sont interprétées dans les contextes situés de leur utilisation. Plus précisément, les analyses de conception multi-échelle sont interprétées dans le contexte des instances situées du travail de conception que les étudiants réalisent et de la pédagogie et de l'évaluation que les instructeurs fournissent. Nous avons développé un artefact de recherche pour étudier comment la liaison des analyses aux instances de conception affecterait ce processus d'interprétation. Nous avons recueilli et analysé des données qualitatives pour découvrir comment les instructeurs expérimentent les analyses multi-échelles lorsqu'elles sont contextualisées avec cette liaison indexicale au travail de conception qu'elles mesurent.

\ Nous considérons d'abord RQ2 : Quelle valeur spécifique les analyses de conception multi-échelle basées sur l'IA peuvent-elles apporter aux instructeurs de design dans des contextes de cours situés ? Nous discutons et dérivons des implications sur la façon dont les techniques de présentation indexicale, qui relient les analyses aux instances de conception, contextualisent les analyses et soutiennent ainsi leur utilisation dans des tâches abstraites et créatives, ici, dans l'éducation au design.

\ Nous revenons ensuite à RQ1 : Comment, le cas échéant, les analyses de conception basées sur l'IA peuvent-elles soutenir les expériences d'évaluation et de feedback des instructeurs dans des contextes de cours situés ? Ici, nous discutons et dérivons des implications concernant les particularités des analyses multi-échelles, ce que nous avons observé, et leur potentiel pour soutenir l'évaluation et le feedback dans l'éducation au design. Nous considérons également les limites.

\ Comme l'articulent Zimmerman et al., les implications sont une forme de théorie produite en utilisant une approche de Recherche par le Design [85] ; selon Gaver, la théorie est susceptible d'être "provisoire, contingente et aspirationnelle" [31]. Par conséquent, nous avons l'intention d'étudier si et comment les implications de cette étude contribuent aux interfaces pour dériver et présenter une gamme d'analyses complexes, ce qui constitue une voie fructueuse pour les recherches futures. De telles recherches peuvent déterminer, par exemple, si des implications particulières sont plus utiles dans certaines disciplines éducatives, par rapport à d'autres.

6.1 Indexicalité : Démontrer les analyses de conception en les reliant à des instances

Nous contribuons à la liaison indexicale des analyses aux instances de conception visuellement annotées comme moyen de démontrer ce qu'elles signifient. Selon Turnbull, les énoncés indexicaux articulent des relations à travers les contextes pour transmettre de nouvelles significations [74]. Dans la présente étude, nous avons constaté que l'indexicalité du tableau de bord—c'est-à-dire, la liaison des analyses avec des assemblages d'éléments de conception situés—a aidé les instructeurs à comprendre les analyses. Un élément clé est l'annotation visuelle automatique d'une conception pour montrer quelles échelles et quels clusters ont été reconnus. Par exemple, selon les mots de I9, "J'ai pu déduire... il y a un niveau de zoom qui a une région particulière... et puis ils ont un niveau de zoom différent qui se concentre sur une région différente et ainsi de suite." Les instructeurs ont pu avoir rapidement une idée de l'organisation des conceptions des étudiants et de la façon dont elles ont été quantifiées. Ils ont également pu approfondir le travail et identifier où les analyses ne correspondent pas à leurs propres interprétations. Pour l'une des conceptions, comme l'a exprimé I3 en voyant les résultats de l'IA, "Je ne suis pas sûr pourquoi [cela apparaît ici]... quelques clusters [supplémentaires]".

\ D'autres chercheurs poursuivent admirablement des stratégies d'IA explicable pour communiquer la logique algorithmique de l'IA aux utilisateurs [par exemple, 1, 65]. Cette recherche contribue alternativement à montrer comment la liaison des analyses aux instances peut démontrer visuellement aux utilisateurs ce que signifient les analyses, montrant le travail de l'algorithme de reconnaissance dans des contextes situés de pratique, sans s'attarder sur sa logique sous-jacente.

\ Implications. Les utilisateurs, tels que les instructeurs et les étudiants, devraient bénéficier lorsque l'interaction avec le tableau de bord indexe directement, c'est-à-dire présente les liens entre des analyses spécifiques et des instances de travail de conception. Suchman attire l'attention sur la façon dont la transparence des systèmes basés sur l'IA—qui repose sur la transmission de l'objectif prévu d'une IA aux utilisateurs et l'établissement de la responsabilité—est vitale pour soutenir efficacement la pratique située [71]. Une approche courante de l'IA consiste à obtenir des notes pour un grand ensemble de devoirs et à construire un reconnaisseur ascendant à partir de ces données. Un tel reconnaisseur est généralement basé sur une agrégation arbitraire de caractéristiques qui peuvent correspondre à un score de note global, plutôt que sur des caractéristiques explicitement discernables pour les instructeurs de design ou les étudiants. Alternativement, nous avons élaboré les analyses de conception multi-échelle de la présente recherche, en utilisant des caractéristiques contextuelles, basées sur la conception, pour qu'elles aient un sens pour les instructeurs de design. En conséquence, ces analyses ont le potentiel d'informer les étudiants réfléchissant à la façon d'améliorer leur propre travail, ainsi qu'à la façon de comprendre le travail des autres.

\ De plus, nos utilisateurs ont trouvé de la valeur dans la navigation vers des échelles et des clusters spécifiques mesurés par les analyses. Selon les mots de I1, "s'il serait possible de... peut-être comme pointer ou simplement aller à l'échelle précise." Pour cela, une représentation intermédiaire sur le tableau de bord peut s'avérer utile. Par exemple, nos résultats motivent une enquête plus approfondie, dans laquelle au-delà de présenter un nombre sur le tableau de bord, les utilisateurs bénéficient d'une interaction avec une visualisation en arbre [30], indexant la hiérarchie des échelles et des clusters de chaque instance de travail de conception. Une telle représentation a le potentiel de soutenir davantage les utilisateurs dans la compréhension de l'utilisation des structures imbriquées pour transmettre des informations complexes, allant au-delà du plan pour utiliser une gamme d'échelles et de clusters.

\ Enfin, en indexant les analyses aux instances, les interfaces bénéficieront de l'utilisation d'animations. Mayer et Moreno ont montré que l'ajout d'animations au matériel d'étude améliore la compréhension de l'apprenant [55]. Comme l'explique Tversky, les animations peuvent aider à la perception et à la compréhension de la structure fine des relations spatiales et temporelles entre différentes pièces de contenu [75]. Bederson et Boltman ont constaté que l'animation des changements de point de vue dans un environnement spatial aide les utilisateurs à construire une carte mentale des informations présentes dans l'environnement [10]. La théorie de la conception multi-échelle étend la théorie de l'interface utilisateur zoomable pour se concentrer sur la façon dont les gens assemblent des éléments d'information afin de transmettre des significations, en utilisant l'interaction basée sur l'espace et l'échelle et les principes de conception associés. Dans notre étude, nous avons constaté que l'utilisation de l'animation a aidé les instructeurs à comprendre des caractéristiques complexes. Selon les mots de I1, "J'ai maintenant une meilleure compréhension des clusters spatiaux [avec] l'animation des couleurs changeantes." Nous nous attendons à ce que les fonctionnalités d'interactivité d'animation, telles que les gros plans, le zoom et le contrôle de la vitesse [75], s'avèrent utiles pour soutenir la navigation vers des échelles et des clusters spécifiques.

\ \

:::info Auteurs :

(1) Ajit Jain, Texas A&M University, USA; Affiliation actuelle : Audigent;

(2) Andruid Kerne, Texas A&M University, USA; Affiliation actuelle : University of Illinois Chicago;

(3) Nic Lupfer, Texas A&M University, USA; Affiliation actuelle : Mapware;

(4) Gabriel Britain, Texas A&M University, USA; Affiliation actuelle : Microsoft;

(5) Aaron Perrine, Texas A&M University, USA;

(6) Yoonsuck Choe, Texas A&M University, USA;

(7) John Keyser, Texas A&M University, USA;

(8) Ruihong Huang, Texas A&M University, USA;

(9) Jinsil Seo, Texas A&M University, USA;

(10) Annie Sungkajun, Illinois State University, USA;

(11) Robert Lightfoot, Texas A&M University, USA;

(12) Timothy McGuire, Texas A&M University, USA.

:::

:::info Cet article est disponible sur arxiv sous licence CC by 4.0 Deed (Attribution 4.0 International).

:::

\