Au-dela des mots-cles : evaluation de la classification des formes nuancees de validisme par les grands modeles de langage

Titre original en anglais : Beyond Keywords: Evaluating Large Language Model Classification of Nuanced Ableism

Cette publication est incluse dans le projet « Contributions académiques de personnes autistes sur l’autisme ». un auteur·ice de cette publication est identifié·e comme autiste dans le projet.

À propos de la mention auteur·ice autiste

Sources de métadonnées utilisées pour cette référence

OpenAlex DataCite BibTeX
En savoir plus sur les sources utilisées

Rizvi, N., Strickland, H., Ahmedi, S., Kallepalli, A., Khirwadkar, I., Wu, W., Munyaka, I. N. S., & Ousidhoum, N. (2025). Beyond Keywords: Evaluating Large Language Model Classification of Nuanced Ableism [Preprint]. arXiv. https://doi.org/10.48550/arxiv.2505.20500

Date de publication: 26/05/2025 Ajout dans AutiHub: 20/10/2026 Type: Prépublication Langue de l’article: Anglais
Source éditeur (DOI) Texte intégral Source OpenAlex

Cette publication est intégrée dans AutiHub via :

Auteurs

Auteur·ices des publications
8
Auteur·ices de la publication identifié·es comme autistes
1 / 8 (12,5 %)
  1. Naba Rizvi *
  2. Harper Strickland
  3. Saleha Ahmedi
  4. Aekta Kallepalli
  1. Isha Khirwadkar
  2. William Wu
  3. Imani N. S. Munyaka
  4. Nedjma Ousidhoum

Résumé

Les grands modeles de langage (LLM) sont de plus en plus utilises dans des taches de prise de decision telles que la selection de CV et la moderation de contenu, ce qui leur donne le pouvoir d'amplifier ou de supprimer certaines perspectives. Alors que des recherches anterieures ont identifie des biais lies au handicap dans les LLM, on sait peu de choses sur la maniere dont ils conceptualisent le validisme ou le detectent dans le texte. Nous evaluons la capacite de quatre LLM a identifier des formes nuancees de validisme dirigees contre des personnes autistes. Nous examinons l'ecart entre leur comprehension de la terminologie pertinente et leur efficacite a reconnaitre un contenu validiste dans son contexte. Nos resultats revelent que les LLM peuvent identifier un langage lie a l'autisme, mais manquent souvent des connotations nuisibles ou offensantes. En outre, nous menons une comparaison qualitative des explications humaines et de celles des LLM. Nous constatons que les LLM tendent a s'appuyer sur une mise en correspondance superficielle de mots-cles, ce qui conduit a des erreurs d'interpretation du contexte, contrairement aux annotateurs humains qui prennent en compte le contexte, l'identite du locuteur et l'impact potentiel. D'autre part, les LLM et les humains s'accordent sur le schema d'annotation, ce qui suggere qu'une classification binaire est adequate pour evaluer les performances des LLM, ce qui est conforme aux resultats d'etudes anterieures impliquant des annotateurs humains.

Large language models (LLMs) are increasingly used in decision-making tasks like résumé screening and content moderation, giving them the power to amplify or suppress certain perspectives. While previous research has identified disability-related biases in LLMs, little is known about how they conceptualize ableism or detect it in text. We evaluate the ability of four LLMs to identify nuanced ableism directed at autistic individuals. We examine the gap between their understanding of relevant terminology and their effectiveness in recognizing ableist content in context. Our results reveal that LLMs can identify autism-related language but often miss harmful or offensive connotations. Further, we conduct a qualitative comparison of human and LLM explanations. We find that LLMs tend to rely on surface-level keyword matching, leading to context misinterpretations, in contrast to human annotators who consider context, speaker identity, and potential impact. On the other hand, both LLMs and humans agree on the annotation scheme, suggesting that a binary classification is adequate for evaluating LLM performance, which is consistent with findings from prior studies involving human annotators.

Bibliographie citée par cette référence

Les références citées sont importées depuis des sources externes de métadonnées lorsqu’elles sont disponibles. La liste peut être partielle.

Aucune bibliographie citée n’est actuellement intégrée pour cette référence. Cela ne signifie pas nécessairement qu’aucune bibliographie n’existe.