AUTALIC : un jeu de donnees pour le langage ableiste anti-autistique en contexte

Titre original en anglais : AUTALIC: A Dataset for Anti-AUTistic Ableist Language In Context

Cette publication est incluse dans le projet « Contributions académiques de personnes autistes sur l’autisme ». un auteur·ice de cette publication est identifié·e comme autiste dans le projet.

À propos de la mention auteur·ice autiste

Rizvi, N., Strickland, H., Gitelman, D., Flores, A. M., Cooper, T., Kallepalli, A., Alurkar, A., Owens, H., Ahmedi, S., Khirwadkar, I., Munyaka, I. N. S., & Ousidhoum, N. (2025). AUTALIC: A Dataset for Anti-AUTistic Ableist Language In Context. Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 20999-21015. https://doi.org/10.18653/v1/2025.acl-long.1022

Date de publication: 01/01/2025 Ajout dans AutiHub: 21/10/2026 Type: Autre Langue de l’article: Anglais

Cette publication est intégrée dans AutiHub via :

Auteurs

Auteur·ices des publications
12
Auteur·ices de la publication identifié·es comme autistes
1 / 12 (8,3 %)

Résumé

A mesure que notre comprehension de l'autisme et de l'ableisme continue de croitre, notre comprehension du langage ableiste envers les personnes autistes augmente elle aussi. Ce langage pose un defi important dans la recherche en TAL en raison de sa nature subtile et dependante du contexte. Pourtant, la detection du langage ableiste anti-autistique reste peu exploree, les outils de TAL existants ne parvenant souvent pas a saisir ses expressions nuancees. Nous presentons AUTALIC, le premier jeu de donnees de reference consacre a la detection du langage ableiste anti-autistique en contexte, comblant une lacune importante dans le domaine. Le jeu de donnees comprend 2 400 phrases liees a l'autisme collectees sur Reddit, accompagnees de leur contexte environnant, et est annote par des experts formes ayant une experience en neurodiversite. Notre evaluation approfondie revele que les modeles de langage actuels, y compris les LLM de pointe, peinent a identifier de maniere fiable l'ableisme anti-autistique et a s'aligner sur les jugements humains, ce qui souligne leurs limites dans ce domaine. Nous publions publiquement AUTALIC ainsi que les annotations individuelles, qui constituent une ressource precieuse pour les chercheurs travaillant sur l'ableisme, la neurodiversite, et etudiant egalement les desaccords dans les taches d'annotation. Ce jeu de donnees constitue une etape cruciale vers le developpement de systemes de TAL plus inclusifs et sensibles au contexte, qui refletent mieux la diversite des perspectives.

As our understanding of autism and ableism continues to increase, so does our understanding of ableist language towards autistic people. Such language poses a significant challenge in NLP research due to its subtle and context-dependent nature. Yet, detecting anti-autistic ableist language remains underexplored, with existing NLP tools often failing to capture its nuanced expressions. We present AUTALIC, the first benchmark dataset dedicated to the detection of anti-autistic ableist language in context, addressing a significant gap in the field. The dataset comprises 2,400 autism-related sentences collected from Reddit, accompanied by surrounding context, and is annotated by trained experts with backgrounds in neurodiversity. Our comprehensive evaluation reveals that current language models, including state-of-the-art LLMs, struggle to reliably identify anti-autistic ableism and align with human judgments, underscoring their limitations in this domain. We publicly release AUTALIC along with the individual annotations which serve as a valuable resource to researchers working on ableism, neurodiversity, and also studying disagreements in annotation tasks. This dataset serves as a crucial step towards developing more inclusive and context-aware NLP systems that better reflect diverse perspectives.

Bibliographie citée par cette référence

Les références citées sont importées depuis des sources externes de métadonnées lorsqu’elles sont disponibles. La liste peut être partielle.

Vue d’ensemble de la bibliographie citée

Ces indicateurs décrivent la bibliographie citée par cette publication. Un nom d’auteurice est compté chaque fois qu’il apparaît dans une référence citée : une même personne peut donc être comptée plusieurs fois. Les noms qui ne sont pas encore associés à un·e auteurice déjà présent·e dans AutiHub sont traités comme inconnus, pas comme non autistes. Dernier calcul : 28/10/2026 01:01.

Références citées
20
Avec un DOI
20
Sans DOI, à partir du texte brut de la bibliographie
0
4 / 20 (20,0 %) références citées comprennent au moins une personne identifiée comme autiste.
Références avec données à compléter
0 / 20 (0,0 %)
Références avec noms d’auteurices détectés
20 / 20 (100,0 %)
Sans nom d’auteurice détecté
0
Sans titre structuré
0
Sans identifiant stable
0
Références avec noms bruts d’auteurices restant à vérifier
0
Références avec problème de récupération des métadonnées externes
0
Ces indicateurs portent sur les références citées affichées sur cette page, après fusion des doublons techniques. Une référence sans DOI peut quand même soutenir les statistiques d’auteurices lorsqu’un titre et des noms d’auteurices sont disponibles.
Noms d’auteurices détectés dans la bibliographie citée
85
À partir du DOI ou de métadonnées externes
85
À partir du texte brut validé de la bibliographie
0
Noms bruts déjà validés
0
Noms bruts restant à vérifier
0
22 / 85 (25,9 %) noms sont associés à un·e auteurice déjà présent·e dans AutiHub. 63 / 85 (74,1 %) noms ne sont pas encore associés.
Noms associés à une personne identifiée comme autiste
4 / 85 (4,7 %)
Calculé sur l’ensemble des noms d’auteurices détectés dans la bibliographie citée. Parmi les noms associés à un·e auteurice déjà présent·e dans AutiHub : 4 / 22 (18,2 %). Personnes distinctes identifiées comme autistes : 3 / 82 (3,7 %).
  1. Tolga Buz , Benjamin Frost , Nikola Genchev , Moritz Schneider , Lucie-Aimée Kaffee , Gerard de Melo (2024). Investigating Wit, Creativity, and Detectability of Large Language Models in Domain-Specific Writing Style Adaptation of Reddit’s Showerthoughts . Proceedings of the 13th Joint Conference on Lexical and Computational Semantics (*SEM 2024), 291-307. Association for Computational Linguistics.
    OpenCitations
  2. Maria Antoniak , Joel Mire , Maarten Sap , Elliott Ash , Andrew Piper (2024). Where Do People Tell Stories Online? Story Detection Across Online Communities . Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 7104-7130. Association for Computational Linguistics.
    OpenCitations
  3. Barbara Plank (2022). The “Problem” of Human Label Variation: On Ground Truth in Data, Modeling and Evaluation . Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, 10671-10682. Association for Computational Linguistics.
    OpenCitations
  4. Angeliki Sideraki , Athanasios Drigas (2021). Artificial Intelligence (AI) in Autism . Technium Social Sciences Journal, 26, 262-277. PLUS COMMUNICATION CONSULTING SRL.
    Type: Article DOI: 10.47577/tssj.v26i1.5208
    OpenCitations
  5. Panagiota Anagnostopoulou , Vasiliki Alexandropoulou , Georgia Lorentzou , Andriana Lykothanasi , Polyxeni Ntaountaki , Athanasios Drigas (2020). Artificial Intelligence in Autism Assessment . International Journal of Emerging Technologies in Learning (iJET), 15(06), 95. International Association of Online Engineering (IAOE).
    Type: Article DOI: 10.3991/ijet.v15i06.11231
    OpenCitations
  6. Aida Mostafazadeh Davani , Mohammad Atari , Brendan Kennedy , Morteza Dehghani (2023). Hate Speech Classifiers Learn Normative Social Stereotypes . Transactions of the Association for Computational Linguistics, 11, 300-319. MIT Press.
    OpenCitations
  7. Melissa Anderson-Chavarria (2022). The autism predicament: models of autism and their impact on autistic identity . Disability & Society, 37(8), 1321-1341. Informa UK Limited.
    OpenCitations
  8. Cella M Sum , Rahaf Alharbi , Franchesca Spektor , Cynthia L Bennett , Christina N Harrington , Katta Spiel et al. (2022). Dreaming Disability Justice in HCI . CHI Conference on Human Factors in Computing Systems Extended Abstracts, 1-5. ACM.
    OpenCitations
  9. Michael Yoder , Lynnette Ng , David West Brown , Kathleen Carley (2022). How Hate Speech Varies by Target Identity: A Computational Analysis . Proceedings of the 26th Conference on Computational Natural Language Learning (CoNLL), 27-39. Association for Computational Linguistics.
    OpenCitations
  10. Keighley Overbay , Jaewoo Ahn , Fatemeh Pesaran zadeh , Joonsuk Park , Gunhee Kim (2023). mRedditSum: A Multimodal Abstractive Summarization Dataset of Reddit Threads with Images . Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 4117-4132. Association for Computational Linguistics.
    OpenCitations
  11. Vinitha Gadiraju , Shaun Kane , Sunipa Dev , Alex Taylor , Ding Wang , Remi Denton et al. (2023). "I wouldn't say offensive but...": Disability-Centered Perspectives on Large Language Models . 2023 ACM Conference on Fairness Accountability and Transparency, 205-216. ACM.
    OpenCitations
  12. Katta Spiel , Christopher Frauenberger , Os Keyes , Geraldine Fitzpatrick (2019). Agency of Autistic Children in Technology Research—A Critical Literature Review . ACM Transactions on Computer-Human Interaction, 26(6), 1-40. Association for Computing Machinery (ACM).
    Type: Article DOI: 10.1145/3344919 OpenAlex: https://openalex.org/W2988620880
    OpenCitations
  13. Ben Hutchinson , Vinodkumar Prabhakaran , Emily Denton , Kellie Webster , Yu Zhong , Stephen Denuyl (2020). Social Biases in NLP Models as Barriers for Persons with Disabilities . Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 5491-5501. Association for Computational Linguistics.
    OpenCitations
  14. Min Su Park , Eunil Park (2023). ACL TA-DA: A Dataset for Text Summarization and Generation . Proceedings of the 38th ACM/SIGAPP Symposium on Applied Computing, 1233-1239. ACM.
    Type: Autre DOI: 10.1145/3555776.3577736
    OpenCitations
  15. Somin Wadhwa , Vivek Khetan , Silvio Amir , Byron Wallace (2023). RedHOT: A Corpus of Annotated Medical Questions, Experiences, and Claims on Social Media . Findings of the Association for Computational Linguistics: EACL 2023, 809-827. Association for Computational Linguistics.
    OpenCitations
  16. Pranav Narayanan Venkit , Mukund Srinath , Shomir Wilson (2023). Automated Ableism: An Exploration of Explicit Disability Biases in Sentiment and Toxicity Analysis Models . Proceedings of the 3rd Workshop on Trustworthy Natural Language Processing (TrustNLP 2023), 26-34. Association for Computational Linguistics.
    OpenCitations