Obtention d'une segmentation de la parole avec une précision sous-trame grâce à une analyse multimodale computationnelle : mise en relation des exigences des neurosciences avec des solutions d'ingénierie

Titre original en anglais : Achieving Sub-Frame Precision Speech Segmentation Through Computational Multimodal Analysis: Bridging Neuroscience Requirements with Engineering Solutions

Sources de métadonnées utilisées pour cette référence

OpenAlex Crossref
En savoir plus sur les sources utilisées

Poplin, M., Hughes, M., McCrory, B., & Modyanova, N. (2026). Achieving Sub-Frame Precision Speech Segmentation Through Computational Multimodal Analysis: Bridging Neuroscience Requirements with Engineering Solutions. 2026 International Conference on Artificial Intelligence, Computer, Data Sciences and Applications (ACDSA), 1-6. https://doi.org/10.1109/acdsa67686.2026.11468095

Date de publication: 05/02/2026 Ajout dans AutiHub: 09/08/2026 Type: Autre Langue de l’article: Anglais
Source OpenAlex Source éditeur (DOI)

Cette publication est intégrée dans AutiHub via :

Auteurs

Auteur·ices des publications
4
Auteur·ices de la publication identifié·es comme autistes
1 / 4 (25,0 %)
  1. Michael Poplin
  2. Mackenzie Hughes
  3. Bernadette McCrory
  4. Nadezhda Modyanova *

Résumé

Des recherches récentes en neurosciences révèlent que l'intégration audiovisuelle de la parole se produit dans des fenêtres temporelles spécifiques de$100-300 \text{ms}$, les mouvements des lèvres entraînant les oscillations cérébrales à$\mathbf{2 - 7 H z}$correspondant au débit syllabique. L'étude de ces phénomènes, en particulier dans les populations cliniques où les différences de synchronisation peuvent servir de biomarqueurs, nécessite un contrôle temporel précis que les outils actuels de traitement vidéo ne peuvent pas fournir. Nous présentons une nouvelle approche computationnelle qui combine la détection de repères faciaux fondée sur MediaPipe comme déclencheur visuel avec une validation des débuts audio fondée sur LibROSA, atteignant une précision temporelle sous-trame grâce à la détection des débuts audio à des intervalles de 5 ms. Contrairement aux études antérieures en neurosciences qui utilisaient des stimuli à mot unique préparés manuellement, notre système traite un discours continu tout en maintenant la précision temporelle requise pour les expériences EEG/fNIRS. L'étape de détection visuelle identifie les mouvements de la bouche à l'aide de 468 repères faciaux, déclenchant une analyse audio ciblée dans une fenêtre de recherche de 300 ms fondée sur la neurobiologie. L'évaluation sur des vidéos de présentation démontre une exactitude d'extraction des segments de 92 à 100 % avec des vitesses de traitement de$0.556 \times$le temps réel. L'implémentation actuelle cible des enregistrements à locuteur unique, avec visage de face et qualité audio contrôlée. Cela permet une investigation à grande échelle des différences d'intégration audiovisuelle, ce qui est particulièrement pertinent pour la recherche sur le trouble du spectre de l'autisme, dans lequel une liaison temporelle altérée peut caractériser la condition.

Recent neuroscience research reveals that audiovisual speech integration occurs within specific temporal windows of$100-300 \text{ms}$, with lip movements entraining brain oscillations at$\mathbf{2 - 7 H z}$corresponding to syllabic rate. Studying these phenomena, particularly in clinical populations where timing differences may serve as biomarkers, requires precise temporal control that current video processing tools cannot provide. We present a novel computational approach that combines MediaPipe-based facial landmark detection as a visual trigger with LibROSA-based audio-onset validation, achieving sub-frame temporal precision through audio onset detection at 5 ms intervals. Unlike previous neuroscience studies that used manually prepared single-word stimuli, our system processes continuous discourse while maintaining the temporal precision required for EEG/fNIRS experiments. The visual detection stage identifies mouth movements using 468 facial landmarks, triggering targeted audio analysis within a neurobiologically-grounded 300 ms search window. Evaluation on presentation videos demonstrates 92-100% segment extraction accuracy with processing speeds of$0.556 \times$real-time. The current implementation targets single-speaker, frontal-face recordings with controlled audio quality. This enables large-scale investigation of differences in audiovisual integration, which is particularly relevant to research on autism spectrum disorder, where altered temporal binding may characterize the condition.

Bibliographie citée par cette référence

Les références citées sont importées depuis des sources externes de métadonnées lorsqu’elles sont disponibles. La liste peut être partielle.

Vue d’ensemble de l’inclusion dans la bibliographie

Ces indicateurs décrivent la bibliographie citée importée pour cette publication. Les métriques de références citées utilisent le total des références citées comme dénominateur. Les métriques d’auteurices cité·es indiquent si elles utilisent toutes les occurrences d’auteurices cité·es ou seulement les occurrences rattachées à des auteurices déjà intégré·es à la base de données AutiHub. Ils utilisent les rattachements mis en cache entre les auteurices cité·es et les auteurices intégré·es à la base de données AutiHub. Dernier calcul : 16/08/2026 11:31.

Références citées
13
Nombre total de références citées intégrées pour cette publication.
Références citées avec un·e auteur·ice identifié·e comme autiste
0 / 13 (0,0 %)
Occurrences d’auteur·ices cité·es identifié·es comme autistes
0 / 58 (0,0 %)
Parmi les occurrences rattachées à des auteurices intégré·es à la base de données AutiHub : 0 / 0 (0,0 %). Auteurices cité·es distinct·es identifié·es comme autistes : 0 / 58 (0,0 %).
Occurrences citées rattachées à la base AutiHub
0 / 58 (0,0 %)
Auteurices cité·es distinct·es rattaché·es : 0 / 58 (0,0 %)
Occurrences rattachées, non identifiées comme autistes
0 / 0 (0,0 %)
Parmi les seules occurrences rattachées. Sur l’ensemble des occurrences d’auteurices cité·es : 0 / 58 (0,0 %). Auteurices cité·es distinct·es rattaché·es, non identifié·es comme autistes : 0 / 0 (0,0 %).
  1. HARRY MCGURK , JOHN MACDONALD (1976). Hearing lips and seeing voices . Nature, 264(5588), 746-748. Springer Science and Business Media LLC.
    Type: Article DOI: 10.1038/264746a0 OpenAlex: https://openalex.org/W2015394094
    Crossref OpenAlex
  2. Chandramouli Chandrasekaran , Andrea Trubanova , Sébastien Stillittano , Alice Caplier , Asif A. Ghazanfar (2009). The Natural Statistics of Audiovisual Speech . PLoS Computational Biology, 5(7), e1000436. Public Library of Science (PLoS).
    Type: Article DOI: 10.1371/journal.pcbi.1000436 OpenAlex: https://openalex.org/W2099940393
    Crossref OpenAlex
  3. Ayaz A. Shaikh , Dinesh K. Kumar , Wai C. Yau , M. Z. Che Azemin , Jayavardhana Gubbi (2010). Lip reading using optical flow and support vector machines . 2010 3rd International Congress on Image and Signal Processing, 327-330. IEEE.
    Type: Autre DOI: 10.1109/cisp.2010.5646264 OpenAlex: https://openalex.org/W2046599127
    Crossref OpenAlex
  4. Hyojin Park , Christoph Kayser , Gregor Thut , Joachim Gross (2016). Lip movements entrain the observers’ low-frequency brain oscillations to facilitate speech intelligibility . eLife, 5. eLife Sciences Publications, Ltd.
    Type: Article DOI: 10.7554/elife.14521 OpenAlex: https://openalex.org/W2394624419
    Crossref OpenAlex
  5. Patrick Reisinger , Marlies Gillis , Nina Suess , Jonas Vanthornhout , Chandra Leon Haider , Thomas Hartmann et al. (2025). Neural Speech Tracking Contribution of Lip Movements Predicts Behavioral Deterioration When the Speaker's Mouth Is Occluded . eneuro, 12(2), ENEURO.0368-24.2024. Society for Neuroscience.
    Type: Article DOI: 10.1523/eneuro.0368-24.2024 OpenAlex: https://openalex.org/W4406456756
    Crossref OpenAlex
  6. Jongseo Sohn , Nam Soo Kim , Wonyong Sung (1999). A statistical model-based voice activity detection . IEEE Signal Processing Letters, 6(1), 1-3. Institute of Electrical and Electronics Engineers (IEEE).
    Type: Article DOI: 10.1109/97.736233 OpenAlex: https://openalex.org/W2129120544
    Crossref OpenAlex
  7. Kazuki Sekine , Christina Schoechl , Kimberley Mulder , Judith Holler , Spencer Kelly , Reyhan Furman et al. (2020). Evidence for children’s online integration of simultaneous information from speech and iconic gestures: an ERP study . Language, Cognition and Neuroscience, 35(10), 1283-1294. Informa UK Limited.
    Type: Article DOI: 10.1080/23273798.2020.1737719 OpenAlex: https://openalex.org/W3010968392
    Crossref OpenAlex
  8. Brian McFee , Colin Raffel , Dawen Liang , Daniel Ellis , Matt McVicar , Eric Battenberg et al. (2015). librosa: Audio and Music Signal Analysis in Python . Proceedings of the Python in Science Conference, 18-24. SciPy.
    Type: Autre DOI: 10.25080/majora-7b98e3ed-003 OpenAlex: https://openalex.org/W2191779130
    Crossref OpenAlex
  9. Kartynnik (2019). Real-time facial surface geometry from monocular video on mobile GPUs . CVPR Workshop on Computer Vision for Augmented and Virtual Reality.
    Type: Autre
    Crossref
  10. Frédéric Roux , Blair C. Armstrong , Manuel Carreiras (2017). Chronset: An automated tool for detecting speech onset . Behavior Research Methods, 49(5), 1864-1881. Springer Science and Business Media LLC.
    Type: Article DOI: 10.3758/s13428-016-0830-1 OpenAlex: https://openalex.org/W2560525638
    Crossref OpenAlex
  11. Arnab Dey , Kousik Dasgupta (2022). Emotion Recognition Using Deep Learning in Pandemic with Real-time Email Alert . Dans Lecture Notes in Electrical Engineering (pp. 175-190). Springer Singapore.
    Type: Chapitre de livre DOI: 10.1007/978-981-16-8862-1_13 OpenAlex: https://openalex.org/W4226493412
    Crossref OpenAlex
  12. Diego Resende Faria , Abraham Itzhak Weinberg , Pedro Paulo Ayrosa (2024). Multimodal Affective Communication Analysis: Fusing Speech Emotion and Text Sentiment Using Machine Learning . Applied Sciences, 14(15), 6631. MDPI AG.
    Type: Article DOI: 10.3390/app14156631 OpenAlex: https://openalex.org/W4401117607
    Crossref OpenAlex
  13. Stavros Petridis , Themos Stafylakis , Pingehuan Ma , Feipeng Cai , Georgios Tzimiropoulos , Maja Pantic (2018). End-to-End Audiovisual Speech Recognition . 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 6548-6552. IEEE.
    Type: Autre DOI: 10.1109/icassp.2018.8461326 OpenAlex: https://openalex.org/W2787944098
    Crossref