Computational model of listener behavior for Embodied Conversational Agents

Collection

Informatique

Citation

Bevacqua, Elisabetta, “Computational model of listener behavior for Embodied Conversational Agents,” Bibliothèque numérique Paris 8, accessed July 7, 2020, https://octaviana.fr/document/152362940.

About

Pendant une interaction, l'interlocuteur n'assimile pas passivement le discours du locuteur; activement il prend part à la conversation en montrant, à travers des signaux verbaux et non verbaux, qu'il écoute, qu'il comprend, etc. Ces informations permettent au locuteur de savoir si l'interaction est bien amenée jusqu'à la fin et si son message. Nous nous référons aux signaux émis par l'interlocuteur avec le terme "backchannel". Un backchannel est un signal émis sans interrompre le locuteur, avec le but de transmettre des informations sur ce que l'interlocuteur pense du discours. Deux caractéristiques fondamentales des backchannels sont: (i) ils peuvent être émis avec différents niveaux d'intentionnalité; (ii) ils peuvent être de type "reactive" (lorsqu'ils sont transmis après un premier processus de perception du message du locuteur) ou de type "response" (lorsqu'ils sont transmis après une évaluation consciente du message). Une autre forme importante des signaux de backchannel est la mimique: l'imitation de ce qu'une autre personne fait. Étant donné l'importance recouverte par le comportement de l'interlocuteur, dans ce travail de thèse nous nous proposons d'implémenter un système informatique pour sa génération pour un agent humanoïde virtuel. Le but final est d'améliorer l'interaction homme-machine. Nos contributions consistent en: (i) la création d'un dictionnaire des signaux de backchannel; (ii) l'implémentation d'un système en temps réel capable de générer des backchannels de type "reactive", "response" et "mimique" à un bas niveau d'intentionnalité; (iii) l'évaluation de l'efficacité du système à travers des tests perceptifs et des applications possibles.

During an interaction, listeners do not assimilate passively all the speaker words, but they actively participate to the interaction providing information about how they feel and what they think of the speaker's speech. According to the listener's behavior, the speaker can estimate how his interlocutor is reacting and can decide how to carry on the interaction. In this thesis, to refer to signals provided by listeners, we adopt the term backchannel and we define backchannels as acoustic and non-verbal signals provided during the speaker's turn to exchange information about the communicative functions: contact, perception, understanding and attitude. Two fundamental characteristics of backchannels are: (i) they can be emitted at different level of intentionality; (ii) they can be "reactive" (deriving from a first process of perception of the speaker's speech) or "response" (deriving from a more aware evaluation). A particular form of backchannel is the mimicry of the speaker's behavior: that is the behavior displayed by an individual who does what another person does. This type of behavior has been proven to play quite an important role during conversations. Due to the importance of the listener's behavior, in this thesis we propose to implement a model that generates this type of behavior for an ECA while interacting with a user. We aim to improve the human-machine interaction. Our contributions are: (i) a repository of backchannel signals; (ii) a real-time system able to generate the types of backchannel "reactive", "response" and "mimicry" at a low level of intentionality; (iii) an evaluation of the system through perceptive tests and applications.

Subject

Systèmes conversationnels (informatique) Systèmes virtuels (informatique) Interaction homme-ordinateur Simulation par ordinateur Temps réel (informatique)

Creator

Bevacqua, Elisabetta

Contributor

Pelachaud, Catherine (sous la direction de)

Source

Paris 8, BU - Saint-Denis, Magasin 2, TH3551

Date

2009

Identifier

152362940

Is Replaced By

2009PA083109

License

Toute reproduction même partielle est interdite sans accord exprès de l'auteur

Index

Informatique

Domain (Dewey)

004 Traitement des données. Informatique. Généralités. Dictionnaires