Guy Barrier - Amplitude et intensité, deux facteurs de l’expressivité co-verbale
- focus sur la gestuelle des leaders politiques -
Communication présentée aux premières journées d'étude APOGESTE (Paris, salle INRIA Montparnasse 22-23 mai 08). APOGESTE, Projet soutenu par L’ISCC du CNRS
Les problématiques de l’expressivité gestuelle et des styles de comportement sont un sujet qui recommence à susciter un intérêt récent grâce aux recherches sur les Agents conversationnels expressifs : quel caractère l’internaute va-t-il attribuer à un assistant virtuel, en fonction de sa mouvance, ses mimiques, son rythme gestuel, etc. En revanche si on regarde en arrière , la notion de style expressif gestuel est un domaine qui a été beaucoup moins étudié que l’expressivité faciale et vocale.
Et pourtant la fonction expressive du geste entretient les relations les plus étroites avec la régulation de l’attention, la persuasion, la motivation . Nous nous intéresserons à deux dimensions du style expressif souvent interdépendantes: l’intensité des gestes , et l’expansivité ou amplitude des mouvements. Comme champ d’application, le comportement co-verbal de candidats aux élections présidentielles, a été analysé. En effet parmi les signes échangés lors de la rituelle confrontation devant les caméras on retient généralement les mots clefs de chaque partie mais qu’en est il des gestes de chacun et de leur impact sur le spectateur ?
L’amplitude des mouvements expressifs
On remarque dans la littérature que l’amplitude des mouvements expressifs au sens général, a relativement peu intéressé la pragmatique ou la linguistique, en comparaison avec la prosodie et l’intensité. De son côté la psychologie du corps s’est parfois penchée sur la dimension expansivité, mais avec une forte circonspection (liée notamment à certains dérapages de la graphologie et de la morphopsychologie). De fait on n’a jamais vu émerger une théorie générale sur les mouvements expressifs en dépit de la diversité des études sur les fonctions et habiletés motrices. Néanmoins pour rappeler quelques travaux : on se souvient des recherches pionnières sur les mouvements expressifs d’Allport et Vernon ( 1 ) qui on extrait un facteur général appelé " centrifuge ". Ce facteur s’oppose au rétrécissement moteur et à l’autocontrôle ,et il vient s’ajouter à un autre facteur d’emphase correspondant lui, à l’accentuation des mouvements .
En psychologie sociale les expériences les plus représentatives sont celles de Friedman et Riggio ( 2 ) , qui utilisent l’Affective Communication Test et des méthode de notation par juges . Entre autres ils constatent que les sujets les plus éloquents sont aussi les plus expansifs gestuellement . Ils trouvent également que les locuteurs notés les plus expansifs par les juges, obtiennent les scores les plus élevés aux questionnaires d’extraversion et ascendance . Dans un autre domaine, différentes études sur le disfonctionnement verbal montrent que les hésitations vont de pair avec les gestes rétrécis , autistiques ou autocentrés et que lorsque le discours redevient plus fluent il s’accompagne alors de gestes plus centrifuges .
La saillance visuelle des gestes
Grâce à la mesure de l’attention par le pistage du regard , des tests utilisant l’eye tracking ( 3) ont montré empiriquement que les sujets perçoivent mieux les gestes amples que rétricis . Nos analyses avec l’oculomètre MultiCom rejoignent ces constats (4) mais en testant différentes classes sémantiques nous remarquons que si l’amplitude exerce morphologiquement une certaine saillance (déploiement) : les séquences de regard sur la scène sont plus longues lorsque le geste est de type référentiel. En particulier les gestes de pointage et de mimes d’objets sont fortement perçus et le décours temporel et spatial des fixations oculaires est plus fin en direction des configurations des doigts. Autrement dit, le spectateur semble mobiliser des modèles mentaux plus élaborés à l’apparition de gestes qui sont spatialement structurés comme des signes distinctifs et présentent un air de parenté avec des formes connues .
ex.de parcours oculaire (le spectateur cherche à modéliser la forme du référent: trace de son inspection)
Un autre champ d’application original du point de vue de la visibilité des gestes est celui des débats télévisuels , puisque l’objectif de chaque camp est alors de marquer des points, le signe gestuel peut impacter favorablement ou non, la communication. Mais cette dimension expressive n’est pas toujours facile à analyser , car le corpus à observer est tributaire de la rhétorique du cadrage audio-visuel , qui avance ou recule vers le locuteur et donc révèle les gestes ou les occulte en fonction du champ montré et du hors-champ absent de l’écran. Nous nous intéresserons aux paramètres d’amplitude gestuelle des acteurs des deux débats historiques des élections pour la présidence de la république en France de 2007 et 1995.
Pour commencer avec le débat de mai 2007 ce qui caractérise fortement les styles corporels du débat de mai 2007 c’est que la plupart des gestes de S. Royal demeurent invisibles alors que ceux de N. Sarkozy pour ainsi dire " percent l’écran ". Pourquoi un tel écart alors que ni l’un ni l’autre de ces deux ténors ne manque de charisme ni de talent oratoire ? Rien n’empêcherait d’imaginer une réécriture manipulatoire par le dispositif médiatique, qui eut consisté à tronquer discrètement l’expressivité de la candidate Royal pour potentialiser le charisme de son concurrent . Mais en fait à y regarder de plus près, c’est la morphologie de leurs gestes respectifs qui explique ces différences de visibilité .
Des échelles d’amplitude pour évaluer la spatialité gestuelle
Afin de proposer une telle hypothèse j’ai appliqué une méthode qui consiste à capturer à la volée les séquences gestuelles puis à évaluer leur amplitude sur l’axe horizontal et sur l’axe vertical ,en insérant ces captures d’écran dans une feuille de tabulation sous-tendue par une échelle rendant compte des degrés de déploiement spatial .
Mode d’insertion d’une capture d’écran dans l’échelle d’amplitude
On remarque ainsi :
Sur l’axe horizontal (expansion latérale) , la plupart des gestes de Royal varient sur l’échelle entre 0 et +1,. Comparativement , ceux de Sarkozy s’inscrivent de 0 à + 4.
– Seconde dimension, l’altitude ou expansion verticale: sur cette échelle les mouvements de Royal varient de 0 à 1 ; généralement elle réalise ses gestes au niveau de la table du débat mais ils peuvent décoller à une dizaine de centimètres de haut , de plus l’articulation se réalise à partir des coudes en appui ce qui limite le déploiement des bras. Dès lors quand la régie édite la scène en mode plan avant, le cadrage ne révèle presque jamais de gestes car ils sont localisés sur un plan inférieur à la caméra et donc hors champ. (Néanmoins la prosodie est perceptible dans la voix, les mouvements de tête et de sourcils de la locutrice) . Autre caractéristique , sa faible expansion spatiale est accentuée par une certaine stabilité du tronc contrairement à son compétiteur qui pivote le tronc et la tête de manière omnidirectionnelle.
Exemples de captures d’écran exploitées ensuite avec les échelles d’amplitude
La série suivante suggère en comparaison, que les gestes de Sarkozy sont plus aériens et les avants bras rarement en appui au niveau de la table . Ces gestes concernent pour la plupart le niveau 3 de l’échelle verticale. D’autre part sa complexité gestuelle (non redondance des figures) est plus importante et la fréquence de gestes bimanuels , éventuellement symétriques, renforce les paramètres d’expansivité spatiale et de détachement visuel forme sur fond. En outre, on sait que le zoom avant, engendre une perte d’unités d’information par rapport au cadrage arrière. Or , les gestes de Sarkozy sont visibles même en zoom avant car ils sont peu éloignés du visage et entrent dans le fenêtrage de la caméra. : simple trait d’acte habituel ou stratégie communicationnelle ?
En dépit de la difficulté d’observation continue liée aux troncatures de la caméra, si on décompose les gestes de Royal ils dessinent des lignes sur l’espace de table qui lui fait face. Un des rares moments où sa gestuelle s’inscrit nettement dans le fenêtrage de la caméra est celui où elle pointe le doigt vers Sarkozy, au cours de ce moment intense que les commentateurs ont nommé l’incident handisport : 21 pointages en deux minutes ... (protestation de son adversaire : cessez de me montrer du doigt)
Le rythme du zoom, une prosodie visuelle
A présent si nous revenons quelques années en arrière sur les problématiques de spatialité gestuelle avec le débat opposant L. Jospin et J. Chirac sur le plateau d’Antenne 2 , nous retrouvons des marques très différenciées au niveau de l’expressivité et de l’expansivité gestuelle . La visibilité de cette gestuelle est conditionnée en amont par la rhétorique du zoom orchestrée en régie (qui masque ou révèle) : lors d’une étude précédente (5) j’avais chronométré pour chaque tour de parole la durée des zooms avant et arrière sur chaque candidat. Apres avoir déroulé le script temporel d’une heure de débat et distribué la durée des plans en 5 fréquences de classes , il ressortait que la durée des intervalles entre chaque changement de zoom était plus longue pour Chirac que pour Jospin, ce qui donc assignait à chaque tour de parole de Jospin une plus grande discontinuité perceptive .
Fréquences de zoom avant, groupés par classes. Série 1 (bleu), J. Chirac, série 2( rouge), L. Jospin : Jospin cumule le plus grand nombre de plans de caméra courts < 10 secondes, deux premiers bâtons de l’histogramme) alors que Chirac cumule le plus grand nombre de plans de longue durée . les plages de stabilité entre chaque découpe visuelle sont plus longues de 26% pour Chirac (figure ci-dessous)
Autrement dit lorsque Jospin apparaît à l’écran, la régie a tendance à segmenter de façon resserrée la scène de zoom avant vers zoom arrière, tandis que lorsque Chirac parle, ce cycle de segmentation est plus lent . D’une certaine façon l’image de Chirac est plus stable mais aussi plus monotone . De manière linéaire on pourrait représenter ces deux modes de rythme visuel comme deux ondes temporelles d’amplitude différente (en haut du schéma rythme des zooms sur les passages de Jospin, en bas rythme des zooms sur Chirac). 
Une première hypothèse est qu’il y aurait derrière cette réécriture rythmique inégalitaire un contrôle médiatique, qui viserait à connoter l’image de Chirac comme plus pérenne , et celle de Jospin comme éphémère ou instable. Une seconde hypothèse qui suscite notre préférence serait celle d’une empathie motrice de la part du régisseur qui modéliserait en fait , deux tempos expressifs bien différents. En effet, Jospin démontre davantage d’amplitude, de complexité gestuelle et de changements directionnels que Chirac. Ceci pourrait expliquer au niveau de " l"œil de la caméra ", un rythme d’alternance zoom avant – zoom arrière plus discontinu pour Jospin.
Selon le même mécanisme les plans avant sont plus prolongés sur Chirac, locuteur quelque part plus lent et dont la plupart des gestes consistent à se frotter les mains , à cramponner la table et à recadrer ses feuilles de notes . L’impression de cette motricité hésitante est celle d‘une tension qui a du mal à s’évacuer dans le canal de l’extensivité spatiale. Mais sur ces plateaux une certaine détente peut s’installer après un certain délai de débat et, vers le milieu de l’émission, la gestuelle de Chirac commence à ressembler par moments et par certains aspects à celle de Jospin . Effet de mimétisme sans doute, une heure après le début des " hostilités " Chirac réalise certains gestes aussi larges que son concurrent quoique plus anguleux, plus ronds, plus saccadés et moins iconiques .
Du côté des effets produits, ce mouvement binaire de va et vient de caméra fonctionne comme un mode de régulation de l’attention , une prosodie visuelle qui distribue des phase d’intensité et d’extensivité . Intensité quand la caméra revient vers les émotions faciales, extensivité quand elle capture des gestes latéraux. Autrement dit le rythme à deux temps scénarise le débat en sollicitant en alternance attention centrale et périphérique . Fréquemment l’orateur donne le point de départ d’une nouvelle séquence en régie lorsque sa gestuelle s’élargit (par exemple apparition d’un geste bimanuel) , ce qui provoque un retrait en zoom arrière permettant de révéler le geste .
Le paramètre d’intensité expressive
Peu d’études concernent la récupération sémantique des gestes prosodiques par le destinataire.
Nos tests eye tracking précédemment mentionnés suggèrent que les prosodiques sont perçus de façon assez modérée ou faible. Mais, gestes non regardés ne veut pas dire gestes non perçus. D’après nos entretiens qualitatifs post-tests , les sujets peuvent apercevoir ces mouvements en périphérie et ils mentionnent qu’ils n’ont pas besoin de " regarder " les battements gestuels : en effet ils reçoivent déjà les impulsions rythmiques dans le canal vocalique et les indices de visage (sourcils, mouvements de tète etc) . De fait , les prosodiques subissent une concurrence visuelle avec les référentiels qui émergent toujours comme signes vedette .
Les recherches de Krahmer et Swerts (6) apportent un éclairage original sur la perception des gestes prosodiques . Ces travaux montrent par exemple , que si on demande au locuteur d’insérer de façon volontariste un geste prosodique dans son discours, ceci induit alors une accentuation vocale de la part de ce même locuteur et des pointes d’aigus, donc un effet de synchronisation . Du point de vue des problématiques de la réception , ces tests montrent que la présence d’un geste marqueur augmente l’attention attribuée au mot gestuellement accentué . Et ce phénomène d’attention se vérifie même si ce mot n’est pas accentué acoustiquement : le simple indice visuo-gestuel de type prosodique assigne davantage d’emphase et d’intérêt au contenu perçu . De manière systémique : le marqueur gestuel renforcerait l’attention au profit du mot cible mais en défaveur des autres mots .
Ceci nous conduit à quelques commentaires concernant la polyvalence possible des gestes batoniques . Pour Mc Neil en tous cas s’agissant de ses définitions initiales (7) les bâtons "sont de petits mouvements , exécutés plus rapidement que les iconiques dans la position de repos des mains ou dans le voisinage de celle-ci" . En revanche dit Mc Neil les iconiques sont des mouvements larges et complexes réalisés lentement et avec soin dans l'espace gestuel central. Il ajoute que les gestes référentiels sont plutôt émis par la main dominante (ils sollicitent davantage d’ habiletés motrices) , alors que les bâtons sont plutôt bimanuels . Donc ici, Mc Neil circonscrit les batons à une micro-motricité de battement et ne comprend pas dans leur catégorie les gestes prosodiques plus étendus ou caractérisés par une certaine finesse digitale . Si on revient aux définitions premières telles que Efron (8) , le terme de batonlike gesture fait référence à la baguette du chef d’orchestre ; or ce dernier ne réalise pas uniquement de petits gestes rétrécis et non structurés. En fait Mc Neil semble par cette dichotomie, vouloir plutôt distinguer les battements cohésifs des gestes référentiels. Sur le terrain , si on adopte un point de vue moins dualiste on ne voit pas ce qui empêche un geste référentiel d’être également expressif et d’assumer ces deux fonctions .
C’est ce que montre par exemple une expérience de P. Feyereisen (8). Au cours de celle-ci les sujets se révèlent capables de distinguer les gestes iconiques des prosodiques, tout d’abord en condition ‘avec parole’ puis en condition visuelle seule . Mais l’autre point intéressant , est que les sujets ont du mal à classer certains gestes " hybrides " , à cheval sur les deux classes, et qui représentent un tiers de son corpus . A la suite Feyereisen défend qu’il n’y a pas de coupure discrète entre classes de gestes, mais un continuum, et on le suivrait volontiers sur ce terrain avec Kendon. La proposition de gestes inter-catégoriels offre une plus grande ouverture multimodale lorsqu’il s’agit d’analyser des métaphores gestuelles ponctuées par la prosodie . Ce type de métaphore gestuelle apparait dans des répertoires décrits et illustrés par D. Morris, et G. Calbris : figures de style gestuelles modalisées par les appels du rythme vocalique et pouvant être dotées d’une certaine iconicité
Source : D. Morris
Perspectives
Ces répertoires de " gestes rhétoriques " fussent-ils descriptifs dans un premier temps, pourraient aider à caractériser la forme et le mouvement de ces signes visuels , dont les plus connus sont fortement partagés des communicateurs professionnels . Partagés sans être pour autant conventionnels : on remarque que chaque communicateur élabore son style personnel à partir de formes idiosycrasiques mais aussi de formes appartenant à une bibliothèque de signes récurrents de l’ordre du " domaine public " par le jeu de la mimesis. A cet égard ce qui forge le style ou la marque de fabrique gestuelle de chacun , c’est la notion d’écart , de mise en relief d’une série de formes qui se détachent des usages communs . La complexité gestuelle pourrait être un autre élément de valeur ajoutée rhétorique , complexité étant entendu comme l’habileté à déployer un répertoire varié de figures stylistiques (ex : Jospin versus Chirac, ou Sarkozy versus Royal) .
Enfin il serait intéressent de savoir ce que ces gestes stylistiques produisent dans l’imagerie de l’allocuté, sachant qu’ils ont un air de famille avec des iconiques ou emblématiques mais n’en assument pas toutes les propriétés catégorielles . Des études (9) permettent de tester sur le cerveau l’effet des gestes iconiques ; l’EEG pourrait également permettre de tester ce qui se passe dans l’imagerie lorsque nous percevons des " gestes rhétoriques " ainsi qu’on vient de les décrire , et de contrôler nos facteurs d’ intensité et amplitude afin d’évaluer l’écart des effets produits.
références
1 Allport GW & Vernon, P (1933) : Studies In Expressive Movement. Macmillan Eds
2 Friedman H.S. & Riggio, R.E. , Effect of individual differences in nonverbal expressiveness on transmission of emotion . Journal of Nonverbal Behavior . Vol 6, 2 / décembre 1981
4 Barrier, G., Caelen, J. & Meillon B. , La visibilité des gestes , paramètres directionnels, intentionnalité du signe et attribution de pertinence". Actes 1er Workshop Francophone sur les Agents Conversationnels Animés, G. Barrier, J. Caelen, B. Meillon, 13 - 14 juin 2005 Grenoble. http://www-leibniz.imag.fr/WACA/articles/Barrier-al-05.pdf
5 Barrier, G. 1997 , L’analyse du geste et de ses médiations, aspects communicationnels pp 49-73. Nouveaux Actes Sémiotiques, 52/54 .
6 Krahmer, E., & Swerts, M., 2007. The effects of visual beats on prosodic prominence: Acoustic analyses, auditory perception and visual perception. Journal of Memory and Language, 57(3), pp 396–414.
7 Efron, D. (1941). Gesture and environment. New York: King's Crown Press.
8. Feyereisen, M. Van de Wiele, F. Dubois: "The meaning of gestures: What can be understood without speech?". European Bulletin of Cognitive Psychology 8, pp. 3-25, 1988.
9 Holle, H & Gunter T.C. 2007, The Role of Iconic Gestures in Speech Disambiguation: ERP Evidence . Journal of Cognitive Neuroscience. 2007;19m pp 1175-1192 http://jocn.mitpress.org/cgi/content/abstract/19/7/1175