Etude

De l'incohérence des jurys d'un concours de vins dans leur notation

e 2011 à 2013, un même vin, un Beaujolais nouveau dont le millésime correspondait à chaque fois à celui du concours, a été dégusté par les 19 jurys* du concours Trophée Lyon Beaujolais nouveau. Celui-ci a été dégusté à chaque fois en première position de la série des 10 ou 12 vins à déguster. Il ressort que les notes attribuées lors des années 2011 et 2012 montrent des différences « significatives » d'un point de vue statistique entre les jurys. « Un même vin peut donc avoir des notes différentes selon le jury qui l'a évalué » en déduit Carole Honoré, responsable de l'étude.

En revanche, en 2013, la cohérence a été très bonne, avec aucune différence significative relevée dans les notes données. Mais cette année-là, trois vins de « mise en bouche** », avant le début de la dégustation, avaient été proposés aux jurys, contre un seul lors des deux précédentes éditions. Une différence de « protocole » dans le concours qui pourrait donc expliquer « l'amélioration de l'homogénéité de notation entre les différents jurys ».

De l'importance de l'ordre de dégustation...

Lors des éditions 2012 et 2013, ce même vin a été ajouté en avant-dernière position de la série de vins à déguster par les 19 jurys, en plus de la première position. L'objectif : mesurer l'impact de l'ordre de service sur la notation. Pour les deux années, le résultat est identique : le vin dégusté en avant-dernière position obtient de meilleures notes que celui dégusté en première place. En conséquence, la probabilité d'attribution d'une médaille pour le vin dégusté en avant-dernier est presque deux fois plus forte que pour le vin dégusté en premier pour l'édition 2012 : 15 jurys sur 19 lui attribuent une médaille, contre seulement 8 sur 19 pour le vin dégusté en première position. Pour l'édition 2013, la différence est un peu moins nette, avec un facteur multiplicatif de 1,4 entre les deux positions. « Cela est peut-être dû à un attitude de notation conservatrice de la part des juges, en particulier en début de série, indique Carole Honoré. Chaque jury a dégusté des vins différents entre les deux positions, ce qui implique qu'ils ont affiné leur jugement de façon différente dans chaque jury en fonction des vins qu'ils ont goûté avant le vin situé en avant-dernière position », poursuit celle-ci.

Le différentiel plus faible constaté en 2013 entre les notes des deux vins peut quant à lui s'expliquer, une fois encore, par le fait que cette année là, trois vins de mise en bouche ont été donnés aux jurys, permettant une meilleure homogénéité des notations.

*19 jurys notent les vins lors du concours, chaque jury étant composé de 4 à 6 membres, des « dégustateurs expérimentés ». Chaque jury déguste deux séries, composées de 10 à 12 vins chacune.

**Avant de démarrer le concours, un vin rouge de mise en bouche est goûté afin de préparer le palais et de familiariser les experts avec la fiche de notation. Il est commenté publiquement par un organisateur du concours en donnant les notes qu'il aurait pu obtenir. Lors de l'édition 2013, trois vins de mise en bouche ont été proposés aux juges.