Du nouveau pour chessynthesis, j’ai découvert la reactable, un système de tracking camera qui permet d’identifier la position et l’angle de 72 symboles différents. L’exemple d’application sur la photo est une interface de création musicale. Grâce à ce système, je vais pouvoir de manière beaucoup plus sûre et précise identifier la position et le mouvement dynamique des pièces.

J’ai déjà acheté un superbe échiquier pliable d’occasion, énorme, en marquetterie, que je compte évider pour remplacer les cases par du verre. Au sol sera disposé la caméra, qui pourra analyser les symboles inscrits sous les pièces, et ainsi définir à tout instant et précisément la position des pièces.

Les généreux développeurs ont créé une librairie Processing, ainsi je n’aurais qu’à l’intégrer au programme d’analyse des positions que j’ai déjà développé.  Ils ont par ailleurs créé des plug-in PureData, Flash, etc.

Je développe actuellement l’interface de l’échiquier pour le projet chessynthesis. L’échiquier doit être dynamique, et détecter si l’on pose une pièce ou non. La solution pour laquelle j’ai opté est toute simple : des photo-résistances. En parallèle, j’expérimente aussi les possibilités des capteurs solaires. C’est par la programmation qu’on va ensuite déterminer la position de la pièce.

En cliquant sur l’image, vous pourrez voir un essai avec les photo-résistances disposées sur les quatre cases centrales d’un échiquier. Lorsque l’on déplace la pièce, Processing interprète les données pour déterminer la position de la pièce et l’envoie ainsi à Max/Msp par protocole UDP.

Attention : dans cet exemple de démonstration, le son n’est pas celui généré normalement par le programme chessynthesis, il n’est là que pour illustrer le mouvement.

Je mets ici à disposition le pdf de mon mémoire de fin d’année (dont sont repris quelques textes théoriques publiés précédement) sur la thématique des échecs. Une partie exemplaire du génie Paul Morphy contre le duc de Brunswick en 1858 sert de prétexte à l’exploration de problématiques de l’art contemporain, essentiellement dans le domaine des nouveaux médias.

 Cliquez sur l’image pour télécharger le pdf :

"Expressive action resulting in an expressive feedback" tel est le credo des défenseurs de l’interface tangible. Ce concept est intéressant car il s’oppose à celui de réalité augmentée.

En réalité augmentée, on apprécie la valeur et le fonctionnement d’une pièce par l’interprétation, par les indications qui nous sont données à voir, et non par une expérience directe et tactile.

L’idée d’une interface tangible permet au spectacteur de "percevoir dans le mécanisme physique à la fois, et l’indication d’un état, et le sens qui s’en dégage" (Gorbet.) Un peu comme lorsque Deleuze fait l’éloge de l’expérimentation contre l’interprétation. L’interface tangible veut interpeler par le geste, une variation du Zuhanden heideggerien ("à portée de main") et permettre une approche intuitive du dispositif, qui ne nécessite aucun pré-requis ou apprentissage culturel.

Les pièces d’un jeu d’échecs ne vont pas en ce sens, puisque leur design est avant tout axé sur le symbole qu’elles représentent (le cavalier qui saute, la tour carrée qui va en ligne droite…)

C’est pour cela qu’au départ les adeptes du tangible ont privilégié des formes universelles telles que la sphère ou le cube. Le cube est une forme très prisée pour sa neutralité symbolique, mais qui présente un double inconvénient : par son analogie avec la matrice mathématique, artificielle et galvaudée, et par son ergonomie, fonctionnelle mais très limitée. On s’oriente depuis vers des systèmes bien plus malléables, qui laissent une grande liberté à l’utilisateur (une balle que l’on jette, des tiges que l’on tord) et c’est cela que l’on nomme action expressive.

On attend la même expressivité en retour du dispositif, généralement grâce à une réponse dynamique. Dans le projet chessynthesis, le son n’est pas seulement généré en fonction de la position séquentielle des pièces sur l’échiquier, mais également lorsque le joueur les déplace de sa main, et ce avec une fine résolution. Ce feedback rend le projet à la fois plus expressif, et pour l’acteur et pour la réponse sonore, et influence alors juqu’au choix-même de l’emplacement final.

L’approche tangible ne résout pas tout, et contient des problèmes intrinsèques insolubles (comment peut-on déterminer ce qui tient de l’inné ou de l’acquis?) mais un monde où l’on tend toujours plus vers l’augmentation de la réalité - votre guichet de banque en est pourvu lorsqu’il émet un pour que vous retiriez votre carte - elle me semble s’intéresser à des questions philosophiques et éthologiques centrales.

Elle est un soutien dans la recherche de dispositifs relationnels, où, comme nous le rappelle Jean-Louis Boissier, tout reste encore à inventer.

Je recherche actuellement des idées d’installations sonores, en collaboration avec Emilie Brout. Voici une des idées que nous avons retenues :

Le principe est relativement simple : il fonctionne sur une interactivité rémanente. Un visiteur entre seul dans la pièce très sombre, muni d’un collier (1) autour du cou. Ce collier comporte un micro qui enregistre les micro-sons de la gorge, les déglutitions, voire la parole du spectateur. Le collier émet alors à un ordinateur le son enregistré. Les déplacements du spectateur sont captés et retransmis à un ordinateur par une webcam (2). Le visiteur entend, grâce au son quadriphonique délivré par les quatres enceintes (3) un mélange complexe de sons (4) riches en basses, en fait les sons enregistrés par les précédents visiteurs, et qui se déplacent selon leurs trajectoires.

Le sol est composé d’une mousse déformable sombre, qui garde les traces de pas des précédents visiteurs. Le lieu d’exposition idéal serait un endroit doté d’un certain caractère historique (comme un lieu de culte par exemple).