Tapestrea, l'interface d'analyse des sons, en haut les représentations du son (forme d'onde
et spectrogramme, en bas à droite les paramètres d'analyse, et à gauche les éléments extraits


Tapestrea est un environnement logiciel pour l'analyse et la synthèse sonore, un ensemble d'outils qui permettent de créer des scènes sonores à partir d'éléments existants. Les paysages sonores sont composés, par exemple, pour accompagner les images d'un film ou d'un jeu vidéo, bien souvent ces scènes sont constituées d'éléments simples juxtaposés : un enregistrement de la ville en bruit de fond, des évènement sonores au premier plan : un chien qui aboie, ou un bruit de pas. Le matériau de base étant une somme d'échantillons enregistrés, plus ou moins purs.

Les outils proposés par Tapestrea permettent de composer à partir de sons préexistants en deux étapes : tout d'abord en isolant les caractéristiques du son original, ce qui permet d'en construire un "modèle", puis en resynthétisant de nouveaux sons à partir de ce modèle. Les sons sont analysés selon une méthode paramétrable adaptée à leur nature (3 types d'évènements sonores sont différenciés). Les éléments extraits sont combinables en temps réel, en leur appliquant des transformations (gain, modifications de fréquence ou temporelles). Par exemple, les sons répétitifs peuvent être assemblés en variant leur périodicité, leur densité.


Tapestrea, l'interface d'assemblage des éléments sonores, en haut la 'timeline' principale où sont
disposés les éléments sonores, en bas à gauche la librairie d'éléments sonores chargés, et
à droite les paramètres de l'élément sélectionné


Tapestrea est un projet récent (version 0.1.0.3 en septembre 2006) mis au point au Soundlab de l'université de Princeton (par Ananya Misra, Perry Cook et Ge Wang). la même équipe est à l'origine du langage de composition musicale en temps réel ChucK, avec lequel Tapestrea peut s'intégrer. L'interface du logiciel est originale, on passe d'une face à l'autre en appuyant sur une touche, les faces sont chacune dédiées à un outil : analyse, synthèse, mixage, etc.

Tapestrea, site principal (TAPESTREA : Techniques And Paradigms for Expressive Synthesis, Transformation, and Rendering of Environmental Audio). On peut y trouver la documentation nécessaire, le logiciel open-source à télécharger (MacOS X, Windows, Linux), écouter quelques exemples et s'inscrire à la liste de discussion.

Et pour finir un exemple-maison (sans prétention!) de recomposition à partir d'un enregistrement de feu d'artifice...

Dans Rollerball (1975), le monde a mis fin aux guerres, à la pauvreté et aux nations. Désormais, ce sont les corporations qui subviennent à tous les besoins des individus, en échange d'un controle politique total et du consentement des individus.



Face à une décision qui lui échappe, Jonathan E tente d'en comprendre les raisons. D'abord à travers les livres. Mais ils ont tous disparu, remplacés par leur transcription électronique, qu'on peut se procurer dans les bibliothèques, sous forme abrégée adaptée à chacun. Les bibliothécaires ont disparu également, remplacés par des employés des corporations. Alors, il se rend au centre de la connaissance pour interroger Zéro, mémoire unique qui concentre l'ensemble des connaissances universelles.



Zéro est composé "d'eau tactile" et entouré de scientifiques chargés de son entretien, il répond à toutes les questions sauf à celles concernant les décisions politiques des corporations, pour lesquelles il renvoie un laconique "négatif", laissant le scientifique impuissant devant l'obstination de la machine...

Some Assembly required est une émission de radio hebdomadaire consacrée aux collages sonores, à la déconstruction digitale, et aux expériences musicales à base de bons-vieux-vinyles. Ce qui donne, chaque semaine, une heure de musiques variées, énergiques avec bien souvent une bonne dose d'humour, pourquoi s'en priver ?

On peut se faire une idée, en écoutant la 109^e edition :

Some Assembly Required 109

La diffusion, se fait en podcast depuis le site : some assembly required. Chaque semaine, Jon Nelson, le réalisateur dresse un portrait d'un artiste de ses playlists : ce qui fait du site une excellente porte d'entrée sur les univers du pillage sonore. On trouve, dans le désordre, Kid Koala, Christian Marclay, V/VM, Girl Talk, Jason forrest, Negativland, etc.

Comment récupérer la piste sonore d'un film numérique? (au format avi, mpeg, flv, et autres)

Encore une fois c'est ffmpeg qui va être utile pour extraire l'audio d'un fichier film, au format wav ou mp3, et cela en moins d'une minute. On peut aussi en profiter pour rééchantilloner la bande son.
(voir ce billet pour l'installation et l'utilisation de ffmpeg)

Voila les lignes de commande à utiliser :

ffmpeg -i fichiervideo.avi -vn -ar 44100 -ac 2 -f wav fichierson.wav

-i fichiervideo.avi : fichier duquel on extrait la bande son
-vn : desactiver la video
-ar 44100 : taux d'echantillonage, ici 44100Hz on peut bien sur le faire varier
-ac 2 : nombre de voies audio (ici, en stereo)
-f wav : forcer le format du fichier de destination, ici en wav

ffmpeg -i fichiervideo.avi -vn -ar 44100 -ac 2 -ab 192k -f mp3 fichierson.mp3

-i fichiervideo.avi : fichier duquel on extrait la bande son
-vn : desactiver la video
-ar 44100 : echantillonnage à 44100Hz (44100 samples par seconde)
-ac 2 : 2 voies audio (stereo)
-ab 192k : definit le bitrate audio (ici 192 kbps)
-f mp3 : forcer le format du fichier de destination en mp3

Une autre solution, sans ligne de commande, consiste à utiliser Virtual Dub pour extraire la piste audio (menu file/save wav), à condition que la vidéo d'origine soit dans un format reconnu par Virtual Dub, c'est à dire pas de flash video (.flv). Et enfin, pour les vidéos qui résistent à l'extraction depuis le fichier, on peut toujours les lire et enregistrer en temps réel le mixeur sonore de windows en utilisant audacity.

L'installation "the messenger" par Paul De Marinis (© Ars Electronica 2006)

Chaque année depuis 1979, Ars Electronica organise à Linz, en Autriche, la plus grande manifestation consacrée aux arts numériques. Chaque édition explore un thème particulier. L'édition 2006 s'intéresse à la simplicité, elle s'est tenue du 31 août au 5 septembre.

On peut y aller par procuration en lisant les articles et compte-rendus, dans libération, sur erasme.org, et les nombreux billets (en anglais) publiés par Régine Debatty sur WMMNA, ou en espagnol sur elastico. Des séquences vidéo sont visibles sur shintanis (qui devrait s'enrichir de portraits par la suite) et artcast promet la mise en ligne d'enregistrements audio et d'interviews pour très bientot. On peut aussi se gaver de photos sur flickr...

La "simplicité", c'est surtout la préoccupation de John Maeda, certainement le designer numérique le plus médiatique, dont le dernier livre s'intitule "Laws of simplicity", questionnement qu'il explorait déjà sur son site, il est chargé de la direction du colloque à Ars Electronica. Les enregistrements des conférences sont disponibles sur le site et John Maeda annonce la publication de ses compte-rendus sur law of simplicity.

Chaque année, un catalogue est publié regroupant des textes d'une multitude d'intervenants. On peut saluer l'initiative qui consiste à rendre disponible gratuitement l'intégralité des textes publiés avec un an de décalage (en pdf), dans la section archives de leur site.

Ars Electronica, le site du festival, et un historique d'Ars Electronica sur wikipedia

La robotique c'est généralement très sérieux, on construit des tonnes de robot pour qu'ils nous construisent à leur tour des voitures, ou pour les envoyer s'écraser sur de lointaines planètes, C3PO n'est pas près de sortir d'un labo, et en attendant, on peut juste sympathiser avec le nec plus ultra de l'intelligence robotique : des aspirateurs superbement carrossés mais dont on ne partage pas nécessairement l'attirance pour les saloperies qui trainent sur la moquette (et même pas foutu de se brancher tout seul).

Ca parait bien mal parti pour que les robots puissent un jour supplanter le genre humain. Heureusement, de sombres poêtes sont bien décidés à donner enfin leur chance aux robots, cherchant à mettre au point des créatures mécaniques sur les bases de la vie biologique, c'est à dire un organisme autonome, capable d'assurer sa subsistance, de se mouvoir à la recherche de sa propre nourriture (Vous et moi partageons ça avec les bactéries, les vers de vase et les tiques, entre autres)

Ce sont les "BEAM bots", principalement avides de soleil pour recharger leurs batteries, et capables de se mouvoir selon des principes inspirés des créatures qui peuplent la surface terrestre (biomimétisme). Au lieu d'être pilotés par des mini ou maxi ordinateurs, ce sont juste des composants simples réagissant aux stimuli extérieurs, qui forment le "système nerveux" du robot (employer le mot cerveau ferait tout de suite plonger ce billet dans la science fiction), et décident de ses actions. Et voila des créatures qui rampent/serpentent/se trainent/roulent partent à la recherche d'un rayon de soleil, alors là, évidemment on se trouve un point commun, et la sympathie est là.

BEAM, c'est pour : Biologie, Electronique, Esthetique (aesthetics), Mécanique. Bien souvent les pièces qui les composent sont issues de la récupération sur des appareils usagés (walkman, magnétoscopes, etc) et, bien souvent, les créatures sont propulsées à l'énergie solaire.

Un BEAM bot "classique", le Solar Walker
Une galerie des robots de Mark Tilden (chercheur américain parmi les premiers à effectuer des recherches sur ces robots sans ordinateur central), photographiés par Ian Bernstein.
Le bestiaire BEAM proposé par Solarbotics, boutique en ligne de composants électroniques tendance BEAM.

(photo extraite de Robosapiens, de Peter Menzel et Faith d'Aluisio, édité par MIT Press et traduit aux éditions Autrement en 2001. Il s'agit du robot Unibug 1.0 de Mark Tilden)