Une IA pour déchiffrer d’anciennes partitions

Près de 400 partitions, environ 10 000 pages… À Rennes, une équipe de chercheurs s’intéresse aux morceaux de Camille Saint-Saëns, compositeur français du 19e et du début du 20e siècle. Pourtant, dans leurs bureaux, les seuls claviers sont ceux des ordinateurs. Ces spécialistes de la reconnaissance d’images et de documents élaborent une intelligence artificielle (IA) capable de lire et de comprendre une partition comme le ferait un musicien. « Il faut en quelque sorte apprendre le solfège et la notation musicale au système », résume Bertrand Coüasnon, chercheur en informatique à l’Irisa¹ et membre du projet Collabscore porté par le Cnam² avec des chercheurs un peu partout en France à partir des partitions de la BnF³. Mais comment injecter ces connaissances à l'IA ? La méthode la plus classique est celle du deep learning qui consiste à lui fournir beaucoup d’informations : ici des images sur lesquelles un humain a précisé que tel signe est une note, une pause ou encore une parole. Mais l’originalité du projet est de combiner cet apprentissage par l’exemple avec l’expression de règles. « Nous donnons des consignes à l’IA en exploitant des éléments de cohérence déjà présents dans l’image », indique Aurélie Lemaitre, chercheuse en informatique à l’Irisa. Ainsi, si la portée commence en indiquant un temps en 4/4, cela signifie que l’on doit retrouver quatre temps dans chaque mesure.

Détection des incohérences

De tels outils de lecture de partition existent déjà dans le commerce, mais ils ne sont pas adaptés à des partitions trop anciennes ou complexes. « La force de notre système est qu’il détecte lui-même les incohérences », souligne Bertrand Coüasnon. Par exemple, sur l’un des morceaux (voir ci-dessous), un défaut d’impression a effacé la hampe d’une croche (qui compte pour un demi-temps). Le logiciel l’a donc confondue avec une noire (qui compte pour un temps). Mathématiquement, le compte n’y est pas. La somme des temps de la mesure n’équivaut pas à ce qui est précisé en début de portée, mais le système a lui-même signalé un problème.

Synchronisation

L’équipe rennaise, en début de chaîne, reçoit les partitions scannées, puis entraîne son système à décoder l’image et à retranscrire la musique sur un nouveau document. Ensuite, des chercheurs lillois prennent le relais et synchronisent un enregistrement sonore avec la partition. Le résultat : une partition sur laquelle défile un curseur en même temps que la musique est jouée ou chantée. Une manière de valoriser le patrimoine de la BnF aussi utile à un amateur qui souhaite s’aider de l’audio pour lire la partition, que pour des chercheurs en musicologie. En somme, l’automatisation de la reconnaissance du contenu des partitions permet de faire le lien entre l’écriture et le son. Une bien savante manière de célébrer la musique.