Comment fonctionne Shazam (et la reconnaissance musicale)

L'application enregistre quelques secondes de son avec le micro du téléphone. Elle ne garde pas l'audio tel quel : elle le transforme en une série de petits codes, l'empreinte, qui décrit la forme du son. C'est cette empreinte, beaucoup plus légère qu'un fichier audio, qui part vers les serveurs.

Côté serveur, chaque morceau du catalogue a déjà été découpé en empreintes de la même façon. La recherche consiste à trouver le morceau dont beaucoup d'empreintes correspondent à celles de l'extrait, et dans le même ordre. Si un morceau ressort nettement au-dessus des autres, l'application affiche le titre. Sinon, elle répond qu'elle n'a rien trouvé.

Le son est d'abord converti en spectrogramme : une image où l'axe horizontal est le temps, l'axe vertical la fréquence (grave en bas, aigu en haut), et la couleur l'intensité. Une note de basse tenue devient un trait horizontal en bas de l'image, une caisse claire une tache verticale qui couvre beaucoup de fréquences.

La méthode publiée en 2003 par Avery Wang, l'un des fondateurs de Shazam, ne garde de cette image que les points les plus forts de chaque zone : des pics, comme des étoiles sur une carte. On parle de « carte de constellation ». Le reste, y compris une bonne partie du bruit de fond, est ignoré.

Un pic seul ne dit pas grand-chose : la même fréquence apparaît dans des millions de morceaux. L'astuce est de prendre un pic comme point d'ancrage et de l'associer à quelques pics qui le suivent de près. Chaque paire donne un code fait de trois valeurs : la fréquence du premier pic, celle du second, et le temps qui les sépare.

Ces codes ont deux qualités. Ils sont très nombreux et assez précis pour qu'une base de dizaines de millions de morceaux puisse être interrogée en une fraction de seconde. Et ils ne dépendent pas du moment où tu as commencé à enregistrer : seul compte l'écart entre deux pics. Quand plusieurs codes de l'extrait tombent sur le même morceau avec le même décalage dans le temps, la correspondance est confirmée.

Comme on ne garde que les pics les plus forts, une voix, une conversation ou un bruit de rue n'effacent pas tout : il suffit qu'une partie des pics de la musique reste visible pour que le morceau ressorte.

La méthode est robuste, mais elle a des limites qui expliquent presque tous les « aucun résultat » :

• Elle reconnaît un enregistrement, pas une chanson. Une reprise, un live ou une version réenregistrée pour une pub ont d'autres pics : ils ne correspondent que s'ils sont eux-mêmes au catalogue.
• Un son accéléré ou ralenti décale toutes les fréquences et tous les écarts de temps : les codes ne tombent plus juste. C'est le cas des versions « sped up » de TikTok.
• Un morceau jamais publié (son original d'un créateur, beat maison, remix inédit) n'a pas d'empreinte en base : rien ne peut le nommer.
• Un extrait trop court ou trop couvert par une voix ne laisse pas assez de pics de musique.
• La base peut contenir une copie : un même enregistrement ré-uploadé sous un autre nom ressort parfois à la place de l'original.

Sur VideoSongFinder, un TikTok titré « Maladie x Pilé » (deux morceaux de Mauvais djo enchaînés) a été reconnu avec 91 % de confiance comme « Afrobeats », un titre publié par un autre compte. Le moteur ne s'est pas trompé sur le son : il a trouvé un enregistrement qui reprend le même instrumental. Mais pour la personne qui cherche, la réponse est fausse.

C'est pour ça que la page résultat affiche à part les morceaux cités dans la description de la vidéo, retrouvés au catalogue, avec la mention « cités, non entendus ». Et qu'une page dont la description contredit l'écoute n'est pas proposée à Google.

Quand tu fredonnes, il n'y a ni les instruments, ni le timbre, ni le tempo exact de l'enregistrement : l'empreinte ne peut rien trouver. Les outils qui reconnaissent un air chanté ou sifflé comparent la mélodie elle-même, c'est-à-dire la suite des montées et descentes de hauteur, à des mélodies de référence. Google a lancé cette fonction, « Fredonner pour rechercher », en 2020, avec des modèles d'apprentissage automatique entraînés sur des chants et des enregistrements.

Les deux approches se complètent : l'empreinte pour un son qui passe vraiment quelque part, la mélodie pour un air que tu as en tête. Pour la seconde, voir notre guide pour trouver une chanson en la fredonnant.

Shazam, racheté par Apple en 2018, n'est pas le seul. ACRCloud, le moteur utilisé par VideoSongFinder, fournit la reconnaissance à de nombreuses applications et à des diffuseurs. Le Content ID de YouTube repose sur le même principe : les ayants droit fournissent des fichiers de référence, et chaque vidéo envoyée est comparée à ces références pour repérer la musique protégée. Chaque moteur a son propre catalogue, ce qui explique qu'un outil trouve parfois ce qu'un autre ne trouve pas.

Avec Shazam, l'extrait passe par le haut-parleur puis par le micro : on perd en qualité, on capte le bruit de la pièce, et il faut tomber au bon moment. VideoSongFinder récupère le son directement depuis le lien de la vidéo et l'envoie au moteur, sans haut-parleur ni micro.

Une vidéo de 5 minutes ou moins est écoutée en entier. Au-delà, on prend un extrait de 10 secondes toutes les 30 secondes, ce qui donne chaque morceau avec son minutage : sur un vlog YouTube de 28 minutes analysé pendant nos tests, 17 musiques sont ressorties, chacune avec son moment de passage et un pourcentage de confiance. Sous 50 %, le résultat est marqué « à vérifier » plutôt qu'affiché comme certain.