Faire dialoguer plusieurs IA : Rap Battle !

Pour créer cette battle de rap, je n’ai pas demandé à une seule IA d’écrire tous les rôles.

J’ai utilisé ChatGPT et Gemini séparément, en faisant circuler les attaques et les réponses entre les deux par copier-coller. Une IA attaquait, l’autre répondait et contre-attaquait, puis je renvoyais la réplique dans l’autre sens.

Cela permettait de faire relire et valider progressivement les arguments par les deux adversaires, tout en gardant la main sur les meilleures punchlines.

Claude intervenait comme maître de cérémonie et arbitre afin de structurer le duel.

Pour une seule chanson, le copier-coller était suffisant. Pour automatiser ce type d’échange, il serait aussi possible d’utiliser les API des différents modèles, directement ou via une passerelle multi-modèles comme OpenRouter.

Produire la chanson avec Suno

Une fois les paroles construites, je les ai utilisées dans Suno.

Plusieurs essais ont été nécessaires. Certains mots correctement écrits étaient mal prononcés ou mal accentués. Il a donc fallu reformuler certaines phrases, parfois en privilégiant ce qui fonctionne à l’oreille plutôt que la formulation initiale.

La séparation des personnages demandait également des ajustements : même avec des indications de voix pour Claude, Gemini et ChatGPT, Suno ne respecte pas toujours parfaitement les changements d’interprète.

La méthode a donc été très itérative :

générer → écouter → corriger → régénérer.

Transformer automatiquement la chanson en montage

Pour le clip, je n’ai pas demandé à ChatGPT de générer directement une vidéo.

Je lui ai fourni la chanson, le fichier de sous-titres SRT et les différentes illustrations.

ChatGPT a d’abord nettoyé les sous-titres, notamment certaines écritures phonétiques utilisées pour obtenir une meilleure prononciation dans Suno. Il a ensuite analysé les paroles afin d’identifier qui parle et à quel moment.

Chaque passage pouvait alors être associé automatiquement à l’image correspondante : Claude lorsqu’il arbitre, Gemini ou ChatGPT lorsque l’un des deux rappeurs prend la parole.

Générer directement un projet Shotcut

L’intérêt de Shotcut est que son fichier de projet .mlt repose sur une structure XML.

ChatGPT a donc pu générer directement le projet de montage : placer l’audio, les images, les changements de personnages et les sous-titres sur la timeline.

Là encore, plusieurs essais ont été nécessaires.

Certains premiers fichiers fonctionnaient, mais se comportaient mal après modification dans Shotcut. J’ai donc créé de petits projets tests directement dans le logiciel, puis je les ai fournis à ChatGPT pour qu’il compare leur structure avec celle qu’il générait et reproduise plus fidèlement le format natif de Shotcut.

Cette boucle :

projet test → analyse → correction → nouveau fichier MLT

a permis d’automatiser une grande partie du montage tout en conservant un projet entièrement modifiable à la main.

La chaîne complète

Au final, le processus ressemble à ceci :

ChatGPT ↔ Gemini → validation des punchlines → Claude comme MC → Suno → corrections → SRT → illustrations → analyse des voix → génération du MLT → Shotcut.

L’intérêt de l’expérience n’est donc pas seulement d’utiliser plusieurs IA pour produire une chanson.

Il s’agit surtout de leur attribuer des rôles successifs dans une même chaîne de création : contradicteurs, auteurs, interprètes, assistants de synchronisation puis générateurs du projet de montage.

L’humain reste au centre du processus : il sélectionne, arbitre, teste, corrige et décide du résultat final.

Rendre le processus reproductible

Une fois le cycle complet terminé et les principaux problèmes résolus, je demande enfin à l’IA de formaliser la méthode sous forme de cahier des charges.

L’objectif est de transformer tous les essais, corrections et choix réalisés pendant la première production en une procédure claire et réutilisable : quels fichiers fournir, comment nommer les ressources, comment exploiter le SRT, comment reconnaître les différents intervenants, comment structurer le MLT et quels points vérifier avant ouverture dans Shotcut.

La première réalisation sert donc aussi de laboratoire.

Une fois la méthode stabilisée, le cahier des charges permet de reproduire beaucoup plus facilement le même type de production sur une prochaine chanson, sans avoir à redécouvrir à chaque fois les mêmes problèmes.