Créer un clip avec l’IA : ce que révèle le making-of de Sofia

Créer une chanteuse, écrire sa chanson et fabriquer un clip de trois minutes en deux jours : l’expérience menée autour de Sofia ressemble à un projet artistique. C’est aussi un bon test de production assistée par intelligence artificielle. Elle montre ce que les générateurs savent faire, mais surtout ce qu’il faut organiser autour d’eux pour obtenir un résultat cohérent.

Sofia est un personnage inventé. Le clip Leave the Window Open a été fabriqué les 20 et 21 octobre 2026. Il dure 3 min 06 s, compte 28 plans répartis en dix chapitres et utilise 4 481 images. Deux montages ont été produits à partir des mêmes plans et de la même bande son : l’un calculé image par image en code, l’autre monté en HTML avec HyperFrames.

Clip entièrement généré par IA : aucune personne réelle n’y apparaît.

Le making-of de Sofia présente les deux montages, les sept étapes, les outils et les prompts.

Le vrai sujet : coordonner une chaîne de production

La démonstration ne repose pas sur un outil unique. Un assistant conversationnel mène le travail et tient un journal de décisions. Un générateur d’images crée Sofia et ses décors. Un générateur de vidéo anime les images et synchronise les lèvres. Un générateur de musique produit la chanson. Des outils locaux séparent la voix, mesurent le tempo, transcrivent les paroles, suivent les visages et encodent les vidéos.

Cette répartition est importante pour une organisation. L’intelligence artificielle ne remplace pas une chaîne de production : elle en accélère certaines briques. Le résultat dépend encore du brief, des validations, des contrôles et de la capacité à corriger précisément ce qui ne fonctionne pas.

1. Construire un personnage qui reste le même

La première difficulté est visuelle. Une image générée peut être réussie isolément, tout en représentant une personne différente dans la scène suivante. Pour éviter cet effet, l’équipe a commencé par trois pistes de casting, chacune avec des vues de face, de profil et de dos, ainsi que plusieurs expressions.

Le choix s’est porté sur une jeune femme blonde au carré court, avec quelques retouches ciblées. La bouche a été corrigée à l’aide d’un masque, sans modifier le reste du visage. Surtout, un texte d’identité a été recopié mot pour mot dans chaque prompt, avec une image de référence.

Les essais ont montré une limite concrète : le texte seul ne suffit pas à maintenir une identité. Deux générations ont produit deux femmes différentes. L’association d’une description constante et d’un visage de référence a donné une meilleure continuité. Une série de plans, du gros plan au plan large, a ensuite servi de contrôle.

Ce principe vaut bien au-delà d’un clip. Pour une campagne, un personnage de marque ou une série de visuels, il faut définir ce qui ne doit pas changer, fournir une référence et vérifier les écarts avant de multiplier les déclinaisons.

2. Faire passer le brief avant la génération

La chanson a été pensée avant les images. Son sujet est celui d’un monde qui promet un avenir meilleur grâce aux machines, mais où quelque chose d’humain disparaît. Trois souvenirs servent de fil conducteur : une fenêtre ouverte, des pieds nus sur le carrelage de la cuisine et la lumière du matin sur une épaule.

Plusieurs prises ont été écoutées avant de retenir la version C. Le résultat recherché n’était pas une voix pop spectaculaire, mais une voix jeune, plate et un peu blasée, presque parlée, sur une musique de hard techno et de pop mélodique. Le choix artistique a donc été formulé comme une suite d’essais et de corrections, pas comme une demande vague adressée à un assistant.

La prise retenue a ensuite été analysée localement. Demucs a séparé la voix de la musique, librosa a mesuré un tempo réel de 136 battements par minute, et Whisper a fourni une transcription mot par mot. Les temps ont été recalés sur la voix seule, car certaines positions automatiques étaient jusqu’à 1,3 seconde trop tôt.

3. Donner au clip une règle visuelle simple

Le storyboard a connu trois versions. La première présentait des défauts typiques d’un projet génératif : coupes au milieu des phrases, mouvements de caméra pendant les dialogues et graphismes qui apparaissaient avant le mot auquel ils devaient correspondre.

La deuxième version a fixé des règles plus précises. Les coupes précèdent les phrases, les éléments graphiques apparaissent sur le mot prévu et la caméra reste fixe lorsque Sofia parle. La troisième a ajouté l’habillage technique, l’étalonnage et le glitch, tout en limitant les flashs.

Le fil rouge est un rectangle de lumière dorée, dessiné comme une fenêtre avec ses croisillons. Dans une ville froide et bleue, il est la seule couleur chaude. Il rétrécit quand le monde se referme, puis grandit à chaque répétition de « Leave the window open ». Cette règle donne une continuité au clip et fournit un critère de vérification pour chaque plan.

4. Corriger les prompts par l’observation

Les essais ont aussi permis d’identifier des erreurs reproductibles. Une phrase de trop peut faire apparaître une femme dans un décor vide ou un personnage inattendu dans un groupe d’hommes. Un long prompt de portrait peut provoquer un cadrage trop serré. Une consigne qui parle de chant peut pousser la vidéo à faire chanter un personnage qui devait seulement se retourner.

D’autres problèmes viennent de l’image de départ plutôt que du texte. Une main gantée placée au bord du cadre a été interprétée comme une seconde Sofia. La correction la plus efficace consistait à modifier la photo source, et non à ajouter une nouvelle phrase au prompt.

La leçon est pragmatique : un prompt n’est pas une spécification parfaitement exécutée. Il faut regarder le résultat, isoler la cause probable, modifier un élément à la fois et contrôler à nouveau. Les éléments interdits doivent eux aussi être nommés explicitement : logos, sous-titres, lettres, chiffres ou date de caméscope.

5. Automatiser les contrôles, pas le jugement

Le projet a utilisé YuNet pour suivre le visage, rembg et SAM pour le détourage, ainsi que plusieurs méthodes OpenCV pour que les graphismes restent attachés au décor lorsque la caméra bouge. FFmpeg a produit les vidéos finales en BT.709.

Ces outils réduisent les vérifications répétitives, mais ils ne décident pas si le clip raconte correctement son idée. Le journal conserve chaque décision, avec sa raison, sans réécriture a posteriori. Chaque lot est validé avant de lancer le suivant. Les contrôles portent sur la position des mots, la synchronisation du son et de l’image, les flashs et la cohérence du personnage.

Pour une entreprise, cette organisation est transposable à d’autres contenus : déclinaisons de campagne, démonstrations produit, vidéos de formation ou prototypes d’expérience. La bonne question n’est pas seulement « quel générateur utiliser ? », mais « quels critères permettront de valider ou de refuser le résultat ? »

Ce que cette réalisation ne promet pas

Le projet est une démonstration contrôlée, pas la preuve que n’importe quelle vidéo de trois minutes peut être produite en deux jours. Le délai dépend du nombre de plans, des reprises, de la puissance de calcul, des outils retenus et du temps de validation.

Il faut également vérifier les droits sur les voix, les musiques, les images de référence et les modèles utilisés. Il faut informer le public lorsque la réglementation l’exige pour certains contenus générés ou manipulés. Enfin, l’identité d’une personne réelle, la ressemblance involontaire et l’usage de données personnelles doivent être cadrés avant toute production destinée à être diffusée.

Une méthode pour démarrer sans perdre le contrôle

Pour tester une production similaire, une organisation peut commencer par un format court et répondre à cinq questions :

• Quel message unique doit être compris ?
• Quel élément visuel ou sonore restera constant ?
• Quelles étapes nécessitent une validation humaine ?
• Quels critères permettront de mesurer la qualité, la conformité et le coût ?
• Quels droits et quelles obligations de transparence s’appliquent au résultat ?

L’expérience Sofia montre que les générateurs produisent des matériaux rapidement. La valeur du travail se trouve ensuite dans la direction, la sélection, la correction et l’assemblage. Pour un décideur, c’est probablement le principal enseignement : l’IA peut raccourcir certaines étapes, mais une production fiable reste un projet à concevoir, documenter et contrôler.