Monter une vidéo avec l'IA en local : le pipeline Claude Code + HyperFrames

Tous les outils de montage IA du marché ont la même limite : tu montes chez eux, avec leurs réglages, sur leurs serveurs, et tu payes au mois. Il existe une autre voie, très différente : assembler ta propre chaîne de montage sur ta machine, pilotée en langage naturel par un agent de code.

Le principe : tu déposes un rush, tu écris « monte-moi ça », et l'agent transcrit, repère les blancs, les coupe, nettoie le son, ajoute les illustrations et exporte. Tout tourne en local, sans abonnement, et le résultat est un projet que tu peux rouvrir et corriger image par image.

Voici le pipeline complet, avec les commandes exactes. Compte une heure pour l'installation la première fois.

Ce que tu vas installer

Quatre briques, toutes gratuites :

• Claude Code — l'agent qui exécute. C'est lui qui lit ton rush, écrit la timeline et lance les rendus.
• HyperFrames — le framework de composition vidéo. Une vidéo y est décrite en HTML avec des attributs de temps, ce qui la rend lisible et modifiable par un agent — contrairement à un projet Premiere binaire.
• FFmpeg — le couteau suisse audio/vidéo. Sert au décodage, à la détection des silences et à l'encodage final.
• Whisper — la transcription locale (le moteur whisper.cpp). Rien ne part sur Internet, et il gère 99 langues dont le français.

Prérequis : Node.js 22 ou plus récent et FFmpeg. Sur macOS, brew install node ffmpeg règle les deux.

Le prompt d'installation

Ouvre Claude Code dans un dossier de travail et colle ceci tel quel :

Prépare cette machine pour du montage vidéo assisté par IA, en vérifiant chaque
étape avant de passer à la suivante :

1. Contrôle Node.js (il faut la version 22 ou plus : `node -v`) et FFmpeg
   (`ffmpeg -version`). Installe ce qui manque (macOS : `brew install node ffmpeg`).
2. Installe le pack de skills HyperFrames pour suivre les conventions du
   framework : `npx hyperframes skills`
3. Compile le moteur de transcription local en lançant une première
   transcription sur un court extrait audio :
   `npx hyperframes transcribe extrait.m4a --model medium`
   (whisper.cpp se construit au premier usage et le modèle se télécharge)
4. Vérifie l'environnement : `npx hyperframes doctor --json`, et confirme que
   le champ `.ok` vaut bien true.
5. Résume-moi les versions installées et ce qui manque encore.

L'étape 2 est celle que les gens oublient. npx hyperframes skills installe le pack de compétences dans ton environnement : hyperframes-core (le contrat de composition), hyperframes-cli, hyperframes-creative, hyperframes-animation, hyperframes-registry et media-use. Sans lui, l'agent improvise une syntaxe qui ne se rendra pas. Avec lui, il connaît les règles du framework et travaille du premier coup. À relancer après chaque grosse mise à jour.

L'étape 3 a besoin d'un vrai fichier audio : garde un extrait de 10 secondes sous la main.

Les clés API, en option

Le pipeline fonctionne entièrement sans clé. Ces variables ne servent qu'à débloquer des sources externes :

export HEYGEN_API_KEY="..."       # catalogue musique, bruitages, images, icônes + voix
export ELEVENLABS_API_KEY="..."   # voix de synthèse, en second recours
export KIE_API_KEY="..."          # génération d'images (branchement manuel, voir plus bas)

Trois précisions qui t'éviteront de perdre du temps :

La voix. Le moteur audio essaie HeyGen en premier, puis ElevenLabs si sa clé est présente. La différence n'est pas la qualité, c'est que HeyGen renvoie les horodatages par mot et ElevenLabs non. Si tu veux des sous-titres calés au mot sur une voix ElevenLabs, il faut repasser par npx hyperframes transcribe. Pour de la narration en français, ElevenLabs reste la référence.

Les images. Deux voies sont intégrées : la recherche dans le catalogue HeyGen, et la génération locale avec mflux (modèle FLUX, qui tourne sur ta machine, sans clé). C'est ce que l'agent utilisera par défaut.

Le cas Kie. Soyons clairs, parce que tu ne le liras pas ailleurs : Kie n'est pas intégré à HyperFrames. Aucune commande ne l'appellera pour toi. Si tu veux ses modèles, la voie qui marche est en deux temps : tu génères l'image via son API, puis tu l'ingères dans le projet comme n'importe quel fichier fourni, avec le mode d'ingestion de media-use (resolve --from <fichier>), qui l'enregistre et te rend un bloc prêt à coller. À demander explicitement dans ton prompt, sinon l'agent passera par les sources intégrées.

Ce qui est intégré, et ce qui ne l'est pas

Pour t'éviter de chercher une commande qui n'existe pas :

Le skill « montage »

C'est la pièce qui transforme une suite de commandes en une seule phrase. Un skill est un simple fichier markdown que l'agent lit quand la tâche correspond. Crée ~/.claude/skills/montage/SKILL.md :

---
name: montage
description: Monte un rush parlé (face caméra, tutoriel, podcast filmé) en vidéo
  finie — transcription locale, coupe des silences, nettoyage audio, illustrations
  et rendu. À utiliser dès qu'on fournit un fichier vidéo à monter.
---

# Montage d'un rush parlé

Lis `/hyperframes-core` avant d'écrire la composition, et `/hyperframes-audio`
avant de toucher au son. Ne rends jamais la vidéo avant validation humaine.

## 1. Transcrire
`npx hyperframes transcribe <rush> --model medium`
Garde le JSON : il porte les mots et leurs horodatages.

## 2. Repérer les blancs
`ffmpeg -i <rush> -af silencedetect=noise=-35dB:d=0.6 -f null -`
Croise avec la transcription. Un silence sans mot = à couper. Laisse 150 ms de
respiration de chaque côté d'une coupe : sans marge, le montage « hache » la
parole. Signale-moi les coupes de plus de 3 secondes plutôt que de les appliquer
en silence.

## 3. Monter
Un segment de parole conservé = un `<video>` avec `data-start` (sa position sur
la timeline), `data-media-start` (son point d'entrée dans le rush) et
`data-duration`. Les blancs disparaissent parce qu'aucun clip ne les couvre.

## 4. Nettoyer le son
Par `/hyperframes-audio` : passe-haut pour retirer les basses de pièce, gate
sur le bruit de fond, compresseur puis limiteur pour égaliser le niveau. Si un
lit musical est présent, applique un voiceover carve pour que la voix reste
devant.

## 5. Illustrer si nécessaire
Une illustration par idée, jamais pour décorer. Utilise `/media-use` pour les
images, icônes et bruitages, et un rendu Three.js seulement quand le propos est
spatial (une architecture, un volume, une donnée en 3D).

## 6. Vérifier puis rendre
`npx hyperframes lint`, puis `npx hyperframes check`, puis
`npx hyperframes preview --background`. Donne-moi l'URL et attends mon accord.
Après validation : `npx hyperframes render --quality high --output montage.mp4`,
et vérifie que le fichier existe et que sa durée est plausible.

Ensuite, une phrase suffit : « monte rush.mp4 avec le skill montage ».

Comment la coupe des blancs fonctionne réellement

Il n'existe aucune commande magique qui « coupe les silences » dans HyperFrames — c'est utile à savoir avant de chercher pendant une heure. Le mécanisme est la combinaison de deux informations : silencedetect de FFmpeg donne les plages de silence, la transcription Whisper donne les mots. Ce qui est silencieux et sans mot est jetable.

Ensuite, chaque morceau gardé devient un clip qui pointe vers un endroit précis du rush :

<video src="rush.mp4" data-start="0" data-duration="2"
       data-media-start="0" muted playsinline></video>
<video src="rush.mp4" data-start="2" data-duration="2"
       data-media-start="8" muted playsinline></video>

Lis-le comme un monteur : le premier clip joue les 2 premières secondes du rush ; le second prend la suite immédiatement sur la timeline, mais va chercher la source à 8 secondes. Les 6 secondes du milieu — l'hésitation, le blanc, la phrase ratée — n'apparaissent nulle part. Rien n'est réencodé ni détruit : ton rush reste intact, seule la fenêtre change. C'est ce qui permet de revenir sur une coupe trop serrée en modifiant un seul nombre.

Le réglage qui compte est noise=-35dB:d=0.6 : le seuil au-dessous duquel c'est « du silence », et la durée minimale pour qu'un blanc compte. À 0,6 seconde, tu gardes le rythme naturel de la parole. En descendant à 0,3, le montage devient nerveux et parfois haletant.

L'audio, là où le gain est le plus visible

C'est contre-intuitif, mais le son fait plus pour la qualité perçue que l'image. Une vidéo un peu molle avec un son net passe pour professionnelle ; l'inverse jamais. La chaîne à demander, dans cet ordre : passe-haut pour évacuer les basses de la pièce, gate pour le bruit de fond, compresseur pour resserrer les écarts de volume, limiteur pour tenir un niveau constant. Et si tu poses une musique, le voiceover carve creuse le lit musical sous la voix au lieu de baisser tout le morceau.

Les limites, honnêtement

• L'installation n'est pas indolore. Compilation de whisper.cpp, téléchargement des modèles, versions de Node : prévois une heure la première fois, et un agent qui te guide.
• Ton matériel travaille. La transcription et le rendu consomment CPU et GPU pendant plusieurs minutes. C'est le prix du local — voir notre guide sur quel ordinateur pour le montage vidéo.
• L'IA ne décide pas du récit. Elle enlève les blancs, pas les passages inutiles. Elle ne sait pas qu'une phrase est de trop, ni où poser un silence volontaire. Ce tri reste ton travail.
• Ce n'est pas pour tout le monde. Si tu publies trois Shorts par semaine, CapCut te servira mieux et plus vite : notre comparatif de l'IA de montage gratuite le montre en détail.

Ce pipeline devient intéressant à partir du moment où tu montes les mêmes formats de façon répétée : un podcast filmé chaque semaine, une série de tutoriels, des rushes face caméra à dégraisser. Là où un outil en ligne te fait recommencer tous les réglages, un skill garde tes décisions et les rejoue. Le premier montage te coûte une heure d'installation ; le dixième te coûte une phrase.

Pour le reste, notre guide complet du montage vidéo IA fait le tour de ce que l'intelligence artificielle sait faire, et notre comparatif des logiciels de montage IA chiffre les solutions clés en main.