Moteur de production de vidéos UGC par IA

Projet commercial en cours. Le code source est privé.

Le produit

Un moteur qui transforme l’URL d’une page produit en vidéo UGC verticale prête à publier : 20 à 35 secondes, voix off IA, visuels animés, habillage de marque, hashtags et premier commentaire épinglé, le tout rattaché à l’un des cinq créneaux éditoriaux quotidiens. Opéré en solo, avec une intervention humaine réduite aux seuls points où le jugement compte : cinq minutes de revue par vidéo, cinq minutes d’analytics par jour. Le moteur fait tout le reste, pour un coût moyen d’environ 3,5 $ par vidéo avec un plafond budgétaire strict appliqué dans le code. Chaque vidéo est traitée comme une expérimentation mesurable plutôt que comme une production artisanale.

Architecture : jugement vs déterminisme

La décision de conception centrale : le LLM n’intervient que là où le jugement est irremplaçable, tout le reste est du Python déterministe.

• Cinq frontières LLM, chacune justifiée par un échec documenté : extraction structurée du produit, écriture du script, scénario visuel, gate de fidélité par vision, et scoring des créneaux de publication. L’arbitrage des créneaux illustre le pattern : le LLM score chaque paire produit-créneau, Python calcule l’affectation optimale, un humain l’applique.
• Sorties structurées garanties par des validateurs, pas par la confiance : les agents écrivent des fragments YAML qu’une CLI de merge déterministe valide, complète et canonise. Le code de sortie fait contrat.
• Les prompts comme surface éditable à chaud : templates de prompts et définitions d’agents rechargés à la volée, routage de modèle par étape (modèles légers pour la glue, plus puissants pour l’écriture créative et la vision), et une piste d’audit qui trace quelle révision de prompt a produit quelle section de quelle vidéo.
• Une passerelle multimodale unique : génération d’images (GPT Image, Nano Banana), image-to-video (Kling, Seedance), ElevenLabs pour la voix, Claude pour l’orchestration, unifiés derrière un seul client avec un seul ledger et une seule monnaie de crédits.

Pipeline de production

• Extraction structurée : fiche produit avec caractéristiques clés, USP, angles d’accroche et packshot de référence vérifié strictement.
• Script par angle éditorial : cinq créneaux quotidiens (éducatif SEO, preuve sociale, mécanisme, démo et routine, conversion), une bibliothèque de structures narratives et des règles anti-répétition vérifiées contre les dernières vidéos du compte. L’étape script marque toujours une pause pour revue humaine : c’est la seule étape où une correction change tout en aval.
• Production audio-first : synthèse vocale puis découpe par détection de silences ; la piste voix réelle pilote la durée des blocs et le timing des overlays.
• Frames IA avec gate de fidélité : chaque frame montrant le produit est comparée par un LLM vision au packshot de référence, pour intercepter les hallucinations de marque et d’étiquette avant de payer l’animation. Les frames rejetées sont régénérées avec un prompt enrichi de la cause d’échec, deux fois maximum, puis escaladées à l’humain.
• Assemblage FFmpeg : master 1080x1920, overlays rendus en PNG et placés par détection de saillance dans les zones sûres de la plateforme, couleurs d’accent extraites programmatiquement du packshot, normalisation loudness aux standards broadcast.

Fiabilité et observabilité des coûts

• Garde-fous avant dépense : l’estimation budgétaire interrompt un run avant tout appel payant s’il dépasse le plafond ; le quota du provider est vérifié en fail-fast.
• Suivi des coûts sur trois niveaux : un ledger à la soumission pour qu’une session tuée ne perde jamais une tâche payée, une réconciliation des orphelins qui récupère les résultats déjà facturés, et des contrôles de solde contre le compte provider pour détecter tout appel échappant au ledger.
• Idempotence par empreinte de contenu : les entrées frame et animation sont fingerprintées séparément, donc modifier un prompt d’animation ne régénère que le clip et ne repaie jamais une frame validée.
• Vérificateurs de résultat véridique : des hooks post-run relisent l’état du pipeline et rétrogradent en échec tout run sorti au vert sans avoir réellement progressé, un mode de défaillance récurrent des automatisations pilotées par LLM.
• Une suite de 122 tests automatisés couvre le pipeline, les modules analytics et l’API.

Boucle analytics

• Ingestion quotidienne des métriques de diffusion et de commerce : courbes de rétention à la seconde, vues, partages, clics produit, commandes. Le coût de production est converti aux taux de change historiques pour que le ROI par vidéo reste honnête sur plusieurs mois.
• Briefs quotidiens automatisés : alertes d’amplification sur seuils de vélocité, gates de rétention, diagnostic du funnel pointant le maillon faible.
• Revues hebdomadaires avec protocole de cohortes gelées : chaque cohorte A/B tourne sous un régime créatif gelé, cinq réplicats minimum, et les apprentissages atterrissent en bloc sur la cohorte suivante. L’itération reste dans la zone peu coûteuse, au stade du script, jamais en re-production payante.
• Un résultat négatif mesuré : réinjecter automatiquement les meilleures vidéos dans les prompts de génération provoquait un effondrement stylistique (mode collapse). La boucle se referme désormais par des règles éditoriales revues par l’humain, versionnées dans la couche de prompts.

Cette discipline de mesure a piloté le pivot principal du projet : passer des vidéos avatar en lipsync à une direction artistique entièrement sans visage après que les données ont montré un écart d’un ordre de grandeur sur les vues médianes, puis une réduction de coût supplémentaire de 20 % par vidéo via un A/B de modèles contrôlé.

Pilotage

La console opérateur couvre tout le cycle de vie : queue de publication avec planification des créneaux, éditeur par vidéo, gestion des prompts et tableaux de bord analytics.

Approche

Le contenu organique sert de laboratoire R&D : chaque vidéo publiée alimente la boucle de mesure, les formats qui convertissent sont identifiés puis amplifiés. Une démarche produit complète, de l’étude de l’algorithme de distribution et des garde-fous de conformité encodés dans les prompts jusqu’au suivi de conversion, exécutée avec la rigueur d’un pipeline d’ingénierie.