Le Concept
Développement d’un pipeline d’animation faciale synchronisée sur une piste audio. L’enjeu était d’obtenir un lip sync naturel et expressif tout en conservant la haute fidélité visuelle du personnage.
Outils
ComfyUI | Flux.2 | LTX 2.3 | Audio Input
Workflow de Synchronisation (ComfyUI)
-
Génération du Character Design : Création du visage et de l’environnement avec Flux.2 pour une base photoréaliste.
-
Animation Vidéo : Utilisation de LTX 2.3 pour générer les micro-mouvements et le naturel de la séquence.
-
Audio-Driven Animation : Intégration d’un workflow de Lip Sync sous ComfyUI utilisant LTX2.3, et la piste sonore en input pour piloter les mouvements de la bouche et les expressions faciales en temps réel.
Points Clés
-
Réalisme des Phonèmes : Précision du mouvement des lèvres calqué sur l’audio fourni.
-
Conservation de l’Identité : Maintien de la cohérence du visage du personnage pendant toute la phase d’animation.