Le premier film au monde entièrement doublé et traduit par une IA, Watch The Skies, s'apprête à sortir dans les salles américaines. Ce film de science-fiction suédois utilise la technologie TrueSync de la société Flawless pour réaliser la traduction et le doublage grâce à l'intelligence artificielle.

Flawless ne se contente pas de traduire les dialogues en anglais, mais utilise également l'IA pour synchroniser parfaitement le mouvement des lèvres de tous les personnages avec la version anglaise. Le résultat est si réaliste que l'on pourrait croire que le film a été tourné initialement en anglais.

Jusqu'à présent, le doublage anglais des contenus étrangers laissait souvent les spectateurs sur leur faim. Grâce à la popularité des plateformes de streaming, regarder des séries policières danoises ou des feuilletons espagnols doublés est devenu une expérience angoissante dans la « vallée dérangeante ». Ce terme désigne les technologies qui, au lieu de nous convaincre, nous confrontent à une imitation humaine cauchemardesque.

Flawless espère, grâce à sa technologie propriétaire TrueSync, permettre aux spectateurs de regarder leurs séries préférées en streaming sans souffrir de problèmes de synchronisation labiale ou de coupes brutales, et de dormir paisiblement le soir. Fondée en 2018 par les réalisateurs Scott Mann et Nick Lynes, Flawless a réalisé des prouesses impressionnantes en matière de traduction par doublage IA. La société a présenté un extrait de son travail au Festival de Cannes cette année, extrait partagé en exclusivité par le site Variety.

La conception de Flawless vise à protéger les droits d'auteur et à respecter les réglementations des syndicats hollywoodiens, ce qui soulève des questions importantes sur la valeur du contenu international et son potentiel de percée sur le marché américain. Variety rapporte également que Flawless est officiellement entrée dans le secteur de la distribution cinématographique. La société s'est associée à XYZ Films et Tea Shop Productions pour acquérir les droits de films étrangers. Ce partenariat permettra de convertir ces projets en anglais et de les distribuer dans les régions concernées avec les « effets visuels de synchronisation labiale parfaits » promis par Flawless. Le premier film distribué sera la comédie de science-fiction primée de Victor Dannell, UFO Sweden, qui sortira sous le titre Watch the Skies. Une série de projets devrait suivre dans les prochains mois.

Mann a discuté avec Variety de la peur et de l'aversion envers l'IA dans l'industrie du divertissement, de l'établissement de codes éthiques et des mécanismes cérébraux de la vallée dérangeante. Voici un extrait de l'entretien :

Comment avez-vous commencé dans ce domaine ?

Tout a commencé en 2018. Mon parcours est celui d'un réalisateur, scénariste et producteur de films. Je suis tombé par hasard sur un article présentant l'IA générative, intitulé « Deep Video Portrait », issu de la conférence SIGGRAPH, qui est en quelque sorte l'équivalent des Oscars pour la science. Cela m'a bouleversé.

J'ai toujours travaillé dans le domaine des effets visuels, et il était évident que cette technologie pourrait avoir un impact considérable sur notre secteur. J'ai contacté les auteurs de l'article, ce qui a conduit à la création de l'entreprise avec ces personnes et mon associé Nick Lynes. Christian Theobalt, Pablo Garrido et Hyeongwoo Kim ont créé notre département scientifique et l'ont transformé en l'un des plus importants au monde en matière de génération scientifique pilotée par ordinateur. C'est notre arme secrète.

À Hollywood actuellement, il y a beaucoup de peur et d'anxiété autour de l'IA. Il est intéressant de constater que votre entreprise adopte une attitude optimiste.

Nous avons créé cette entreprise du point de vue de la réalisation cinématographique. J'aime l'art, et notre mission principale est de considérer cette technologie comme un outil de création. Un point de vue différent consiste à dire qu'elle vise à supprimer les créatifs et à voler l'art. À la Napsteriser, à la détruire brutalement pour la destruction. Mais nous croyons à l'expression des histoires humaines, et le cinéma est la forme la plus avancée de cette expression. La technologie amplifie cela et ajoute plus de créativité. Ensuite, il y a toute l'économie de l'entreprise, qui repose sur certaines protections et sur la compréhension de son fonctionnement.

Dans cette ville, l'éducation autour de l'IA est gravement insuffisante. Quel est l'impact sur votre activité ?

C'est un problème mondial. Pas seulement à Hollywood. L'éducation et la compréhension sont essentielles. Certaines entreprises – appelons-les les entreprises défectueuses – préfèrent ne pas faire d'éducation, car cela met en lumière un acteur malhonnête. Il faut discuter honnêtement de la manière et de l'endroit où cela est destructeur, et de ce qui est positif. Au cours des dernières années, nous avons privilégié la compréhension avec les studios et les syndicats – y compris SAG-AFTRA – en disant : « Regardez, voici comment il faut l'utiliser. » La prochaine négociation du contrat AMPTP est quelque chose dont tout le monde devrait commencer à parler. Il y a quelque chose de révolutionnaire qui entre dans notre industrie, et nous devons nous préparer.

L'industrie prend-elle ce problème au sérieux ?

Je peux dire avec confiance qu'il y a eu un changement d'attitude considérable. Avant la grève de l'année dernière, les gens étaient prudents lorsqu'il s'agissait d'approuver l'utilisation de projets d'IA. Il y a eu des discussions préliminaires, il semble qu'ils les comprennent et qu'ils essaient d'améliorer les processus. Mais il y a une peur, la peur de franchir les limites. L'industrie est actuellement dans une mauvaise posture à certains endroits, et beaucoup de gens ne veulent pas se précipiter vers de mauvaises solutions.

Comment Flawless a-t-elle construit son code éthique ?

Cela découle de mes propres préoccupations en tant que cinéaste. J'ai toujours voulu améliorer le doublage des films. J'ai fait un film, que j'ai réalisé avec beaucoup de soin, intitulé Heist, avec Robert De Niro. Il a été réalisé avec tant de minutie et de délicatesse, et nous étions ravis du résultat. J'ai vu les versions doublées en langues étrangères. Le scénario avait été entièrement réécrit, et le mouvement des lèvres était complètement différent. Je me suis rendu compte : « Oh mon Dieu, pas étonnant que les choses ne se propagent pas bien. »

J'ai eu l'idée de résoudre ce problème, j'ai essayé de nombreux effets visuels, comme les scans de tête et autres absurdités. Ce n'était pas pratique, et cela n'a pas permis de dépasser la vallée dérangeante. Pour faire court, si vous supprimez et détruisez toute une zone qui contribue au film, vous ne pouvez pas le faire de manière éthique. Nous avons compris que les droits moraux et légaux sont complémentaires.

En ce qui concerne la vallée dérangeante, regarder actuellement un doublage dans sa forme actuelle est assez brutal. Le streaming a particulièrement aggravé le problème.

En tant qu'êtres humains, nous étudions les uns les autres de manière très détaillée. Si nous voyons quelque chose d'inhabituel, notre cerveau est programmé pour entrer en état d'alerte élevé. Au cours de l'évolution de la réalisation cinématographique, notre cerveau a été trompé et reprogrammé. Votre subconscient effectue un contrôle de la réalité. Si quelque chose ne correspond pas – en particulier le son et les images –, vous créez immédiatement un obstacle majeur à toute immersion émotionnelle et à toute crédibilité. Pensez à la quantité d'expressions qui sont transmises par le visage, les gestes et le jeu des acteurs, même sans entendre le son. Il y a beaucoup de choses là. Toutes ces raisons font que [le doublage actuel] est un problème. Mais il est bon qu'il y ait un problème clair à résoudre.

Il y a aussi un élément assez révolutionnaire ici, pour les films internationaux. Cela peut ouvrir un nouveau marché de stars, éliminant de nombreux films qui sont célébrés par des remakes en langue américaine.

En montrant nos matériaux aux cinéastes, notamment au cours de l'année écoulée, ils ont réalisé le potentiel de passer de la scène locale à la scène mondiale. C'est une formidable occasion de faire connaître son œuvre, ce qui a toujours été stimulant. Ils sont très enthousiastes à l'idée de présenter leur œuvre à un public plus large, notamment aux États-Unis.

Des studios ou des entreprises ont-ils essayé de vous racheter entièrement ?

Oui, lorsque nous sommes arrivés à Hollywood pour la première fois. Nous avons eu un très court teaser en 2021, et certaines personnes ont essayé de nous faire une offre directe. Nick et moi avons convenu que nous voulions servir tout le monde, et pas seulement les intérêts d'un studio. Nous voulons être la Suisse, car sinon, ce serait très limitant. Mais cela nous a aidés à lever des fonds et à développer l'entreprise. C'est une bonne question.

Vous voulez également entrer dans le jeu de la distribution.

Nous nous sommes toujours considérés comme un studio à un certain niveau. Nous voulons nous concentrer sur l'avenir. Il faut faire les choses correctement, de la pré-production à la production en passant par la distribution. Toutes ces étapes sont affectées par la technologie. Je pense que nous devrions multiplier par dix le nombre de spectateurs de films. Et faire des films étonnants à moindre coût avec ces outils. Si vous regardez notre premier film, UFO Sweden, il a évidemment été traduit en anglais, mais cela a également donné aux cinéastes la liberté d'ajouter et de modifier des choses qu'ils ne pouvaient pas se permettre auparavant. Vous pouvez choisir un composant algorithmique, essayer de faire un travail, mais je pense que la véritable force réside dans la réalisation et la distribution du film. Toute la chose. En ce qui concerne la post-production, nous pouvons faire beaucoup plus. Regardez Pixar, ils peuvent itérer leurs films avant la sortie.

L'acquisition de la coentreprise sera dirigée par Ryan Black, James Emanuel Shapiro de XYZ et James Harris de Tea Shop.

Article de référence :

https://variety.com/2024/film/news/flawless-ai-lip-dubbing-movies-tv-1236068071/