Dans le domaine de la post-production, Adobe a toujours été un leader. Récemment, lors de la conférence Adobe MAX, ils ont officiellement lancé la fonctionnalité vidéo Firefly IA, tout simplement époustouflante.
Cette technologie permet de combler n'importe quelle partie manquante d'une vidéo par un simple glisser-déposer, avec des résultats comparables à ceux de Runway et Sora. Plus remarquable encore, Adobe Photoshop a bénéficié d'une mise à jour complète, devenant la version la plus puissante de tous les temps.
Premiere Pro lance la fonctionnalité « Extension générative »
La fonctionnalité « Extension générative » (Generative Extend) de Premiere Pro est sans aucun doute le point culminant de cette mise à jour. Si vous avez besoin de combler des lacunes au début, à la fin ou même dans la timeline d'une vidéo, il vous suffit de faire glisser et de cliquer, l'IA étendra rapidement la vidéo, réalisant une édition temporelle parfaite.
Même pour les plans peu satisfaisants, l'IA peut automatiquement corriger les mouvements de caméra. Par exemple, un personnage qui court en dehors du cadre ? L'IA peut facilement ajuster les limites de l'image, ce qui permet de gagner du temps et des efforts.
Elle permet également aux utilisateurs de prolonger automatiquement des séquences vidéo avec des images et du son supplémentaires, simplifiant considérablement le processus d'édition, particulièrement utile pour les montages très précis.
Bien que l'extension vidéo soit actuellement limitée à deux secondes, cela suffit à résoudre de nombreux problèmes nécessitant des repérages à cause de petits défauts. La vidéo étendue peut être sélectionnée en résolution 720p ou 1080p, avec une fluidité de 24 images par seconde.
Cette fonctionnalité permet non seulement de générer des images parfaitement compatibles avec la vidéo originale, mais aussi d'étendre les effets audio. En cliquant sur le bouton « room tone », les effets sonores peuvent être prolongés ou lissés.
Par exemple, elle peut prolonger le bruit ambiant jusqu'à 10 secondes, ajoutant ainsi plus de détails et d'ambiance à l'œuvre. Cependant, il est important de noter que cette technologie ne prend pas encore en charge l'extension des dialogues ou des contenus musicaux.
La fonctionnalité d'extension générative sera disponible plus tard cette année dans la version bêta de Premiere Pro. Adobe indique qu'elle sera constamment mise à jour en fonction des commentaires des utilisateurs, qui pourront même donner un avis positif ou négatif en un clic sur les résultats générés.
Au-delà de l'« Extension générative », cette mise à jour d'Adobe Premiere Pro inclut également une série de puissantes fonctionnalités basées sur l'IA, améliorant considérablement l'efficacité de l'édition vidéo :
Fonctionnalité vidéo à partir de texte
Les utilisateurs peuvent générer n'importe quelle vidéo souhaitée grâce à de simples instructions. Que ce soit des effets réalistes en prises de vues réelles, des animations 3D époustouflantes ou même des animations en stop-motion, l'IA peut tout gérer.
De plus, pour les vidéos déjà générées, les utilisateurs peuvent affiner l'angle de la caméra, les effets de mouvement et d'autres paramètres grâce à la fonction « contrôle de la caméra ».
Exemple d'invite : Gros plan cinématographique d'un homme sous la pluie au milieu d'une rue. Ambiance lumineuse sombre et dramatique, tons bleus et cyan dominants. L'homme est extrêmement réaliste, avec une texture de peau fine et une barbe légère. Les mouvements subtils sont doux et fluides, la caméra reste fixe. L'image présente un grain et une texture de pellicule prononcés. Des gouttes d'eau glissent lentement sur le visage de l'homme, clairement visibles.
Les utilisateurs peuvent également générer des éléments d'effets spéciaux tels que des flammes, de la fumée et des reflets lumineux grâce à Firefly, améliorant ainsi considérablement la profondeur visuelle de la vidéo. Grâce à Adobe Premiere Pro et After Effects, les utilisateurs peuvent superposer ces éléments à des vidéos existantes pour créer des effets époustouflants.
Fonctionnalité vidéo à partir d'image
Les utilisateurs peuvent générer du contenu vidéo en téléchargeant des images de référence et des invites textuelles. Cette fonctionnalité permet non seulement de créer facilement des plans supplémentaires à partir d'une seule image, comme des gros plans, mais aussi d'animer des photos statiques pour générer de nouveaux éléments B-roll, offrant ainsi aux créateurs vidéo une grande flexibilité et créativité.
Cette technologie permet également de modifier les actions et les intentions dans les plans originaux. Par exemple, si un monteur souhaite modifier une action spécifique, il peut utiliser cette fonctionnalité pour visualiser ce changement sans avoir à refaire la prise de vue.
Vidéo originale :
Vidéo générée :
Le modèle Adobe Firefly offre de nombreuses options de contrôle de la caméra, notamment la distance focale (gros plan, plan moyen, plan large, etc.), l'angle et le mouvement de la caméra, permettant aux utilisateurs de générer plus précisément le contenu vidéo souhaité. Cependant, cette fonctionnalité professionnelle implique que les utilisateurs doivent fournir des invites textuelles (prompt) plus détaillées. Vous pouvez consulter les modèles d'invites fournis par Adobe.
Fonctionnalité de génération de texte et de sous-titres
Elle permet de générer automatiquement des sous-titres et des annotations précis pour les vidéos, simplifiant ainsi l'édition de texte. De plus, la technologie de montage automatique et de détection de scène pilotée par l'IA permet d'identifier et de modifier intelligemment les changements de scène dans les vidéos, ce qui permet aux créateurs de gagner un temps précieux.
Ajustement automatique du ratio vidéo
Pour répondre aux besoins de publication multiplateformes actuels, Adobe a également lancé des fonctions de restructuration et d'adaptation automatiques. L'IA peut ajuster automatiquement le ratio vidéo en fonction des spécifications des différentes plateformes de médias sociaux, garantissant ainsi une présentation parfaite des œuvres sur toutes les plateformes.
Correction automatique des couleurs
En termes de qualité d'image, la nouvelle version intègre des fonctions de correspondance et d'ajustement des couleurs, permettant une harmonisation automatique des couleurs et garantissant ainsi une cohérence visuelle de toute la vidéo. Le son a également connu des améliorations majeures : la nouvelle technologie d'amélioration audio améliore considérablement la clarté des dialogues et des sons, offrant ainsi aux spectateurs une meilleure expérience auditive.
La fonction de sélection et de remplacement intelligents permet aux créateurs de remplacer ou d'améliorer rapidement des éléments spécifiques d'une vidéo grâce à l'IA, offrant ainsi plus de possibilités d'expression créative.
Nouvelles fonctionnalités IA de Photoshop
Adobe a également introduit dans Photoshop une série de fonctionnalités IA innovantes conçues pour simplifier le flux de travail des utilisateurs tout en améliorant la qualité et l'efficacité de l'édition d'images.
Ces nouvelles fonctionnalités incluent :
Fonction « Suppression des distractions »
Similaire à Magic Eraser des téléphones Google Pixel, elle permet aux utilisateurs de supprimer rapidement les objets indésirables d'une image grâce à de simples gestes. Cette fonctionnalité permet d'identifier et de supprimer automatiquement les distractions courantes, telles que les piétons ou les câbles, réduisant ainsi considérablement les étapes fastidieuses de sélection et de suppression manuelle.
Fonction « Remplissage génératif »
La fonction de remplissage génératif a été considérablement améliorée. Elle peut remplir une image en fonction des instructions textuelles de l'utilisateur, et les résultats sont plus réalistes et naturels.
Fonction « Extension générative »
Elle permet aux utilisateurs d'étendre l'image au-delà des limites de l'image originale, offrant ainsi plus d'espace pour l'expression créative.
Fonctions « Génération similaire » et « Génération d'arrière-plan »
Elles permettent aux utilisateurs de générer rapidement des variantes d'images et de remplacer le contenu de l'arrière-plan. Ces fonctionnalités enrichissent considérablement les options créatives des utilisateurs et améliorent leur efficacité.
Adobe souligne particulièrement son approche de l'IA « centrée sur le créateur », garantissant le respect et le soutien du travail des créateurs. L'entreprise s'engage à ce que l'entraînement de tous ses modèles d'IA se fasse uniquement sur des contenus autorisés et qu'elle n'utilisera pas les données personnelles des utilisateurs.
Pour plus de transparence, Adobe fournit également une « preuve de contenu » pour les contenus générés par l'IA, aidant les utilisateurs à comprendre l'origine et le processus de création, garantissant ainsi la traçabilité du contenu et la clarté des droits d'auteur.
Ces nouvelles fonctionnalités IA sont désormais disponibles dans Photoshop, Photoshop Beta et la version web de Photoshop. Les utilisateurs peuvent immédiatement découvrir ces nouveaux outils puissants. Quant aux utilisateurs souhaitant découvrir le modèle vidéo Firefly, ils peuvent s'inscrire sur une liste d'attente afin de pouvoir l'essayer dès sa sortie.
Plus d'informations : https://www.adobe.com/products/premiere/ai-video-editing.html
