Les chercheurs d’Adobe ont développé un nouveau modèle d’IA générative appelé VidéoGigaGAN qui peut améliorer les vidéos floues jusqu’à huit fois leur résolution d’origine. Introduit dans un article publié le 18 avrilAdobe affirme que VideoGigaGAN est supérieur aux autres méthodes de super résolution vidéo (VSR), car il peut fournir des détails plus fins sans introduire de « bizarrerie d’IA » dans les images.
En un mot, les réseaux contradictoires génératifs (GAN) sont efficaces pour mettre à l’échelle des images fixes vers une résolution plus élevée, mais ont du mal à faire de même pour la vidéo sans introduire de scintillement et d’autres artefacts indésirables. D’autres méthodes de mise à l’échelle peuvent éviter cela, mais les résultats ne sont pas aussi précis ou détaillés. VideoGigaGAN vise à offrir le meilleur des deux mondes : la qualité d’image/vidéo supérieure des modèles GAN avec moins de problèmes de scintillement ou de distorsion sur les images de sortie. La société a fourni plus d’exemples ici qui montre son travail en pleine résolution.
Certains des détails les plus fins des clips de démonstration fournis par Adobe semblent complètement artificiels, comme la texture de la peau et les plis dans l’exemple ci-dessous, mais les résultats semblent incroyablement naturels. Il serait difficile de dire que l’IA générative a été utilisée pour améliorer la résolution, ce qui pourrait étendre le débat sur « qu’est-ce qu’une photo » pour inclure la vidéo.
Il ne s’agit que d’une étude, il n’y a donc aucune garantie qu’Adobe mettra VideoGigaGAN à la disposition des consommateurs via des logiciels Creative Cloud comme Premiere Pro. La société a déjà présenté une expérience distincte de suréchantillonnage basée sur la diffusion, Project Res-Up, lors de son événement MAX en octobre 2023, qui améliore de la même manière la qualité des GIF et des séquences vidéo basse résolution. Et Adobe n’est pas seul dans ce travail, puisque Microsoft et Nvidia ont également développé leur propre technologie de mise à l’échelle VSR.
