miroir mAgIque
Intention de projet initial :
J’aimerais utiliser l’Intelligence Artificielle pour éditer des vidéos et des photos en direct.
En jouant sur sa capacité à générer des images étranges, imprécise ou dimorphe.
Influences et inspirations ?
Depuis quelques années je porte un intérêt pour les modèles d’IA orientés photo et vidéo, en particulier pour leur capacité à générer des images « ratées », venues d’ailleurs, comme pensées en dehors de notre imaginaire.
Je pense que c’est dans leur « défauts » et dans leur bizarrerie que ces IA apportent quelque chose de nouveau et que c’est de cette manière qu’elles peuvent trouver un intérêt artistique ou stylistique.
La première personne a avoir utiliser l’IA dans ce sens est l’artiste Edward Skeletrix en 2023.
Le 4 avril 2023 et le 29 mai 2024 l’artiste Che sort les clip de Miley Cyrus et de Pizza Time , réalisés et montés par NoahSoCold et avec les VFX et GFX par PoppyGavin.
Les clips gagnent tout les deux très vite en popularité jusqu’à dépassent la notoriété de Che.
Selon moi ce qui a fait le succès de ces clips c’est leur parti pris stylistique (dans le montage comme dans les visuels) qui colle parfaitement avec l’énergie et l’univers de l’artiste. C’est nouveaux pour le public et ça permet à l’artiste de s’identifier d’avantage.
Le 10 juillet 2024 la chaine Ener post le clip du son Gelato de J9ueve réalisé par Brandon.Grn, Doumsinho et Otegxa. Le clip est rapidement pointé du doigts comme étant une mauvaise copie des clips de Che. Le montage très rapide et l’incrustation d’éléments graphique type « digital » « low resolution » en sont la cause.
Cependant la copie est raté car la vidéo ne présente pas de médias générés par IA, surement du à une non maîtrise de ces derniers par les réalisateurs. Ce qui bloque le clip dans la case de copie et non de reprise étant donnée qu’ils n’ont pas réussit à réellement s’approprié le style.
Récemment Bad Bunny (3e artiste le plus écouté sur Spotify en 2024 rien que ça) a publié le clip d’ EL CLúB réalisé par Stillz, clip qui s’inspire complètement de cette tendance . Ici on se sert de l’IA pour illustrer le rêve d’un homme bourré et triste si j’ai bien compris.
Selon moi ce clip marque une étape importante dans la popularité de cette tendance mais plus largement dans la démocratisation de l’IA dans les clips vidéo.
Si les artistes se mettent de plus en plus à intégrer l’IA dans leur clip c’est parce-qu’elle permet d’illustrer des sujets qui auparavant pouvait s’avérer complexe comme le rêve, l’état d’ébriété, les effets de la drogue, la folie, bref tout ce qui se rapproche de l’hallucination et du surréalisme.
Certains utilisent l’IA pour réaliser des scènes grandioses qui normalement auraient coutées de gros moyens. Je pense par exemple ici au clip « LUTHER_ALED_EXIT_PRORES » de Luther.
Ou tout simplement car ils souhaitent prendre un parti pris stylistique contemporains.
1er essai
Initialement je voulais créer un programme qui récupère le flux vidéo de ma caméra frontale , qui le transforme, et qui l’affiche directement sur mon écran. Un peu comme un filtre instagram, snapchat ou tiktok mais en plus complexe.
J’ai commencé par penser à l’upload de la webcam car c’est ce qui me paraissait être fondamental pour mon projet.
Je commence mon projet sur l’application Raccourcis d’apple, qui est plutôt facile d’accès. J’ai réussit à joindre ma caméra à un url ce qui me paraissait obligatoire pour faire le lien entre mon appareils et les sites d’IA comme StableDiffusion ou Runway.
puis Etienne Mineur me présente
Puis je passe sur Make un site qui permet de connecter facilement un multitude d’applications et de fonctionnalités.
Malheureusement je me rends vite compte que la solution n’est pas optimisé pour mon utilisation car trop lente, il faut environ 1 à 2 minutes rien que pour publier une photo depuis ma caméra frontale et la poster sur un drive.
Un nouvel outil
Début Novembre on fait la rencontre de Lovis Odin, un designer interactif et utilisateur aguerri de Comfy UI, il nous présente cet outil qui est un logiciel open source permettant de créer des chemins de noeuds pour StableDiffusion (un model IA de génération d’image). Pour vous donner une idée c’est l’équivalent de TouchDesigner ou des noeuds de géométrie dans Blender mais pour l’IA.
Comfy UI me fait repenser mon projet et la présentation de Lovis me donne envie de m’y frotter même s’il faut repartir de zéro.
2e essai
Des complications
Dernière version
Conclusion
Il faut comprendre mon projet comme une sorte de miroir déformant qui passe par plusieurs étapes associées à l’intelligence artificielle
