TKF meets Pokemon Fusion
2015 begeisterte Pokemon Fusion das Internet. Mit dem Fan-Projekt war es möglich eine unbegrenzte Anzahl an von neuen Pokemon zu generieren. Bis heute erfreut sich das Spiel grosser Beliebtheit. Anlass genug um herauszufinden wie wohl die Fusionen vom Team TKF aussehen würden.
- calendar_today7.3.2024
- folder
- Jan Thoma
Ich will nur die Bilder sehen!
Kein Ding hier gehts zum Figma Board. Viel Spass!
Ich will das auch können!
Klar doch! Hier ein kurzes Tutorial wie sich das ganze mit Stable Diffusion XL und Invoke AI bewerkstelligen lässt. Vorneweg möchte ich aber noch einige Begriffe erklären.
Was ist Stable Diffusion XL?
Stable Diffusion XL ist ein Text-To-Image Modell zur generativen Erzeugung von Bildern von StabilityAI und ist unter der CreativeML Lizenz verfügbar.
Was ist Invoke AI?
Invoke AI ist ein Werkzeug und Nutzeroberfläche zur Interaktion mit Stable Diffusion. Die Software ist als Open Source über Github verfügbar, alternativ kann Sie auch als bezahlter Service in Anspruch genommen werden.
Was ist ein IP-Adapter?
Ein IP-Adapter (Image Prompt Adapter) ist ein Add-on für Stable Diffusion das es ermöglicht Bilder als Prompts zu nutzen. Damit ist es möglich den Stil, die Komposition oder Gesichter als Referenz bei der Erzeugung von neuen Bildern zu verwenden.
Was ist ein ControllNet?
Ein ControlNet analysiert die Farben und Formen eines Bildes und bringt Stable Diffusion dazu diese Farben und Formen auf das neu generierte Bild zu übertragen.
Wie funktioniert das ganze?
Wir starten mit einem generische Prompt wie portrait of a male teenager inside a office, wenn wir z. B. eine männliche Person erzeugen wollen. Mittels des Ausgangsbild von Person A füttern wir einen IP-Adapter und ControlNet um die generelle Tonalität, Pose und Farbigkeit des Ausgangsbild zu treffen. Zum Schluss transferieren wir mit einem weiteren IP-Adapter das Gesicht von Person B auf Person A.
Voraussetzungen
Damit alles rund läuft sollten folgende Systemvoraussetzungen erfüllt sein:
- Hostrechner mit Windows, Linux oder MacOS
- Grafikkarte von Nvidia oder AMD mit mindestens 6-8GB VRAM, ein Apple Computer mit Apple Silicon
Installation
Holt euch hier das neueste Release von Invoke AI runter und folgt der Anleitung auf der Seite um die Software zu installieren. Startet danach das Programm und wechselt in den Model-Manager auf den Tab Import Models.
Nun solltet ihr die unten aufgeführten Models herunterladen in dem ihr den jeweiligen Namespace bei Model Locaction einfügt und anschliessend auf Add Model klickt. Das Model wird anschliessend im Hintergrund heruntergeladen und ihr werdet benachrichtigt sobald es verfügbar ist.
stabilityai/stable-diffusion-xl-base-1.0
SargeZT/controlnet-sd-xl-1.0-softedge-dexined
InvokeAI/ip_adapter_plus_sd15
InvokeAI/ip-adapter-plus_sdxl_vit-h
InvokeAI/ip_adapter_plus_face_sd15
InvokeAI/ip-adapter-plus-face_sdxl_vit-hPrompt Setup
Ihr benötigt ein Ganzkörperbild von Person A und ein Bild das nur das Gesicht von Person B zeigt. Folgendes Prompt Setup hilft euch dabei Bilder wie oben zu erzeugen. Ist alles korrekt eingerichtet kann mit Klick auf Invoke ein Bild erzeugt werden.
Generation Mode: sdxl_txt2img
Positive Prompt: portrait of a male teenager inside a office
Negative Prompt: deformed, bad quality, illustration, blurry
Model: stable-diffusion-xl-base-1-0
Width: 1024
Height: 1024
Scheduler: dpmpp_sde_k
VAE: Default
Steps: 70
CFG scale: 7.5
ControlNet: controlnet-sd-xl-1.0-softedge-dexined - 0.5
IP Adapter: ip-adapter-plus_sdxl_vit-h - 0.5
IP Adapter: ip-adapter-plus-face_sdxl_vit-h - 0.75Im WebUI sollte der Bereich Control wie im Screenshot unten aussehen.
Es empfiehlt sich mit den Parametern zu experimentieren bis ihr mit den Ergebnissen zufrieden seid. Gefällt euch ein Bild könnt Ihr den Seed fixieren und mit den restlichen Parametern unterschiedliche Varianten erzeugen. Wollt Ihr noch tiefer in die Materie eintauchen ist die Dokumentation von InvokeAI ein guter Startpunkt.
Weiterführende Links und Infos
Zum Schluss noch einige hilfreiche Links und Ressourcen zu Stable Diffusion und Invoke AI. Happy Prompting!