Faszinierend und enttäuschend: KI-Bildgeneratoren

class: center, middle

![img33l](gfx/00034-794974853x.png)
## Faszinierend und enttäuschend
##<nobr>KI-Bildgeneratoren</nobr>
#### Hauke Goos-Habermann

---

### Über mich / den Vortrag

![img33r](../../gfx/ndwls-logo.png)

- Bin Entwickler des Softwareverteilungssystems m23, biete Support zu Linux und Freier Software

- YouTuber/PeerTuber: https://weisheit.goos-habermann.de

- Bin am Thema "KI" interessiert **ohne *richtige* Anwendungszenarien** zu haben

![img20r](gfx/qrcode-goos-habermann.de.png)
- Meine Interessen bei KI

- Die Grundlagen hinter *sogenannter KI*

- Aktuelle **freie** KI-Systeme

- Handfeste Beispielprojekte mit vorzeigbaren Ergebnissen

- Grenzen und weitere Überlegungen

- Der Vortrag ist eine **subjektive Auswahl** von Punkten, die mich interessieren oder mir wichtig erscheinen
---

### Bildgeneratoren "Früher"

Noch vor ein paar Jahren gab es Bildgeneratornetze für ausschließlich einen bestimmten Zweck.

32x32-Pixel-Katzen (2015-2017)

![img100](gfx/cat-generator.jpg)
.copyright[Bilder: <a href="https://github.com/aleju/cat-generator">github.com/aleju/cat-generator</a> / <a  href="https://github.com/aleju/cat-generator/blob/master/LICENSE">MIT</a>]

32x32-Pixel-Gesichter (2015-2017)

![img100](gfx/face-generator.jpg)
.copyright[Bilder: <a href="https://github.com/aleju/face-generator">github.com/aleju/face-generator</a> / <a  href="https://github.com/aleju/face-generator/blob/master/LICENSE">MIT</a>]
---

### Text-zu-Bildgeneratoren

![img33r](gfx/fake-Elon_Musk_with_bob_haircut_Seed-266571_Steps-25_Guidance-7.5.jpeg)

Je nach **KNN-Model** und Prompt (Textbeschreibung) können die generierten Bilder sehr überzeugend sein.

* Es gibt **spezielle** (z.B. Mikroskopbilder) und sehr **allgemeine Netze**.

* Modelle basieren (üblicherweise) auf **Bildern aus dem Internet** und den **dazugehörigen Beschreibungen**.

* Es können **positive** (z.B. photo, hyper realistic 8k, ultra-detailed, ultra-realistic, ...) und **negative** (z.B. disfigured, ugly, bad, two heads, ...) **Prompts** angegeben werden

* Vorhandene Modelle können **live angepaßt** oder **miteinander kombiniert** werden, um einen besonderen Bildstil oder Elemente zu erzeugen.

* Meine 100-5-2-Regel
	* 100 Bilder generieren lassen
	* 5 sind ok
	* 2 sind gut
---

### Zu jeder Eingabe ein Bild: Quizfrage

Fiktive Filmszenen

</td>
<td>
<img src="gfx/columbo_1.png" width="400px"></br>
</td>
<td>
</tr>
</table>
---

### Zu jeder Eingabe ein Bild: Auflösung

Fiktive Filmszenen

<table>
	<tr>
		<td>
<img src="gfx/indiana_jones.png" width="400px"></br>
.copyright[Indiana Jones</br> </br> ]

</td>
<td>
<img src="gfx/columbo_1.png" width="400px"></br>
.copyright[Columbo</br> </br> ]
</td>
<td>
</tr>
</table>
---

### Zu jeder Eingabe ein Bild: Quizfrage

Fiktive Filmszenen

<table>
	<tr>
		<td>
<img src="gfx/Raumpatrouille_Orion.png" width="400px"></br>
</td>
<td>
<img src="gfx/Boh1aew6ouB1iepo8ahXace.png" width="400px"></br>
</td>
</tr>
</table>
---

### Zu jeder Eingabe ein Bild: Auflösung

Fiktive Filmszenen

<table>
	<tr>
		<td>
<img src="gfx/Raumpatrouille_Orion.png" width="400px"></br>
.copyright[Raumpatrouille Orion]
</td>
<td>
<img src="gfx/Boh1aew6ouB1iepo8ahXace.png" width="400px"></br>
.copyright[Boh1aew6ouB1iepo8ahXace thai7aeToop5ooso1Alohw3 Aifaiph6aeveek0oosee4fi]
</td>
</tr>
</table>
---

### Wie entstehen die Bilder?
![img50l](gfx/house_in_the_wood_at_moonshine-mdeliberate_v11-ckpt-saddim-st005.png)

* **Modell:** Deliberate V1.1

* **Auflösung:** 768*768

* **Seed (Zufallswert):** 12345678

* **Prompt:** house in the wood at moonshine

* **Schritte:** 5
---

### Wie entstehen die Bilder?
![img50l](gfx/house_in_the_wood_at_moonshine-mdeliberate_v11-ckpt-saddim-st010.png)

* ...

* **Schritte:** 10
---

### Wie entstehen die Bilder?
![img50l](gfx/house_in_the_wood_at_moonshine-mdeliberate_v11-ckpt-saddim-st015.png)

* ...

**Schritte:** 15
---

### Wie entstehen die Bilder?
![img50l](gfx/house_in_the_wood_at_moonshine-mdeliberate_v11-ckpt-saddim-st020.png)

* ...

**Schritte:** 20
---

### Wie entstehen die Bilder?
![img50l](gfx/house_in_the_wood_at_moonshine-mdeliberate_v11-ckpt-saddim-st025.png)

* ...

**Schritte:** 25
---

### Was geht gut?

<img src="gfx/a_photograph_of_an_elephant_in_an_indoor_swimming__AAGP3c0U.jpeg" width="400px"></br>
Wasser</br>

.copyright[Deliberate V1.1]</br>

</td>
<td width="50">
</td>
<td>

<img src="gfx/gently_rippled_sea_with_trees_mirroring_in_sea._AAGP3gcQ.png" width="400px"></br>
Wasserspiegelung</br>

.copyright[Deliberate V1.1]</br>

</td>
</tr>
</table>
---

### Was geht gut?

<img src="gfx/glas_can_filled_with_water_on_a_table_in_a_house.__AAGP3e3E.jpeg" width="400px"></br>
Wasser und Glas</br>

.copyright[Deliberate V1.1]</br>

</td>
<td width="50">
</td>
<td>

<img src="gfx/glas_can_filled_with_water_on_a_table_in_a_house.__AAGP3evk.jpeg" width="400px"></br>
Wasser, Spiegelung, Schatten</br>

.copyright[Deliberate V1.1]</br>

</td>
</tr>
</table>
---

### Was geht gut?

Haare!

<table>
	<tr>
		<td>
<img src="gfx/haare1.png" height="250"></br>
.copyright[supersharp, supersharp, realistic, photographic. portrait of a **woman**</br>with **long hair**. highres. 4k. ultra quality. masterpiece. detailed face.</br>detailed hair. focus studio light</br>CinnematicDiffusion V1]

</td>
<td>
<img src="gfx/haare2.png" height="250"></br>
.copyright[supersharp, supersharp, realistic, photographic. portrait of a **woman**</br>with **curly hair**. highres. 4k. ultra quality. masterpiece. detailed face.</br>detailed hair. focus studio light</br>CinnematicDiffusion V1]
</td>
<td>
<img src="gfx/haare3.png" height="250"></br>
.copyright[supersharp, supersharp, realistic, photographic. portrait of a **man**</br>with **beard**. highres. 4k. ultra quality. masterpiece. detailed face.</br>detailed hair. focus studio light</br>CinnematicDiffusion V1]
</td>
</tr>
</table>
---

### Was geht eher schlecht?

![img33r](gfx/Mann_umarmt_Pinguin.png)

* Anzahl von Objekten (z.B. **eine** Blume)

* Ortsangaben ( z.B. in der Ecke)

* Objekttrennung (z.B. **ineinanderfließende** Arme oder Objekte)

* Extremitäten (z.B. Fingeranzahl)

* Gesichter (ohne Korrektur)
---

### Welche Hardware/Software benötige ich?

![img33r](gfx/mehr_computer.png)

* **NVIDIA**-Grafikkarte mit **CUDA**-Treibern
	* 6GB VRAM reicht für Bilder mit bis zu 1024x768
	* Soll aber auch schon mit 4GB VRAM (und ggf. 2GB VRAM) nutzbar sein.

* **AMD**-Grafikkarte mit **AMD-ROCm**-Unterstützung
	* Von https://github.com/hydrian/stable-diffusion-webui-rocm: 8GB VRAM für Bilder mit 512x512

* Intel Arc: Soll auch gehen

Benchmarkergebnisse: https://www.tomshardware.com/news/stable-diffusion-gpu-benchmarks
---

### NVIDIA-Treiber unter Debian 12 installieren

Mit root-Rechten installiert Ihr unter Debian 12 die NVIDIA/CUDA-Treiber mit:

```bash
# Zweige für nicht-freie Software aktivieren
sed -i 's/main/main contrib non-free/g' /etc/apt/sources.list

# Liste mit verfügbaren Paketen aktualisieren
apt update

# NVIDIA-Grafikkartenerkennungsprogramm installieren
apt install -y nvidia-detect

# Ausführen
nvidia-detect

#Detected NVIDIA GPUs:
#...
#It is recommended to install the
#    nvidia-driver
#package.

# Empfohlenes Treiber-Paket installieren
apt install -y nvidia-driver firmware-misc-nonfree nvidia-cuda-dev nvidia-cuda-toolkit

# System neustarten
reboot
```
---

### Stable Diffusion web UI

Die Oberfläche ist zwar komplizierter als <a href="https://stable-diffusion-ui.github.io/">Easy Diffusion</a>, bietet aber auch deutlich mehr Funktionen.

```bash
# Abhängigkeiten installieren
sudo apt install wget git python3 python3-venv

# Installationsskript herunterladen
wget https://raw.githubusercontent.com/AUTOMATIC1111/\
stable-diffusion-webui/master/webui.sh -O webui.sh

# Installieren (und Installationspfad angeben)
install_dir=/media/ssd bash webui.sh
```

* Informationen: https://github.com/AUTOMATIC1111/stable-diffusion-webui
---

### Netzkunde 1 (Dateitypen)
![img33r](gfx/roboterlehrer.png)
Es gibt grundlegende Dateitypen, in denen die Netzdaten gespeichert werden:

* **.pt** (PickleTensor): Datei mit einem fertigen PyTorch-Netz.

* **.safetensors**: Im Gegensatz zu PickleTensor einfaches und schnelles Format zur sicheren Speicherung von Tensoren (Zusammenfassung von Vektoren im Netz).

* **.ckpt**: Datei mit einem Zwischenstand eines PyTorch-Netzes während des Lernens.
---

### Netzkunde 2 (Anwendungsfälle)
![img20r](gfx/roboterlehrer.png)
Bei der **<a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui">Stable Diffusion web UI</a>** werden die Dateien an dafür vorgesehene Stellen abgelegt:

* **models/gfpgan** (.pth): Netz für Gesichtskorrektur

* **models/hypernetwork** (.pt + .safetensors): Anpassungen von Gewichten im Hauptnetzwerk (z.B. um bestimmte Art von Bildern zu erzeugen)

* **models/realesrgan** (.pth): Netz für Bildverbesserung. Hier meist zum Hochskalieren.

* **models/stable-diffusion** (.ckpt + .safetensors): Netz für Bildgenerierung.

* **models/vae** (.vae.pt, .ckpt + .safetensors): Im Grunde klassifiziert (kodiert) es das Bild auf der Grundlage eines Wertebereichs anstelle von diskreten Werten (Variationen). Dies geschieht automatisch. Auf diese Weise wird die Überanpassung (Overfitting) reduziert und die Variation der Ergebnisse erhöht.
---

### Netzkunde 3 (Begriffe)
![img20r](gfx/roboterlehrer.png)
* **pruned**: Netz, aus dem nicht benötigte Teile (Gewichtungen, die sich nicht auf die Ausgabe auswirken) entfernt wurden. Führt zu kleineren Modell-Dateien und zu weniger VRAM-Verbrauch.

* **EMA** (exponential moving average / exponentieller gleitender Durchschnitt): Netz mit einem Zwischenstand, der (anders als andere kleinere Netze) für die Wiederaufnahme des Trainings gedacht ist.

* **Textual Inversion Style Embedding**: Textuelle Inversion ist eine Technik zur Erfassung neuer Konzepte aus einer kleinen Anzahl von Beispielbildern, die später zur Steuerung von Text-Bild-Pipelines verwendet werden können. Dies geschieht durch das Lernen neuer "Wörter" im Einbettungsraum des Text-Encoders der Pipeline. Diese speziellen Wörter können dann in Textaufforderungen verwendet werden, um eine sehr feinkörnige Steuerung der resultierenden Bilder zu erreichen.

* **Hypernetwork**: Dient, ähnlich wie die Textuelle Inversion, zum Beeinflussen von Bildgeneratoren.

* **LoRA**: Kleinere und schnellere Netze.
---

### Wo bekomme ich Bildgenerierungsnetze her?
![img33r](gfx/roboterlehrer.png)
Im Internet gibt es viele Quellen für **Stable-Diffusion**-Netze (und Erweiterungen):

* Vom *"Hersteller"*: https://huggingface.co/models?other=stable-diffusion

* **Große** Community-Sammlung: https://civitai.com

* ...

Diese Netze können **sehr speziell** und nur für **einen Zweck** (z.B. Panadas einfügen, Analogfotografien oder Mikroskopbilder) oder auf ein **breites Spektrum** trainiert sein.
---

### Prompts: Was darf es sein?

![img33r](gfx/was-darf-es-sein.png)

**Prompts** sind englischsprachige Textbeschreibungen der Bestandteile, die im Bild vorkommen sollen bzw. die nicht nicht enthalten sein sollen.

Beispiele für **positive Prompts**:

*photo, hyper realistic 8k, ultra-detailed, ultra-realistic, ...*

Beispiele für **negative Prompts**:

*disfigured, ugly, bad, two heads, ...*

Weitere Beispiele unter https://huggingface.co/datasets/Gustavosta/Stable-Diffusion-Prompts

Einzelne Promptbestandteile können mit **Prioritäten** (z.B. ***(Penguin:1.5)***) ausgestattet werden, um Wahrscheinlichkeit, daß sich ein Motiv im Bild wiederfindet, zu erhöhen.
---

### Ausblick: Was geht noch?
![img33r](gfx/Ausblick.png)

Auch mit moderaten Hardwareanforderungen sind weiter Anpassungen bei der Bildausgabe möglich:

* **Inpainting**: Bildteile durch Generiertes ersetzen.

* **Netze mischen**: Bis zu drei Netze zu einem neuen kombinieren, um deren Eigenschaften zu kombinieren.

* **Hypenetwork/Textual Inversion**: Eigenes kleines Netz erstellen, um ein Motive in vorhandene größere Netze einzublenden.
---

### Wenig VRAM?

Was tun, wenn man wenig Grafikspeicher hat?

* Starten mit wenig Grafikspeicher
```bash
export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128; ./webui.sh
```
* **Auflösung** reduzieren (1024x768 bei 6GB VRAM (NVIDIA))
* Weniger Stichworte im **Prompt**
* Kein **Hochskalieren**
* Kleinere **Batch-Größe**
* Anderes (kleineres) **Basisnetz**
* Keine **Hypernetworks** oder **Textual Inversions** verwenden
* **Training** von Textual Inversions + Hypernetworks
	* **Auflösung** der Eingabebilder auf 384x384 reduzieren
---

### Mehr KI-Videos von/mit mir

![img33r](gfx/kino.png)
<u>11.4.2023 Jean und Hauke Show</u></br>
***KI auf dem eigenen Linux Rechner - Wir probieren es aus!***</br>
⇒ https://www.youtube.com/watch?v=PGT9uy64ZLU

<u>08.05.2023 Nicht der Weisheit letzter Schluß</u></br>
***Künstliche Intelligenz - Zwischen Faszination und Ernüchterung***</br>
⇒ https://goos-habermann.de/weisheit-10117-Kuenstliche-Intelligenz---Zwischen-Faszination-und-Ernuechterung

<u>13.06.2023 Nicht der Weisheit letzter Schluß</u></br>
***Kochen mit KI: Was soll da schon schiefgehen?***</br>
⇒ https://goos-habermann.de/weisheit-10124-Kochen-mit-KI-Was-soll-da-schon-schiefgehen

---

class: center, middle
### Weiterhin viel Spaẞ bei den Kieler Open Source und Linux Tagen und abonniert meinen Kanal ;-)

![img33r](gfx/qrcode-goos-habermann.de.png)
Mehr zur "Künstlicher Intelligenz" und weiteren Themen zu **beruflichen** und **privaten Projekten** aus dem Linux- und OpenSource-Bereich gibt es in meinem YouTube/PeerTube-Kanal.

![img50](../../gfx/ndwls-logo.png)</br>

Alle Informationen unter ⇒ <a href="https://weisheit.goos-habermann.de">weisheit.goos-habermann.de</a> ⇐