Schwuppdiwupp und schon ist es weg - Bildretusche mit dem KI-Tool IOPaint

class: center, middle

![img33r](loesch.webp)
## Schwuppdiwupp und schon ist es weg
### Bildretusche mit dem</br>KI-Tool IOPaint
### Hauke Goos-Habermann
#### https://weisheit.goos-habermann.de
---

### Über mich

- Entwickler des <a href="https://m23.sourceforge.io">Softwareverteilungssystems m23</a>

- Organisator der <a href="https://kielux.de">Kieler Open Source und Linux Tage</a>

- <a href="https://goos-habermann.de/">Dienstleister zu m23, Linux und Freier Software</a>

- Softwareentwicklung (PHP, BASH, C/C++, JS, Python und was sonst so gebraucht wird...)
  - Administration
  - Schulungen
  - Support
  - Beratung
  - quasi **alles**, *was mit Linux zu tun hat*

- Wöchentlicher Livestream *"Jean und Hauke Show"* auf https://www.youtube.com/c/LinuxGuides

- *"Nicht der Weisheit letzter Schluß"* mit **beruflichen** oder **privaten Projekten** auf <a href="https://tube.tchncs.de/c/ndwls">tube.tchncs.de/c/ndwls</a> und <a href="https://youtube.com/@nichtderweisheit">youtube.com/@nichtderweisheit</a>

- Probiert immer wieder gern neue OpenSource-KI-Tools aus
---

### Animation erstellen und optimieren

![img33l](loesch.webp)

Neben dem **Gif-Format** bietet auch **Webp** die Möglichkeit mehrere Bilder zu einer **Animation** zusammenzufügen.

```bash
# Webp erstellen
convert -delay 100 -coalesce\
 -layers OptimizeFrame\
 *.png -loop 0 anim.webp
```

* **-coalesce**: Stellt sicher, daß die Einzelbilder alle dieselbe Größe haben, komplett und nicht verschoben sind.
* **-layers OptimizeFrame**: Versucht nur die Unterschiede zwischen den Einzelbildern zu speichern
---

### IOPaint?

![img33l](IOPaint.webp)

IOPaint ist eine Oberfläche für **KI-Bildbearbeitung**, die durch **Modelle erweitert** werden kann.

Die Modelle gliedern sich auf in die Funktionen:

* **Löschen**: Bildteile **entfernen**

* **Inpainting**: Bildteile durch andere **ersetzen**

* **Outpainting**: Neue Bildteile außerhalb des Ursprungsbildes **generieren**

Mehr Informationen: https://www.iopaint.com
* Plugins: https://www.iopaint.com/plugins
* Modells: https://www.iopaint.com/models

---

### Installation

IOPaint läßt sich über den **Python-Paketmanager** installieren und je nachdem, ob Ihr eine **NVIDIA**- oder eine **AMD**-Grafikkarte habt, kommen noch Pakete für die **beschleunigte Berechnung** hinzu.

Ohne geht es wohl auch, ist dann aber deutlich langsamer...

```bash
# Projektverzeichnis anlegen
mkdir IOPaint
cd IOPaint

# Python-Umgebung erstellen und aktivieren
python3 -m venv venv
source venv/bin/activate

# Für NVIDIA-Nutzer
pip3 install torch==2.1.2 torchvision==0.16.2 --index-url\
 https://download.pytorch.org/whl/cu118
# Für AMD-Nutzer
pip3 install torch==2.1.2 torchvision==0.16.2 --index-url\
 https://download.pytorch.org/whl/rocm5.6

# IOPaint installieren
pip3 install iopaint
```
---

### Modelle herunterladen

Die Modelle können einzeln über ***iopaint*** heruntergeladen werden.

Ohne Angabe eines Modell-Verzeichnisses werden diese unter ***~.cache/torch*** abgelegt.

```bash
# Modell-Verzeichnis anlegen
mkdir models

# Alle Modell-Namen durchgehen
for model in lama mat migan ldm zits fcf manga\
 Sanster/PowerPaint-V1-stable-diffusion-inpainting\
 Sanster/AnyText timbrooks/instruct-pix2pix Fantasy-Studio/Paint-by-Example\
 kandinsky-community/kandinsky-2-2-decoder-inpaint
do
	# Modell ins Verzeichnis herunterladen
	iopaint download --model-dir=models --model=$model
done
```

Alle zusammen belegen aktuell ca. 21 GB :-)
---

### Starten

Je nach vorhandener **Hardware** startet Ihr IOPaint ein **bißchen anders**:

```bash
# NVIDIA
iopaint start --model-dir=models --device=cuda --port=8080

# AMD?
iopaint start --model-dir=models --device=mps --port=8080

# CPU
iopaint start --model-dir=models --device=cpu --port=8080

# Startskript schreiben
echo "#!/bin/bash
. venv/bin/activate
iopaint start --model-dir=models --device=cuda --port=8080" > start
chmod +x start

# Mehr Optionen
iopaint start --help
```

Wenn alles läuft, öffnet Ihr die **Oberfläche** im **Webbrowser**: http://127.0.0.1:8080
---

### Bonus: Hintergrund entfernen

Mit dem Plugin **<a href="https://www.iopaint.com/plugins/rembg">Remove Background</a>** wird automatisch der Hintergrund erkannt und

```bash
# Python-Umgebung aktivieren
. venv/bin/activate

# Plugin installieren
pip3 install rembg

# Python-Umgebung verlassen
deactivate
```

In *start* den Parameter ***--enable-remove-bg*** hinzufügen.
---

class: center, middle
### Informationen zu mir und meinen Dienstleistungen, m23, ...
### https://goos-habermann.de