Zusammenarbeiten mit KI-Tools: Making of Prof. Dr. Mechatrons Rätsel

class: center, middle

![img33r](Meachatron-Logo2_sauber+text-500x1000.webp)
# Zusammenarbeiten mit KI-Tools
### Making of Prof. Dr. Mechatrons Rätsel
### Hauke Goos-Habermann
#### https://weisheit.goos-habermann.de
---

### Über mich

- Entwickler des <a href="https://m23.sourceforge.io">Softwareverteilungssystems m23</a>

- Organisator der <a href="https://kielux.de">Kieler Open Source und Linux Tage</a>

- <a href="https://goos-habermann.de/">Dienstleister zu m23, Linux und Freier Software</a>

- Softwareentwicklung (PHP, BASH, C/C++, JS, Python und was sonst so gebraucht wird...)
  - Administration
  - Schulungen
  - Support
  - Beratung
  - quasi **alles**, *was mit Linux zu tun hat*

- Wöchentlicher Livestream *"Jean und Hauke Show"* auf https://www.youtube.com/c/LinuxGuides

- *"Nicht der Weisheit letzter Schluß"* mit **beruflichen** oder **privaten Projekten** auf <a href="https://tube.tchncs.de/c/ndwls">tube.tchncs.de/c/ndwls</a> und <a href="https://youtube.com/@nichtderweisheit">youtube.com/@nichtderweisheit</a>

- Hat ein Escape-Room-Spiel für die Kieler Open Source und Linux Tage entwickelt
---

### Das Szenario

![img33r](Messezeitung.webp)

In der **Hauptstadt Kiel** findet am **20.9.1924** die **erste Welt-Robotermesse** statt, die auf Initiative des **Deutschen Vereins für Robotik und Automation** organisiert wird.

Über 200 Aussteller und geniale Tüftler aus aller Welt präsentieren ihre neuesten Creationen und versetzen das Publikum in Staunen.

***Prof. Dr. Mechatron lobt Preis für findige Forscher aus!***

*"Ich bin bereit, einen Preis von 1000 Reichsmark für denjenigen zu spenden, der in den nächsten zwei Jahren bedeutende Fortschritte in der Erforschung neuer Robotertechnologien erzielen kann.*

*Um meine kostbare Zeit nicht mit unfähigen Kandidaten verschwenden zu müssen, habe ich mir eine Reihe von Rätseln ausgedacht."*
---

### Was ist dabei herausgekommen?
![img50r](DZDT.webp)

Im Laufe der Entwicklung habe ich viel mit **Stable Diffusion**, **Prompts**, **Modellen** und **LORA**s herumexperimentiert, um einen für die (fiktive) Zeit passenden konsistenten Stil zu finden.

Ergebnis sind:

* 1 Kieler Messezeitung
* 3 Magazine "Der Zukunft Der Technik"
* 2 Bilder für Fotorahmen
* 1 Fenster + Rahmen
* n Roboter-Rätselkarten
* 1 Blatt, um Lösungen einzutragen
* 1 Rätsellösungskiste
* Roboternamen
* ...
---

### Zutaten
![img33r](Roboter-01.webp)

* **<a href="https://github.com/LostRuins/koboldcpp">KoboldCPP</a>**: Textideen
	* **<a href="https://huggingface.co/">Modell</a>**: Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf
* **<a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui">Stable Diffusion WebUI</a>**: Bildgenerierung
	* **<a href="https://civitai.com">Modelle</a>**: **realvisxlV40_v40Bakedvae**, betterThanWords_v30 und cyberrealisticXL_v22
	* **<a href="https://civitai.com">LORAs</a>**: add-detail-xl, ArsMJStyle_-_Vintage_Future, Vintage style - XL 1930s SDXL v1.0
* **<a href="https://www.iopaint.com/">IOPaint</a>**: Bildelemente entfernen
* **<a href="https://chainner.app">chaiNNer</a>**: Hochskalieren
	* **<a href="https://openmodeldb.info">Modell</a>**: 4xNomos8k_span_otf_medium
* **<a href="https://fonts.google.com">Fonts</a>**: UnifrakturCook, UnifrakturMaguntia und Variete
* **<a href="https://www.gimp.org/">GIMP</a>**: Bildbearbeitung, Bildfilter
* **<a href="https://inkscape.org/de">Inkscape</a>**: Seitenkomposition
---

### KoboldCPP: Parameter

KoboldCPP führt Modelle zur **Textgeneration** aus und für **fiktive Szenarien** können die ansonsten unerwünschten **Halluzinationen** durchaus **interessant** sein und **Ideen** für das Schreiben **liefern** ;-)

![img33l](KoboldCPP-UI-Parameter.png)

**Startparameter:**
```bash
./koboldcpp-linux-x64 --usecublas --smartcontext\
 --gpulayers 100 --contextsize 8192\
 --model Meta-Llama-3.1-8B-Instruct-Q5_K_M.gguf
```

**Grundeinstellungen:**

*Settings* ⇒ *Max Ctx. Tokens*: Max und *Amount to Gen.*: Max

**Neue Texte generieren:**

* *New Session*
* Prompt in das *Enter text here*-Feld kopieren
* *Submit* anklicken
---

### KoboldCPP: Beispiel

**Eingabe:** *schreibe eine artikel über die erste Welt-Robotermesse, die auf Initiative des Deutschen Vereins für Robotik und Automation in kiel im jahr 1925 organisiert wird. verwende die sprache der 1920er jahre*

**Ausgabe (z.B.):** *WELTMEILE DER ROBOTER*

*KIEL, 15. März 1925*
*In wenigen Wochen findet in Kiel, dem "Tor zur Ostsee", ein Ereignis statt, das die Wissenschaftswelt in Erstaunen versetzen wird: Die erste Welt-Roboter-Messe.*</br>
*Unter der Schirmherrschaft des Deutschen Vereins für Robotik und Automation werden am 20. September 1925 in den Kieler Messehallen die Pioniere der Robotertechnologie aus aller Welt zusammenkommen.*</br>
*Die Idee eines Robotertages war bereits vor Jahren geboren worden, doch hat die Organisation dieser Großveranstaltung mehr Zeit in Anspruch genommen, als vorab geplant.*</br>
*Doch lassen wir zu Beginn den deutschen Wissenschaftler Dr. Fritz von Oppel, Sohn des berühmten Automobilpioniers zu worte kommen, der einer der Hauptorganisatoren ist und hat es sich zur Aufgabe gemacht, die neuesten Entwicklungen in der Robotertechnologie zu präsentieren: "Der Mensch wird nicht mehr alleine an den Werkbänken arbeiten, sondern wird in Zukunft von intelligenten Robotern unterstützt. Insbesondere schwere und gefährliche köperliche Arbeit wird in Zukunft der Vergangenheit angehören".*
---

### Stable Diffusion: Post-Sortiermaschine

Über **LORAs** kann die **Bildgenerierung beeinflußt** werden, um so z.B. einen bestimmten **Bildstil** oder ansonsten nicht generierbare Objekte zu erzeugen.

![img50r](KI-Post-Sortiermaschine.webp)

**Parameter:**
```
masterpiece, best quality colour magazine
photo from 1930s, <lora:add-detail-xl:1>
<lora:ArsMJStyle_-_Vintage_Future:0.7>
ArsMJStyle futuristic robot sorting post
mails and envelopes in 1930s, post office
,Art Deco-inspired exhibition centre
Berlin <lora:Vintage style - XL 1930s
SDXL v1.0:1.2>

Steps: 30,
Sampler: DPM++ 2M,
Schedule type: Karras,
CFG scale: 7,
Seed: 823065645,
Face restoration: CodeFormer,
Size: 1024x768,
Model hash: 912c9dc74f, Model: realvisxlV40_v40Bakedvae, Lora hashes: "add-detail-xl:
9c783c8ce46c, ArsMJStyle_-_Vintage_Future: 1e501e447fa9, Vintage style - XL 1930s
SDXL v1.0: 7ff8f1204a1d", Version: v1.10.1
```
---

### Stable Diffusion: Roboter

Die **SD-interne Skalierung** produziert **bessere Ausgaben** als eine nachträgliche (KI-)Skalierung, **benötigt** aber auch deutlich **mehr GPU-RAM**.

![img33r](KI-Roboter.webp)

**Parameter:**
```
art deco, standing roboter, front view
Steps: 25,
Sampler: DPM++ 2M,
Schedule type: Karras,
CFG scale: 7,
Seed: 2289863842,
Size: 512x768,
Model hash: 912c9dc74f,
Model: realvisxlV40_v40Bakedvae,
Denoising strength: 0.7,
Clip skip: 2,
Hires upscale: 3,
Hires upscaler: Latent,
Version: v1.10.1
```
---

### IOPaint

Mit IOPaint können **Bildteile entfernt** werden, indem die Bereiche mit neu generierten Inhalten "übermalt" werden.

![img45l](IOPaint-vor.webp)
![img45l](IOPaint-nach.webp)
---

### GIMP: Zeitungsdruck

![img50r](gimp-zeitungsdruck.png)

* **S/W** für Zeitungen: Bild ⇒ Modus ⇒ Graustufen

* Zeitungs**raster**: Filter ⇒ Verzerren ⇒ Zeitungsdruck...

* Damit das Papier **durchscheint**: Farben ⇒ Farbe nach Alpha ...
---

### GIMP: Zeitungsdruck: vorher, nachher

![img45l](gimp-zeitungsdruck-vor.webp)
![img45r](gimp-zeitungsdruck-nach.webp)

---

### GIMP: Alter Film

Kaschiert Bildgenerator- und KI-Skalierungs-Artefakte und fügt Filmkörnung hinzu:

Filter ⇒ Rauschen ⇒ Add film grain

![img45l](gimp-Addfilmgrain-vor.png)
![img45r](gimp-Addfilmgrain-nach.png)
---

### Inkscape

![img45r](Kinderseite.webp)

In Inkscape habe ich die vorbereiteten **Elemente** (z.B. Bilder, altes Papier, Kaffeeflecken etc.) **zusammengefügt**, mit dem **Text** versehen und anschließend für den Druck als **PDF exportiert**.

---

### Mehr

* KoboldCPP
	* https://goos-habermann.de/weisheit-10153-Meine-KI-Hightlights-2023-Praktische-KI-Anwendungen-auf-dem-eigenen-Rechner
	* https://goos-habermann.de/weisheit-10170-Programmieren-lassen-Spiele-mit-KoboldCpp

* IOPaint
	* https://goos-habermann.de/weisheit-10162-Schwuppdiwupp-und-schon-ist-es-weg---Bildretusche-mit-dem-KI-Tool-IOPaint

* Inkscape
	* Grundlagen: https://vektorrascheln.de/posts/2015/Dec/inkscape-fuer-einsteiger-teil-ii-praxis/
	* Text an Formen anpassen: https://vektorrascheln.de/posts/2016/Apr/inkscape-entdecker-text1
	* Text an Pfad: https://vektorrascheln.de/posts/2016/May/inkscape-entdecker-text4/
---

### Bonus
```bash
# Modelle in .txt-Dateien finden
grep -r Model . 2> /dev/null | grep '.txt' | sed -e 's/.*Model: //' -e 's/,.*//' | sort -u
```

---

class: center, middle
### Informationen zu mir und meinen Dienstleistungen, m23, ...
### https://goos-habermann.de