KI-Modell Gemma 4 angetestet: Was kann es, was nicht?

class: center, middle

![img33r](Gemma-Tux01.webp)
## KI-Modell Gemma 4 angetestet
### Was kann es, was nicht?
### Hauke Goos-Habermann
#### https://weisheit.goos-habermann.de
---

### Über mich

- Entwickler des <a href="https://m23.sourceforge.io">Softwareverteilungssystems m23</a>

- Organisator der <a href="https://kielux.de">Kieler Open Source und Linux Tage</a>

- <a href="https://goos-habermann.de/">Dienstleister zu m23, Linux und Freier Software</a>

- Softwareentwicklung (PHP, BASH, C/C++, JS, Python und was sonst so gebraucht wird...)
  - Administration
  - Schulungen
  - Support
  - Beratung
  - quasi **alles**, *was mit Linux zu tun hat*

- Wöchentlicher Livestream *"Jean und Hauke Show"* auf https://www.youtube.com/c/LinuxGuides

- *"Nicht der Weisheit letzter Schluß"* mit **beruflichen** oder **privaten Projekten** auf <a href="https://tube.tchncs.de/c/ndwls">tube.tchncs.de/c/ndwls</a> und <a href="https://youtube.com/@nichtderweisheit">youtube.com/@nichtderweisheit</a>

- Probiert immer mal wieder neue LLMs
---

### Was ist Gemma 4

![img33r](Gemma-Tux02.webp)

<a href="https://ai.google.dev/gemma/docs/core?hl=de">Gemma 4</a> ist ein sehr effizientes **multimodales** (Ton, Bild, Text) künstliches neuronales Netzwerk, das **<a href="https://huggingface.co/collections/ggml-org/gemma-4">klein</a>** (5GB + 534MB), aber dennoch **leistungsfähig** ist und unter der <a href="https://ai.google.dev/gemma/apache_2">Apache License 2.0</a> steht.

Fähigkeiten und Eigenschaften

* Texte zusammenfassen
* Fragen zu Texten beantworten
* Bilder interpretieren
* Tondateien auswerten
* Programmieren
* Übersetzen
* Ein-/abschaltbarer <a href="https://ai.google.dev/gemma/docs/capabilities/thinking?hl=de">Denkmodus</a>
* Mixture-of-Experts: Je nach Aufgabe werden nur spezialisierte Teile des Netzes aktiviert.
* Parametergeber für <a href="https://github.com/google-gemma/cookbook/blob/main/docs/capabilities/text/function-calling-gemma4.ipynb">Funktionsaufrufe</a>
* Kontextfenster: 131072 Token
---

### Woher nehmen?

![img20r](Gemma-Tux09.webp)

Lokal ausführen könnt Ihr es mit <a href="https://github.com/ggml-org/llama.cpp">llama.cpp</a> so:

```bash
# Herunterladen und starten
llama-server -hf ggml-org/gemma-4-E4B-it-GGUF

# Herunterladen
wget https://huggingface.co/ggml-org/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-Q4_K_M.gguf
wget https://huggingface.co/ggml-org/gemma-4-E4B-it-GGUF/resolve/main/mmproj-gemma-4-E4B-it-Q8_0.gguf

# Starten
./llama-server -m gemma-4-E4B-it-Q4_K_M.gguf --mmproj mmproj-gemma-4-E4B-it-Q8_0.gguf

# Beenden mit Strg + C, oder wenn es nicht geht mit
killall -9 llama-server

```

Anschließend in einem Browser http://127.0.0.1:8080 öffnen.
---

### Selbstdarstellung Gemma 4: Was ist gut?

![img20r](Gemma-Tux03.webp)

**Vor** dem **Verstehen** von **komplexen Anfragen** kann Gemma 4 eine breite Palette von Aufgaben bewältigen, von der Textzusammenfassung bis zur Codeerstellung.

**Stärken (Das Gute):**
* **Textverständnis und Generierung:** Das Modell kann große Mengen an Text verarbeiten, Zusammenfassungen erstellen, Artikel schreiben und dialogische Antworten liefern.
* **Logisches Denken und Programmierung:** Es kann Code in verschiedenen Sprachen generieren, Fehler in bestehendem Code erkennen und komplexe logische Probleme lösen.
* **Open-Weights-Natur:** Als Open-Weights-Modell kann es von Entwicklern zugänglich gemacht und lokal angepasst werden.
* **Multimodalität:** Gemma 4 kann Text und Bilder als Input verarbeiten.
---

### Selbstdarstellung: und was ist nicht so?

![img20r](Gemma-Tux04.webp)

**Allerdings** gibt es klare **Grenzen**, die Beachtung finden müssen:
* **Wissens-Cutoff:** Das Wissen von Gemma 4 ist auf einen bestimmten Zeitpunkt (Januar 2025) begrenzt und enthält keine Informationen über Ereignisse danach.
* **Halluzination:** Das Modell kann Informationen erfinden, die plausibel klingen, aber sachlich falsch sind.
* **Kein real-time Wissen:** Es hat keinen Zugriff auf das Internet oder Echtzeitdaten, es sei denn, es werden spezifische Tools bereitgestellt.
* **Kein physischliches Handeln:** Die Ausgabe ist rein textbasiert; das Modell kann keine physischen Aktionen ausführen.
---

### 10 Interessante Fakten über Debian

![img20r](Gemma-Tux05.webp)

1\. **Der Geist der Freiheit (DFSG):** Debian ist tief in der Philosophie der freien und quelloffenen Software (FOSS) verwurzelt. Es hält sich strikt an die Debian Free Software Guidelines (DFSG), was sicherstellt, dass die Freiheit der Benutzer und Entwickler an erster Stelle steht.

2\. **Das Netzwerk der Freiwilligen:** Debian ist ein Paradebeispiel für ein dezentral organisiertes, rein ehrenamtliches Projekt. Es wird von Tausenden von Entwicklern, Übersetzern und Betreuern weltweit gewartet, die ihre Zeit und ihr Wissen teilen, ohne dafür bezahlt zu werden.

3\. **Ein Fundament der Linux-Welt:** Debian ist bekannt dafür, eine der stabilsten und am weitesten verbreiteten Linux-Basis zu sein. Viele andere große Distributionen (wie Ubuntu oder Pop!_OS) bauen ihre Stabilität und ihren Umfang teilweise auf Debian-Komponenten auf.

4\. **Das Paketmanagement-Meisterstück:** Das `.deb` Paketformat und das Paketmanagement-System (APT) sind legendär. Sie sind unglaublich robust und ermöglichen eine präzise Abhängigkeitsverwaltung, was ein entscheidender Faktor für die Stabilität des gesamten Systems ist.
---

### 10 Interessante Fakten über Debian

![img20r](Gemma-Tux06.webp)

5\. **Strukturierte Releases:** Debian nutzt ein klares, dreistufiges Release-System: `Stable` (die bewährteste, stabilste Version), `Testing` (die nächste Version, die intensiv getestet wird) und `Unstable` (die Entwicklungs-Kante, wo die neuesten Pakete landen).

6\. **Die Macht der Community:** Die Entscheidung über die Entwicklung des Betriebssystems erfolgt nicht zentral, sondern durch einen Konsens- und Governance-Prozess, der von den sogenannten "Debian Developers" geführt wird. Dies gewährleistet Transparenz und demokratische Steuerung.

7\. **Unübertroffene Dokumentation:** Die Dokumentationsqualität von Debian ist weltweit führend. Das Projekt pflegt seit Jahrzehnten eine immense Menge an detailliertem Wissen und Handbüchern, die für Anfänger und Experten gleichermaßen hilfreich sind.

8\. **Der Name ist kein Zufall:** Der Name "Debian" ist ein Akronym, das ursprünglich für **Deb**ien und **ian** (von Ian) steht – ein Hommage an das britische Konzept der Demokratie und des Gemeinwesens.
---

### 10 Interessante Fakten über Debian

![img20r](Gemma-Tux07.webp)

9\. **Architektur-Flexibilität:** Debian unterstützt eine riesige Vielfalt an Architekturen (x86, ARM, MIPS etc.). Dies macht es zu einem extrem anpassungsfähigen Betriebssystem, das von kleinen IoT-Geräten bis zu großen Server-Farmen eingesetzt werden kann.

10\. **Der "Debian Way" (Die Philosophie):** Über die technischen Aspekte hinaus ist der "Debian Way" ein kultureller Aspekt: Es steht für Kooperation, Höflichkeit, Dokumentation und das Streben nach Konsens über technische Unterschiede hinweg.
---

### Tondatei

![img33r](Gemma-Tux08.webp)

50-minütiges Hörspiel <a href="https://www.hoerspielprojekt.de/music/t-ri-o-1-die-fahrraddiebe/">T.RI.O (1) – Die Fahrraddiebe</a> zusammenfassen lassen.

Prompt: Gebe die komplette Handlung des Hörspiels wieder

Ausgabe: <a href="Die_Fahrraddiebe-Zusammenfassung.txt">Die_Fahrraddiebe-Zusammenfassung.txt</a>
---

### Was ist das?

![img33r](Gemma-Tux09.webp)

Mit **Prompts** wie ***"Was ist das?"*** oder ***"Was steht in den Sprechblasen?"*** (z.B. <a href="https://www.davidrevoy.com/article1139/quest-item-management">Pepper & Carrort: Quest item management</a>) und einem **Eingabebild** ergeben sich teilweise erstaunliche und nahe an der Wirklichkeit seiende Antworten.

Oft sind sie genau genug, damit man sich vorstellen kann, was auf dem Bild ist, auch wenn es **im Detail nicht ganz stimmt**.
---

### Frage aus der IT-Praxis

![img33r](Gemma-Tux10.webp)

Prompt *"Schreibe PHP-Code, damit eine Apache-PHP-Anwendung, die über den Reverse-Proxy Caddy weitergeleitet wird, die IP-Adresse des anfragenden Browsers anzeigt"*
---

### Programmieren nach Dokumentation

![img33r](Gemma-Tux11.webp)

**1. Prompt:** <i>"Schreibe ein PHP-Skript, das per curl-REST llama.cpp-API eine Textdatei per Prompt bearbeitet.

Hier ist Dokumentation dazu:

[Dokumentationstext per **Kopieren** und **Einfügen** aus https://mintlify.wiki/ggml-org/llama.cpp/api/rest/overview und
https://mintlify.wiki/ggml-org/llama.cpp/api/rest/chat-completions übernommen]"</i>

⇒ <a href="REST-API-1.php.txt">**1. Ergebnis**</a> (.txt entfernen, wenn Ihr den Code ausführen wollt)

**Nachfolgeprompt:** *"Das Modell ist bereits geladen. Entferne das Laden des Modells aus dem Code"*

⇒ <a href="REST-API-2.php.txt">**2. Ergebnis**</a>
---

### Video-Beschreibung, -Titel & -Tags

![img33r](Gemma-Tux12.webp)

**Beschreibungs-Prompt:** *"schreibe eine kurze deutsche youtube-video-beschreibung in ganzen sätzen aus der ich-perspektive. sprich die zuschauer mit "Ihr" und "Euch" direkt an und mache sie neugierig auf das video. entnehme die wichtigen informationen der folgenden video-transskription"*

**Titel-Prompt:** *"mache vorschläge für titel eines youtube-videos. entnehme die wichtigen informationen der folgenden video-transskription"*

**Tags-Prompt:** *"entnehme die wichtigen tags der folgenden video-transskription"*

**Eingabetext:** <a href="Rechner_zu_kvm-lauter-transkript.txt">Rechner_zu_kvm-lauter-transkript.txt</a>
---

class: center, middle
### Informationen zu mir und meinen Dienstleistungen, m23, ...
### https://goos-habermann.de