class: center, middle  # Summary-llm ###Mit KI Zusammenfassen, Umschreiben, Taggen, etc. ### Hauke Goos-Habermann #### https://goos-habermann.de --- ### Über mich - Entwickler des <a href="https://m23.sourceforge.io">Softwareverteilungssystems m23</a> - Organisator der <a href="https://kielux.de">Kieler Open Source und Linux Tage</a> - <a href="https://goos-habermann.de/">Dienstleister zu m23, Linux und Freier Software</a> - Softwareentwicklung (PHP, BASH, C/C++, JS, Python und was sonst so gebraucht wird...) - Administration - Schulungen - Support - Beratung - quasi **alles**, *was mit Linux zu tun hat* - Wöchentlicher Livestream *"Jean und Hauke Show"* auf https://www.youtube.com/c/LinuxGuides - *"Nicht der Weisheit letzter Schluß"* mit **beruflichen** oder **privaten Projekten** auf <a href="https://tube.tchncs.de/c/ndwls">tube.tchncs.de/c/ndwls</a> und <a href="https://youtube.com/@nichtderweisheit">youtube.com/@nichtderweisheit</a> - Läßt auch mal Lesen --- ### Summary-llm-qwen-2.5-32b?  <a href="https://huggingface.co/mradermacher/Summary-llm-qwen-2.5-32b-GGUF">Summary-llm-qwen-2.5-32b</a> ist ein großes **Sprachmodell** mit 32 Milliarden Parametern, das auf das **Verarbeiten** und **Umarbeiten** (z.B. Zusammenfassen, Erstellen von Videobeschreibungen, Tags, etc.) von **großen Textmengen** trainiert wurde. Lokal lasse ich das **18GB** große ***quantisierte GGUF***-Modell <a href="https://huggingface.co/mradermacher/Summary-llm-qwen-2.5-32b-GGUF/resolve/main/Summary-llm-qwen-2.5-32b.Q4_K_S.gguf">Summary-llm-qwen-2.5-32b.Q4_K_S.gguf</a> unter <a href="https://github.com/lostruins/koboldcpp">KoboldCpp</a> so laufen: ```bash ./koboldcpp-linux-x64 --usecublas\ --smartcontext --gpulayers 16\ --model Summary-llm-qwen-2.5-32b.Q4_K_S.gguf --contextsize 16384 ``` Mehr zu KoboldCpp z.B. im Video <a href="https://goos-habermann.de/weisheit-10170-Programmieren-lassen-Spiele-mit-KoboldCpp">Programmieren lassen: "Spiele" mit KoboldCpp</a> --- ### koboldCPP-Prompt+Text.php  Damit ich einfach mehrere Textdateien (z.B. Transkripte von Videos) verarbeiten lassen kann, habe ich <a href="koboldCPP-Prompt+Text.php.txt">koboldCPP-Prompt+Text.php</a> (Nach dem Download .txt entfernen) geschrieben, das Ihr folgendermaßen (nach <code>chmod +x *.php</code>) aufruft: ```bash ./koboldCPP-Prompt+Text.php\ [Promptdatei] [Textdatei]\ [optional: Zusatz für Ausgabedatei] ``` * **Promptdatei:** Ist eine Textdatei, die dem LLM sagt, was es zu tun hat * **Textdatei:** Die Eingabetextdatei * **Zusatz:** Ein Zusatztext, der vor der Dateiendung des Eingabedateinamens eingefügt wird, um den Ausgabedateinamen zu bilden. (z.B. test.txt ⇒ test-KI-Ergebnis.txt) Unter Debian, Ubuntu und Co. benötigt Ihr die **Pakete**: php-cli php-curl --- ### Beispiel: Zusammenfassung  **Prompt:** *"schreibe nicht, dass es eine zusammenfassung ist. schreibe in neutralem tonfall. halte dich an die fakten aus dem text. verwende namen und bezeichnungen aus dem text. erfinde nichts hinzu, interpretiere nicht. entnehme die wichtigen punkte der folgenden video-transkription und schreibe daraus einen deutsche kurze zusammenfassung"* * <a href="Zusammenfassung-Ladybird/Alternativer_Browser-Ladybird.txt">Textdatei</a> * <a href="Zusammenfassung-Ladybird/Alternativer_Browser-Ladybird-zusammenfassung.txt">Ergebnis</a> --- ### Beispiel: YT-Beschreibung  **Prompt:** *"schreibe eine kurze deutsche youtube-video-beschreibung in ganzen sätzen aus der ich-perspektive. sprich die zuschauer mit "Ihr" und "Euch" direkt an und mache sie neugierig auf das video. entnehme die wichtigen informationen der folgenden video-transskription* * <a href="YT-Beschreibung-GlusterFS/Eingabe.txt">Textdatei</a> * <a href="YT-Beschreibung-GlusterFS/Ausgabe.txt">Ergebnis</a> --- ### Beispiel: Tags  **Prompt:** *"entnehme die wichtigen tags der folgenden video-transskription"* * <a href="Tags-Whisper3/Eingabe.txt">Textdatei</a> * <a href="Tags-Whisper3/Ausgabe.txt">Ergebnis</a> --- class: center, middle ### Informationen zu mir und meinen Dienstleistungen, m23, ... ### https://goos-habermann.de