KI-Alltag: Bye Windows, hallo Multi-KI!

-

Der Umstieg von Windows 11 auf Linux Mint war für mich ein Befreiungsschlag. Kein TPM-Drama, keine Update-Zwangspausen – und das System startet in Sekunden. Wobei: Aktuell ist das egal, denn mein Laptop läuft im Dauerbetrieb für Open-WebUI.

Die Installation des Betriebssystems war stressfrei. Nettes Detail: Mein Netzwerkdrucker wurde automatisch erkannt und eingerichtet – ohne Treiberjagd, ohne Fluchen. Genau so wünscht man sich das!

Aber zurück zum KI-Betrieb:
Direkt nach der Installation kamen zwei Programme drauf:

Ollama

OpenWeb-UI: docker pull ghcr.io/open-webui/open-webui:main




Beliebte Posts aus diesem Blog

KI-Alltag - LLMs lokal hosten und nutzen

-
Bild
In weniger als 30 Minuten zum eigenen GPT: Lokales LLM mit Web-Interface Willkommen zurück! Seit Llama3.1 verfügbar ist, habe ich erst verstanden, dass man viele LLMs legal und kostenlos herunter laden kann. Was mich lange abgeschreckt hat, war, dass man sich mit GitHub, HugginFace auskennen und auch programmieren können muss um LLMs nutzbar zu machen. Bis ich ein Tool fand, dass das deutlich einfacher kann! Heute zeige ich euch, wie ihr in wenigen Schritten euer eigenes Chat-GPT-ähnliches System auf eurem lokalen Rechner einrichten könnt. Wir verwenden dafür das Llama 3.1 Modell und erstellen ein einfaches Web-Interface. Was ihr braucht: Ein leistungsfähiger Computer (am besten mit einer guten GPU) LM Studio Python-Code (erstellen wir mit Claude 3.5) HTML- und JavaScript-Code (erstellen wir mit Claude 3.5) Schritt 1: LLM-Server einrichten Ladet und installiert LM Studio von der offiziellen Website . Startet LM Studio und wählt das Llama 3.1 Modell aus. Es kann natürlich...
Read more »

KI-Alltag - AnythingLLM: ein vielseitiges LLM-Tool mit Agents und RAG

-
Bild
Die Sommermonate waren etwas weniger KI-lastig, deshalb habe ich die letzten Tage genutzt und wieder etwas Neues ausprobiert.  Wer meinen letzten Beitrag zu eigenen LLMs ( Link ) gelesen hat weiß, dass ich bereits ein lokales KI-System laufen hatte. Hatte? Jo, hatte. Zumindest vorübergehend. Einige Probleme mit der Hardware, einem Docker-System das zwischendurch installiert werden musste, und dann wieder alles neu installiert werden musste, hat mich dazu bewegt etwas neues auszuprobieren. Bei der Recherche zu Ollama stieß ich schon auf AnythingLLM. ich war gespannt darauf, dieses vielseitige LLM-Tool auf die Probe zu stellen. In diesem Artikel teile ich meine Erfahrungen mit der Installation und Nutzung von AnythingLLM auf einem Amazon Web Services (AWS) Server. Installation und Setup Die Installation von AnythingLLM auf einem AWS-Server erwies sich als spannende Herausforderung. Im Vergleich zu lokalen Lösungen wie Ollama oder LM Studio, die wir in früheren Artikeln behandelt habe...
Read more »

KI-Alltag - LLMs lokal hosten - 1337!

-
Bild
Lokale Installation von LLMs in 1337: benutzerfreundliche Methode mit OpenWebUI In einem früheren Beitrag habe ich eine Methode zur lokalen Installation von Large Language Models (LLMs) mit Python und LMStudio.ai vorgestellt. Heute möchte ich euch eine Variante präsentieren, die Linux, Ollama und OpenWebUI nutzt - also absolut 1337 🤓 Vorteile dieser Methode Integrierte Benutzeroberfläche mit OpenWebUI  Möglichkeit, mehrere LLMs und Bildgeneratoren wie StableDiffusion zu integrieren Nutzerverwaltung, Verwendung mehrerer GPTs, Presets,... Volle Kontrolle und Datensicherheit durch lokal installierte LLMs Schritt 1: Linux-Umgebung einrichten in Windows Ja, das geht! Mit WSL ist es möglich, Linux in Windows laufen zu lassen - wie 1337 ist das denn?! Einfach in der PowerShell eingeben: wsl --install und schon geht es los. Schritt 2: Ollama installieren Ollama ist ein Tool, das die Verwaltung und Ausführung v...
Read more »