KI-Alltag - LLMs lokal hosten - 1337!
Lokale Installation von LLMs in 1337: benutzerfreundliche Methode mit OpenWebUI
In einem früheren Beitrag habe ich eine Methode zur lokalen Installation von Large Language Models (LLMs) mit Python und LMStudio.ai vorgestellt. Heute möchte ich euch eine Variante präsentieren, die Linux, Ollama und OpenWebUI nutzt - also absolut 1337 🤓
Vorteile dieser Methode
- Integrierte Benutzeroberfläche mit OpenWebUI
- Möglichkeit, mehrere LLMs und Bildgeneratoren wie StableDiffusion zu integrieren
- Nutzerverwaltung, Verwendung mehrerer GPTs, Presets,...
- Volle Kontrolle und Datensicherheit durch lokal installierte LLMs
Schritt 1: Linux-Umgebung einrichten in Windows
Ja, das geht! Mit WSL ist es möglich, Linux in Windows laufen zu lassen - wie 1337 ist das denn?!
Einfach in der PowerShell eingeben:
wsl --install
und schon geht es los.
Schritt 2: Ollama installieren
Ollama ist ein Tool, das die Verwaltung und Ausführung von LLMs vereinfacht. Im Ubuntu-System, das über WSL gestartet werden kann, kann man mit ein paar Voreinstellungen Ollama mit folgendem Befehl installieren:
curl https://ollama.ai/install.sh | sh
Direkt in Ollama kann man nun diverse LLMs herunter laden:
cllama pull [Name LLM]
Schritt 3: Python-Umgebung einrichten
Nun läuft ein lokales LLM bereits - in unserer Ubuntu-Umgebung. Der eigentlich Clou ist, dass man jetzt ein umfangreiches UI nutzen kann, um auf die LLMs zuzugreifen. Wir benötigen Python für die Installation von OpenWebUI. Hier verwenden wir pyenv zur Verwaltung der Python-Umgebung:
 |
Installiert Python 3.10 mit pyenv und setzt es als globale Version:
pyenv install 3.10
pyenv global 3.10
Schritt 4: OpenWebUI installieren
OpenWebUI bietet eine benutzerfreundliche Oberfläche für die Interaktion mit LLMs und die Integration von Bildgeneratoren. Installiert es mit:
pip install openwebui
openwebui start
So sieht OpenWebUI aus - voll funktionsfähig! Achtet auf die Adresszeile: OpenWebUI greift über 127.0.0.1 auf das LLM zu (über die Python-Schnittstelle)! Wie cool ist das bitte?
Schritt 5: Mit dem Modell interagieren
Nachdem ihr ein Modell ausgewählt und installiert habt, könnt ihr direkt damit interagieren, genauso wie man es mittlerweile von OpenAI &Co gewohnt ist.
Aber das ist nicht genug! Das UI bietet umfangreiche Einstellmöglichkeiten für jedes LLM das ihr installiert habt und man kann auch mehrere Nutzer anmelden, und diese beispielsweise über das lokale LAN auf die LLMs zugreifen lassen.
Über die vielen Möglichkeiten, die OpenWebUI bietet kommt demnächst ein separater Blog-Post!
 |
Schritt 6: Bildgenerator integrieren (optional)
Ein großer Vorteil dieser Methode ist die Möglichkeit, Bildgeneratoren wie StableDiffusion zu integrieren. In den Einstellungen von OpenWebUI könnt ihr die Integration konfigurieren:
Gebt die URL eures lokalen StableDiffusion-Servers ein:
Vergleich zur früheren Methode
Im Vergleich zur Methode mit Python und LMStudio bietet dieser Ansatz mehrere Vorteile:
- Schöne, einheitliche Benutzeroberfläche für LLMs und Bildgenerierung
- Einfachere Modellverwaltung durch Ollama
- Bessere Performance auf Linux-Systemen
- Mehr Flexibilität und Anpassungsmöglichkeiten für mehrere Nutzer
Fazit
Die Methode mit Linux, Ollama und OpenWebUI bietet einen benutzerfreundlichen und flexiblen Weg, LLMs lokal zu hosten und zu nutzen. Für alle, die tiefer in die Welt der lokalen KI-Modelle eintauchen möchten und das absolut sicher (!) ist diese Methode definitiv einen Versuch wert.
Habt ihr Erfahrungen mit dieser Methode gemacht oder Fragen zur Installation? Lasst es mich in den Kommentaren wissen!
