KI-Alltag - LLMs lokal hosten und nutzen
In weniger als 30 Minuten zum eigenen GPT: Lokales LLM mit Web-Interface Willkommen zurück! Seit Llama3.1 verfügbar ist, habe ich erst verstanden, dass man viele LLMs legal und kostenlos herunter laden kann. Was mich lange abgeschreckt hat, war, dass man sich mit GitHub, HugginFace auskennen und auch programmieren können muss um LLMs nutzbar zu machen. Bis ich ein Tool fand, dass das deutlich einfacher kann! Heute zeige ich euch, wie ihr in wenigen Schritten euer eigenes Chat-GPT-ähnliches System auf eurem lokalen Rechner einrichten könnt. Wir verwenden dafür das Llama 3.1 Modell und erstellen ein einfaches Web-Interface. Was ihr braucht: Ein leistungsfähiger Computer (am besten mit einer guten GPU) LM Studio Python-Code (erstellen wir mit Claude 3.5) HTML- und JavaScript-Code (erstellen wir mit Claude 3.5) Schritt 1: LLM-Server einrichten Ladet und installiert LM Studio von der offiziellen Website . Startet LM Studio und wählt das Llama 3.1 Modell aus. Es kann natürlich...