Erst die Aufgabe festlegen, dann die Hardware auswählen
Eine eigene KI-Umgebung kann interne Dokumente erschließen, Entwürfe vorbereiten und wiederkehrende Arbeitsschritte unterstützen. Ob sie für Ihr Unternehmen passt, entscheidet sich an den Aufgaben und am Betrieb. Die Anschaffung eines Servers ist nur ein Teil davon.
Bei Hemmerich Consulting verbinden wir die Einrichtung lokaler und hybrider KI mit Wissensstruktur und praktischer Einweisung. Die folgende Checkliste ist unsere Empfehlung für die Vorbereitung eines begrenzten ersten Anwendungsfalls. Sie enthält keine pauschale Hardware- oder Amortisationszusage.
1. Eine Aufgabe auswählen, deren Ergebnis Sie beurteilen können
Beginnen Sie mit einem wiederkehrenden Vorgang und einer fachlich verantwortlichen Person. „Wir möchten KI einsetzen“ ist noch keine prüfbare Aufgabe. „Wir möchten Antworten auf Fragen zu freigegebenen Arbeitsanweisungen mit Fundstellen vorbereiten“ ist wesentlich konkreter.
Halten Sie dazu fest:
- Welche Eingaben kommen vor und wie häufig?
- Was ist eine brauchbare Antwort oder ein brauchbarer Entwurf?
- Welche Fehler wären besonders problematisch?
- Wer prüft das Ergebnis, bevor es weiterverwendet wird?
- Was passiert, wenn die KI keine ausreichende Grundlage findet?
Eine kleine Sammlung typischer und schwieriger Beispiele macht den ersten Vergleich aussagekräftiger als eine beeindruckende Einzelvorführung. Nutzen Sie geeignete Testdaten und geben Sie nur die Daten frei, die dafür gebraucht werden.
2. Den gesamten Datenweg aufzeichnen
Eine Chatoberfläche auf dem eigenen Server bedeutet noch nicht, dass jede Verarbeitung dort stattfindet. Klären Sie neben dem Sprachmodell auch Dokumentenerkennung, Einbettungsmodell für die Suche, Speicherung, Protokolle und zusätzliche Werkzeuge.
Die Ollama-Dokumentation unterscheidet lokale Verarbeitung und Cloud-Funktionen und beschreibt einen Modus, in dem Cloud-Funktionen deaktiviert werden können. Daraus folgt für die Planung: Der Produktname allein reicht nicht aus, um den Datenweg zu beurteilen. Prüfen Sie die tatsächlich eingerichteten Modelle und Funktionen.
Legen Sie für hybride Lösungen ausdrücklich fest, welche Aufgaben externe Modelle nutzen dürfen. Vertrauliche Unterlagen und ein freigegebener öffentlicher Rechercheauftrag können unterschiedliche Regeln benötigen.
3. Nutzer, Dokumente und Antwortzeiten erfassen
Für die Hardwareplanung sind mehrere Anforderungen wichtig: die eingesetzten Modelle, der benötigte Kontext, die Dokumentenverarbeitung und die gleichzeitige Nutzung. Fragen Sie deshalb nach konkreten Arbeitssituationen. Nutzen fünf Personen die Umgebung gelegentlich oder beginnt ein ganzes Team gleichzeitig mit längeren Dokumenten?
Modellqualität und Geschwindigkeit sollten an denselben Beispielen verglichen werden. Ein größeres Modell ist keine automatische Lösung für eine ungepflegte Wissensbasis. Ein schneller Einzeltest belegt wiederum nicht, dass die Umgebung mehrere gleichzeitige Anfragen bewältigt.
Ein sinnvoller erster Test beantwortet deshalb sowohl die fachliche Frage „Hilft das Ergebnis?“ als auch die betriebliche Frage „Ist die Wartezeit in unserem Ablauf akzeptabel?“.
4. Wissen und Zugriffsrechte vorbereiten
Für eine Dokumentensuche brauchen Sie geeignete Unterlagen und eine Regel für veraltete oder widersprüchliche Fassungen. Wer darf welche Dateien lesen? Wer pflegt die gültige Version? Wie werden entfernte Dokumente auch aus der Suchgrundlage entfernt?
Open WebUI beschreibt für Wissenssammlungen und Dokumentenchats unterschiedliche Wege, relevante Inhalte bereitzustellen. Eine eingerichtete Sammlung ist trotzdem kein Nachweis, dass jede Frage die richtige Passage findet. Prüfen Sie die Fundstellen und auch Fragen, zu denen keine passende Quelle existiert.
Wenn zusätzlich laufende Entscheidungen und Arbeitsstände erhalten bleiben sollen, kann ein Second Brain die gepflegte Wissensbasis ergänzen. Im Vergleich von Second Brain und RAG erklären wir die unterschiedlichen Aufgaben.
5. Einrichtung und laufenden Betrieb getrennt kalkulieren
Vergleichen Sie die Gesamtkosten über denselben Zeitraum. Auf die lokale Seite gehören Hardware, Einrichtung, Strom, Sicherungen, Updates und Betreuung. Auf die Cloud-Seite gehören passende Lizenzen, Nutzungskosten, Anbindungen und der Aufwand für die laufende Verwaltung.
Notieren Sie, welche Ausgaben einmalig und welche wiederkehrend entstehen. Berücksichtigen Sie auch vorhandene Hardware und die tatsächliche Nutzung. Die eigene Zeit für Administration ist ebenfalls Aufwand. Aus dieser Rechnung kann sich eine wirtschaftliche Entscheidung ergeben; eine feste Amortisation nach wenigen Monaten lässt sich daraus nicht für jedes Unternehmen ableiten.
6. Zuständigkeiten vor dem Start festlegen
Die Umgebung braucht eine verantwortliche Person für Zugänge, Updates, Sicherungen und Störungen. Vereinbaren Sie, was Ihre interne IT übernimmt und was ein externer Dienstleister betreut. Zur Übergabe gehören die vereinbarte Konfiguration und ein nachvollziehbarer Weg, den Arbeitsstand wiederherzustellen.
Die Mitarbeitenden brauchen außerdem eine Einweisung in die tatsächliche Umgebung. Sie sollten geeignete Aufgaben erkennen, Quellen prüfen und wissen, wann das Ergebnis fachlich zurückgegeben werden muss. Eine KI-Schulung an eigenen Aufgaben ergänzt deshalb die technische Einführung.
Was am Ende des ersten Tests vorliegen sollte
Sie sollten nachvollziehen können, welche Aufgabe mit welchen Daten bearbeitet wurde, wie die Ergebnisse im vereinbarten Test ausfielen und welche offenen Punkte bleiben. Dazu kommen der geplante Einrichtungsumfang, die laufenden Zuständigkeiten und eine getrennte Kostenübersicht.
Ein anonymisiertes Industrieprojekt zeigt, wie wir lokale Server, Cloud-Ergänzung und Mitarbeiterschulung verbunden haben. Wenn Sie eine eigene Umgebung planen, können Sie uns Aufgabe, ungefähre Nutzerzahl und vorhandene Infrastruktur im ersten Gespräch beschreiben.
Quellen und Einordnung
Technische Quellen, geprüft am 09.11.2026: Ollama FAQ und Open WebUI: Knowledge Bases and Document Chat. Die Checkliste und die Auswahl der Prüfschritte sind unsere praktische Empfehlung. Sie ersetzen keine Prüfung Ihrer konkreten Umgebung.
Mit KI-Unterstützung erstellt. Die Quellen sind im Beitrag verlinkt.
Blog abonnieren
Neue Blogartikel erscheinen im RSS-Feed, sobald sie veröffentlicht sind. Unser separater KI-Newsletter bündelt ausgewählte KI-Neuigkeiten und Praxiswissen für Unternehmen, ohne festen Versandrhythmus. Die freiwillige Anmeldung erfolgt mit Bestätigung und ist jederzeit widerrufbar. Sie löst keinen E-Mail-Versand jedes Blogartikels aus.
- Lokale KI
- Einführung
- KMU
- Betrieb
